[100자평] 데이터를 부탁해

데이터를 부탁해 - 세상을 움직이는 데이터의 힘 ㅣ 한빛 리얼타임 Hanbit Realtime 149
전익진 지음 / 한빛미디어 / 2019년 4월

데이터 분석에 필요한 통계와 관련된 기본 개념들부터 최근 급속도로 발전하고 있는 AI와 관련된 빅데이터, 자연어 처리, 데이터 마이닝 등의 기본적인 원리들을 알기 쉽게 이해하는데 도움이 됩니다. 전공자분들께는 좀 쉽게 느껴질수도 있겠지만 데이터에 관심있는 비전공자분들께 유익할 듯 합니다.

지난번 포스팅의 후반부에 텍스트 마이닝에 대해 다뤘었...

지난번 포스팅의 후반부에 텍스트 마이닝에 대해 다뤘었는데, 이로부터 파생된 것이 요즘 AI(인공지능)와 관련하여 한 번 쯤 들어봤음직한 용어인 머신러닝과 딥러닝이다. 이 러닝learning들은 ‘텍스트 마이닝‘ 작업을 통해 획득된 다양한 정보들을 반복적으로 학습하는 것인데, 이를 통해 특정 상황에서 학습된 대로 행동하여 문제를 해결하는 것을 목표로 한다.

이와 관련하여 좀 더 세부적인 핵심 내용을 간단히 정리해보자면 먼저 머신러닝이 다양한 경험을 실제로 하면서 배우는 컨셉이라면, 딥러닝은 기계가 실제로 경험하지 못한 것을 추론을 통해 학습하는 컨셉이다.

책에 직접적으로 나온 표현은 아니지만, 머신러닝과 딥러닝을 독자인 나만의 말로 풀어 설명해보자면 머신러닝은 학교나 학원에서 선생님의 수업을 통해 학습내용을 배우는 것이고, 딥러닝은 머신러닝을 통해 배운 학습내용을 기반으로 하여 어떤 새로운 지식을 스스로 추론해가면서 배우는 것으로 생각하면 될 듯 하다.
.
.
.
뒤이어지는 내용에서는 이 책의 앞부분에서 언급되었던 ‘유사도‘라는 개념과 관련하여 ‘연관규칙 분석‘이라는 개념이 등장한다. 이는 우리가 일상생활에 종종 쓰는 말 중 하나인 패턴pattern 이라는 것과 관련이 있다. 이를 분석하는 것과 관련하여 ‘지지도‘, ‘신뢰도‘, ‘향상도‘ 라는 개념이 함께 등장하는데 좀 더 자세한 내용은 밑줄친 부분을 참조해보시면 될 듯 하다.

이 책의 마지막 부분에는 네트워크 분석과 관련된 내용들이 나온다. 노드node, 링크link 같은 기초적인 개념을 바탕으로 ‘중앙성centrality‘ 이라는 개념을 3가지 분류로 나누어서 각각의 데이터들 간의 상관관계를 분석하고 그 속에서 어떤 의미를 찾아보는 과정들이 본문에 간단한 사례와 함께 제시되어 있다.

데이터 분석과 관련한 다양한 사례들을 통해 세상에 여기저기 산재해있는 데이터들을 어떻게 가공하고 분석하느냐에 따라 가치있는 정보들을 얼마든지 도출해낼 수 있다는 것을 확인할 수 있었고, 저자께서 마지막에 말씀해주신 것처럼 어떤 최신 트렌드 같은 것에 이리저리 휩쓸리기 보다는 일단 데이터 분석의 근본부터 잘 알아두는 것, 즉 기본에 충실하는 것이 중요하다는 것을 다시금 느낄 수 있는 시간이었다.

입력된 대상에 대해 판단할 만한 경험이 없으면 아이는 질문을 통해 답을 찾거나 새로운 경험으로 받아들이고 문제를 해결한다. 이것이 일반적인 데이터 분석이다. 즉, 전혀 경험하지 않았던 질문의 해답을 찾는 경우다. - P189

입력된 대상이 과거 경험을 바탕으로 충분히 해석 가능하면 그 경험에서 나왔던 결과를 기반으로 판단을 한다. 이때 경험은 깊이의 차이를 보인다. 단 한 번의 경험한 것과 오랜 경험에 의한 판단에는 분명 차이가 있다. - P189

경험이라는 ‘스냅샷snapshot‘은 단편적으로 이루어진다. 반복된 경험이 누적될수록 판단은 빨라지며, 다양한 경험을 할수록 판단할 수 있는 가치가 많아진다. 이것이 머신러닝이다. 알고리즘을 통해 이후 발생되는 사건과 신호를 인간의 개입 없이 스스로 판단해 결론을 도출한다. - P190

경험하지 못한 것을 판단해 결론을 찾아야 하는 순간도 있다. 옳고 그름을 떠나서 반드시 결론을 도출해야 하는데 이것이 바로 딥러닝이다. 알고리즘이 사람이라면 이 순간 어떤 결론을 도출할 것인가? 딥러닝은 이 해답을 사람의 개입 없이 오로지 방대한 양의 데이터를 통한 학습으로 찾아낸다. - P190

손을 댄 적이 있어서 불에 손을 대지 않는 건 ‘불이 뜨겁다‘라는 사실적 경험에 나오는 것이다. 이것이 머신러닝이다. ‘저 붉게 타오르는 것에 사람들이 손을 대지 않는 것을 보니 아무래도 좋지 않는 물질인 것 같아. 난 손을 대지 않겠어.‘ 이것은 딥러닝이다. - P190

중복된 비율에 따라 유사도를 측정하는 자카드 유사도jaccard similarity - P194

자카드 유사도 공식은 간단하다. 교집합의 크기를 구하고 이를 합집합의 크기로 나누는 것이다. - P194

유사도를 측정하는 데는 거리 계산을 이용할 수도 있지만, 이처럼 중첩비율을 이용해 유사도를 구할 수도 있다. - P196

자카드 유사도 공식은 전체 대비 중첩 비율만을 고려한다는 문제점이 있다. 데이터가 2개 이상 묶여도 그 묶음 자체를 또 다른 하나의 데이터로 보고 유사도를 측정하는 셈이다. 데이터를 사건으로 본다면 특정 사건이 발생할 때 동시에 발생할 수 있는 사건을 확인하는 상대성, 다시 말하면 조건부 확률값을 취할 수는 없다. 즉, 사과가 출현할 때 딸기가 동시에 출현할 확률은 고려되지 않는다. - P197

집합은 (중략) 연관규칙 분석 association rule analysis 의 기초가 되는 개념이다. 그중 교집합은 집합 내 데이터가 얼마나 중복되는지를 판단하는 기준으로, 유사도를 측정하는 공식으로도 두루 사용된다. - P194

자카드 유사도보다 진일보한, 조금 더 복잡한 연관규칙 분석으로 상대성, 조건부 확률 - P197

현실 세계를 유심히 들여다보면 일정한 패턴에 따라 움직인다는 것을 알게 된다. - P198

반복적인 패턴을 찾아 특정 사건이 동시에 일어나는 규칙을 탐색하는 데이터 분석 방법이 연관규칙 분석association rule analysis이다. 다시 말해, 특정한 사건 A가 발생하는 동시에 사건 B가 발생하는 확률이 얼마나 되는지를 찾아내는 분석이다. 연관규칙 분석은 앞서 이야기한 집합 이론에 기초해 확률적인 값으로 표현하는 대표적인 분석 기법이다. - P198

소비자 구매 데이터를 분석해 함께 팔리는 품목을 상품 배치에 활용하는 것을 장바구니 분석 Market Basket Analysis, MBA이라고 한다. 이러한 연관규칙 분석은 마케팅 분야에서 널리 활용되고 있다. - P198

연관규칙 분석의 핵심은 특정 사건 시 동시에 발생하는 사건을 발견하는 것이다. - P199

전체 사건에서 특정 사건이 동시에 발생할 확률을 연관규칙 분석에서 지지도support라 한다. - P199

지지도는 동시 발생 비율을 전체 사건의 수로 나눈 값이라 방향성이 없다. 다시 말하면, 부품 A와 B는 어떤 부품이 먼저 투입되든 상관없이 두 부품이 동시에 활용되는 경우의 수다. - P200

A가 먼저 투입되고 난 뒤에 투입되는 부품이 어떤 것인지를 판별하는 조건부 확률을 구하면 좀 더 정확한 가치를 찾을 수 있다. 이를 연관규칙 분석에서는 신뢰도confidence라고 한다. - P200

도출된 신뢰도 결과가 과연 활용할 만한 가치가 있는 것일까? 이러한 연관규칙 분석 결과가 유의미한지를 판단하는 기준을 향상도lift라 부른다. 향상도는 결과가 과연 우연으로 발생한 것인지를 판단한다. - P201

향상도는 구한 신뢰도 값을 조건 A와 대칭이 되는 상대 값의 전체 대비 출현 비율로 나눈 값이다. - P201

향상도 (lift)=사건 A & 사건 B의 신뢰도 ÷ (사건 B ÷ 전체 발생 사건 수) = P(A|B) / S(B) - P201

신뢰도(confidence) = (사건 A & 사건 B) ÷ 사건 A = P(A교집합B) / P(A) = P(A|B) - P200

지지도(support) = 사건 A & 사건 B ÷ 전체 발생 사건 수 = P(A교집합B) - P200

향상도는 그 값이 정확히 1이 나오면 두 사건은 서로 완전히 독립적이라고 하고 1보다 작으면 음의 상관관계, 1보다 크면 양의 상관관계라고 한다. 따라서 향상도 값이 1보다 크면 그 값만큼 긍정적인 연관관계라고 본다. - P201

인간은 아주 오래전부터 네트워크를 형성한 구성원 간의 관계와 성향, 패턴 등의 특성을 파악하고자 사회학을 중심으로 꾸준하게 연구했다. 사회학적 관점에서 출발해 지금은 사회학뿐만 아니라 모든 분야에서 활발히 활용되는 네트워크를 이용한 데이터 분석 기법이 바로 사회 연결망분석 social network analysis, (이하 네트워크 분석)이다. - P208

네트워크 분석은 인간과 인간 사이의 관계 아니 이를 넘어 독립적인 사건의 관계 속에서 발생하는 현상을 찾는 분석 기법이다. - P208

네트워크는 분석 대상이 있고 대상 간의 관계를 형성하는 것에서 출발한다. 네트워크는 대상을 나타내는 노드node와 대상 간의 관계를 나타내는 링크link 또는 relationship로 구성된다. - P209

네트워크 분석의 핵심은 상호관계 설정이다. 상호관계를 연결 강도로 정의하려면 그 관계가 얼마나 강한지 약한지를 파악해야 한다. 한번 본 사람과 자주 만난 사람과의 관계는 연결 강도가 확연히 다르다. 그래서 대상 간의 링크를 구성할 때는 유사도, 상관계수 또는 연관규칙의 신뢰도 등과 같은 부수적인 관계 설정 값이 반드시 주어져야 한다. - P209

관계에는 방향성이 있다. 이것은 이성 간의 사랑을 생각하면 쉽게 알 수 있다. 내가 누군가를 짝사랑한다면 이는 한쪽 방향으로 흐르는 단방향성의 관계고 서로가 사랑하면 양쪽 모두로 방향이 형성되는 양방향성을 가지게 된다. - P209

네트워크 분석에서는 그림도 중요하지만, 분석으로 어떤 가치를 도출할 수 있는지 의미를 찾는 것이 더 중요하다. - P212

네트워크 분석에서는 노드, 즉 분석 대상이 얼마나 중심적인 위치를 차지하는가를 판단하는 관점인 중앙성 centrality (또는 중심성)이 있다. 중앙성은 독립성 independence, 자율성 autonomy, 지배력 dominance, 영향력 influence 등을 포괄해 설명한다. - P212

연결degree 중앙성은 특정 노드가 다른 노드들과 얼마나 직접 연결됐는지를 판단하는 값이다. 연결 중앙성은 네트워크에서 직접적인 관계의 깊고 낮음을 가늠한다. 연결 중앙성이 높을수록 네트워크에서 중요한 위치에 있다고 판단할 수 있으며, 전체 노드의 개수에서 해당 노드와 연결된 링크 개수의 비율로 측정한다. - P212

다음으로 인접 closeness (또는 근접) 중앙성이다. 이는 특정 노드와 직접 연결된 연결 중앙성과는 달리 간접적으로 연결된 관계를 고려하는 것이다. 인접 중앙성이 높으면 주변 노드와의 교류가 그만큼 활발하다는 것이며 반대로 낮으면 그만큼 독립적이거나 고립된 관계에 있다고 판단한다. - P212

중요한 노드일수록 다른 노드까지 도달하는 경로가 짧으므로 특정 노드에서 출발해 네트워크의 노드들이 얼마나 가까이 위치해 있는지를 확인한다. 인접 중앙성은 해당 노드와 다른 노드간의 거리의 역수*로 측정한다. - P213

*두 수를 곱해 1이 되는 수. 만약 x=1/2이라면 역수는 2가 된다. - P213

마지막으로 사이 betweenness (또는 매개) 중앙성이다. 사이 중앙성은 네트워크에서 특정 노드가 다른 노드 간의 중개자 역할을 수행하는 정도를 의미한다. - P213

인접 중앙성은 다른 노드와의 최단 거리로 계산되지만, 사이 중앙성은 네트워크에서 해당 노드가 최단 경로에 위치한 비율로 계산된다. 즉, 해당 노드가 다른 노드와 노드가 연결될 때 최단 경로에 포함되는 횟수를 측정한다. 따라서 네트워크의 영향력을 판단하는 기준으로 활용한다. - P214

최근 인기 있는 데이터 분석 기법으로 네트워크 분석이 있으며 이를 통해 도출되는 값으로 중앙성이 대표적으로 사용된다는 걸 아는 것이 중요하다. - P215

세상 모든 것이 데이터이듯이 세상의 모든 것은 분석 대상이 될 것이다. - P216

최신 트렌드를 따라 머신러닝이나 딥러닝 같은 복잡한 분석기법에 관심을 두기보다는 먼저 데이터와 친숙해지기를 부탁드린다. - P216

트렌드에 따라 움직이지 말라 - P216

세상은 빠르게 변한다. 하지만 데이터와 데이터 분석은 변함없이 필요할 것이다. - P216

최재천의 곤충사회를 읽고...

최재천의 곤충사회
최재천 지음 / 열림원 / 2024년 2월

저자의 유튜브인 ‘최재천의 아마존‘ 이라는 걸 알고리즘에 이끌려 본 적이 있었는데 때마침 기회가 되어 저자가 쓴 이 책을 읽을 수 있었다. 과거 영상으로 접했을 때 뭔가 유익한 채널인 것 같다는 느낌을 받아서 저자에 대한 이미지가 좋았던 것 같다.

저자인 최재천 교수는 99년에 처음으로 책을 써서 지금까지 약 100여 권에 달하는 책을 써오셨다고 한다. 그런데 조금은 부끄럽게도 독자인 나는 저자의 책을 이번에 처음 읽어보게 되었다. 그럼에도 불구하고 이 책을 통해 저자와 저자의 생각에 대해 꽤나 많은 것들을 알고 배울 수 있는 시간이었다.

가장 먼저 저자가 자신이 걸어왔던 그동안의 삶에 대해 얘기해주는 부분이 있다. 대학 입시 때 잠시 좌절했던 일들, 대학 생활 그리고 우연한 기회에 외국의 교수님을 만나서 유학 생활을 했던 이야기와 지금 현재 재직중인 국립 생태원장으로서의 삶까지 아주 버라이어티한 얘기들을 만날 수 있었다. 책 제목에 왜 저자의 이름이 함께 수록되었는지를 아주 잘 느낄 수 있었다. 곤충사회에 대한 얘기에 앞서 인간 최재천 이라는 사람 그 자체에 대해서도 지면을 통해 간접적으로나마 만날 수 있는 시간이었다.

다음으로는 생태학자인 저자가 주로 연구했던 개미와 관련된 얘기들이 등장한다. 본문에 보면 ‘무슨무슨 개미‘라고 해서 어떤 개미가 하는 행동에 근거해서 이름을 붙여주는데 일일이 다 나열하기 힘들 정도로 개미들의 세계에서도 아주 다양한 캐릭터들이 존재하고 있음을 느낄 수 있는 시간이었다. 또한 개미와 함께 벌과 관련된 내용들도 등장하는데, 물론 곤충 이야기 자체도 의미가 있겠지만 독자인 내가 생각했을 때 전체적인 이 책의 핵심은 저자가 소개한 곤충들의 모습 속에서 우리 인간이 배워야할 점은 어떤 것들이 있는지를 생각해보는 것이었다.

저자에 대해 예전부터 알고 계셨던 분들이라면 익히 들어봤을 단어인 ‘통섭‘이라는 단어. 그리고 이 책에 소개된 개미들의 사회를 저자가 관찰하며 느꼈던 핵심 가치인 ‘공생‘. 이 두 가지 키워드가 저자가 독자들에게 전하고자하는 가장 중요한 핵심 가치라는 생각이 들었다.

먼저 ‘통섭‘과 관련해서는 자연과학과 인문학이라는 두 학문 분야에 대해 어느 한쪽에만 치우치기보다는 두 분야를 골고루 균형있게 알고 있는 것이 사람이든 곤충이든 각각의 다양성을 존중할 수 있는 그런 밑바탕이 될 수 있다고 저자는 말한다. 또한 이러한 ‘통섭‘에 기반하여 우리가 서로 협력하며 ‘공생‘하는 것이 곤충들이 사는 자연계든 우리 인간들이 사는 사회든 더 나은 환경을 만들게 된다는 게 저자의 얘기다. 특별히 ‘공생‘과 관련하여 개미들이 서로 협동할 때 그 사회가 지속적으로 성장하는 모습을 볼 수 있었는데, 이러한 점을 우리 인간들이 배웠으면 하는 저자의 바램이 느껴졌다. 다만, 개미들은 자신이 희생하는 것에 대해 거리낌이 없는 반면 우리 인간의 경우 자기자신을 희생해서 사회에 유익이 되는 일을 하는 것이 인간의 이기심 등으로 인해 현실적으로 어렵다는 사실에 저자는 안타까워 하기도 한다.

독자인 나는 이러한 것들을 보면서 개미로 대변되는 곤충들과 우리 인간들 간의 공통점과 차이점을 잘 구별해서 공통되는 속성이 있다면 자연의 것을 그대로 벤치마킹해서 인간 사회에 적용해보면 좋을 것 같고, 서로간에 차이가 나는 속성이 있다면 우리 인간 사회의 속성에 맞게 잘 변형해서 적용하면 참 좋겠다는 생각이 들었다. 저자께서도 자연에서 발견할 수 있는 다양한 교훈 같은 것들을 우리 인간들이 잘 베껴왔으면 하는 바램을 본문에 나타내고 있다. 표절이라는 건 원래 나쁜 거지만 자연을 표절하는 건 나쁜 것이 아니라며 자연과 인간이 이런 식으로 공생하는 것이 바람직한 것이라고 저자는 말한다.

책의 중후반부로 가면 저자가 최근 관심을 쏟고 있는 기후변화와 생물다양성에 대한 얘기들이 등장하는데, 저자는 생태계와 먹이사슬이라는 것을 언급하면서 어느 특정 생물이 갑자기 사라진다면 자연계를 지탱하는 먹이사슬의 체계가 완전히 뒤틀려버림과 동시에 기존에 남아있던 생물들까지도 멸종할 수 있음을 경고한다. 이러한 위험으로부터 자유로워지기 위해서는 자연계에 생물다양성이 잘 유지되는 것이 그 무엇보다도 중요한 것임을 저자는 역설한다.

다만, 최근의 급속한 기후변화로 인해 현재 존재하는 생물들이 과거와는 달라진 환경에 신속히 대응하지 못하는 현상인 ‘생태 엇박자‘가 최근 급속히 증가하고 있음을 언급하며, 전지구적으로 우리 인간이 이상기후변화에 대한 경각심을 가지고 대응해야 한다고 저자는 말한다. 또한 기후변화에 대비하는 것과 함께 생물다양성을 유지할 수 있는 방안도 신속히 마련하여 생태계가 파괴되지 않고 잘 유지될 수 있도록 힘써야 한다는 것도 추가로 강조한다.

곤충에서 시작해 자연 생태계에 이르는 얘기들이 쭉 이어지고, 이러한 것들에 발맞춰 우리 인간이 어떻게 대응해야 할지를 생각해보면서 자연스럽게 독자인 나도 생태계에 대해, 자연에 대해 생각해보게 만드는 책이었다. 자연계에 있는 곤충들의 생태계를 유지하기 위한 생물다양성이 필요한 것처럼 우리 인간 사회에도 어떤 특정부류의 사람들만 있는 것보다는 다양한 특성을 가진 사람들이 서로 공존하고 공생하는 삶을 살때 우리 사회가 좀 더 지속가능한 사회로 오래오래 영속할 수 있지 않을까 생각해본다.

마지막으로 이 책을 읽으면서 환경에 대해 그동안 무지했던 나 자신을 돌아보게 되었고, 사소한 것이라도 환경을 나쁘게 만드는 방향보다는 환경을 좋게 혹은 최소한 덜 나빠지게 만드는 쪽으로 매순간 의사결정할 수 있도록 해야겠다는 생각이 들게 되는 책이었다. 곤충사회를 통해 중요한 교훈을 배운 것 같다.

저자의 워딩이 다소 쎄다는 비판도 간혹 있지만, 그 ...

전출처 : 즐라탄이즐라탄탄 > 인생은 자전거와 같다. 뒷바퀴를 돌리는 것은 당신의 ...

저자의 워딩이 다소 쎄다는 비판도 간혹 있지만, 그 어떤 책들보다도 진심이 느껴지는 글이었다. 혹자는 진심이나 진정성을 어떻게 알 수 있느냐고 되묻기도 하는데, 저자가 책가격을 어떻게 설정했는지만 보더라도 그 다른 어떤 책들보다도 진심이 담긴 글이라고 말할 수 있을 것 같다. 이 책의 종이책 버전은 최소한의 종이값과 인쇄비만을 가격에 반영하여 책값을 책정했고, 심지어 전자책 버전은 0원이다. 무료라는 말이다. 수익창출을 목적으로 하는 책이 아니기에 저자는 때론 거친 워딩들이 들어갈지언정 자신이 하고 싶은 말을 거침없이 내뱉는다. 이러한 이유로 인해 독자인 나는 위에 언급했듯이 진심이 느껴지는 책이라고 생각한 것이다.

지금 이 글을 쓰면서 이 책을 다시 검색해봤는데 전자책 버전에 별책부록이라고 해서 1달 전쯤에 새로 나온 것이 있음을 알게 되었다. 특별히 새로운 내용이 추가된 것 같지는 않고 이미지가 일부 추가되고 오탈자같은 것들이 수정되었다고 하는데 한 번 살펴봐야겠다. 이 추록(?)도 가격이 0 원이라 부담이 없다.

1년 전 밑줄쳤던 문장들을 다시 읽어보면서 나 자신도 한 번 돌아보는 시간을 가져보면 좋을듯 하다.

고전의 정의에 대해 이렇게 자세하고 친절하게 설명되어...

전출처 : 즐라탄이즐라탄탄 > 1. 고전이란, 사람들이 보통 ˝나는 ...... 를...

고전의 정의에 대해 이렇게 자세하고 친절하게 설명되어 있는 글이 또 있을까 싶다. 14가지 정도 나오는데 한 구절 한 구절이 독자들의 마음 속을 꿰뚫는 듯한 느낌이 든다. 1년 전에 보면서 굉장히 인상깊게 느껴졌었던 글이었는데, 참 시간이 빠른 것 같다. 그닥 오래되지 않은 거 같은데 벌써 1년이라니... 개인적으로 소위 말하는 고전이라는 작품들을 많이 읽어보지는 못했지만 1년 전 밑줄쳤던 문장들을 간만에 다시 보니 고전에 다시금 눈길이 가게 될지도 모르겠다. 고전에 대한 인식을 환기시키고 관심을 불러일으키는 데 이만한 문장들이 없다고 본다.

1년 전 이 책을 소개해주신 분께서 해주셨던 말씀이 문득 생각났다.

˝이 책은 맨 처음에 나오는 고전의 정의만 읽어봐도 굉장히 유익할 겁니다.˝