-
-
빅데이터의 충격 - 거대한 데이터의 파도가 사업 전략을 바꾼다!
시로타 마코토 지음, 김성재 옮김, 한석주 감수 / 한빛미디어 / 2013년 1월
평점 :
절판
연초나 연말에 재미로 토정비결이나 사주 등을 보는 사람이 많다. 믿어도 그만 안 믿어도 그만이지만, 역술인들은 사주나 관상이 일종의 통계학적 산물이라고 하기도 한다. 단순히 천기누설이 아닌 과학적 측면이 있다는 것이다.
데이터에 관한 책 이야기를 하려고 하는데, 처음부터 전혀 관련 없어 보이는 점술을 거론한 이유는 현재 사용하고 있는 각종 자료들의 흐름이 수학적 전산적 공식을 거쳐 예측, 추정과 같은 예언자적인 성격을 가지게 되었기 때문이다.
인터넷 쇼핑몰에서 옷이나 책, 가전, 식품 등을 샀던 기록이나 트위터나 페이스북에 올린 글, 각종 사이트 댓글, 인터넷 검색 기록 등 어떻게 보면 그다지 중요하지 않은 자료들이 모이고 모여, 엄청나게 모인 데이터를 분석하면, 개인의 소비 패턴이나 관심 분야 등을 예측할 수 있게 된 것이다.
이런 데이터 가공을 통한 예측 사례는 매일 보는 일기예보를 들 수 있다. 만일 옛날 사람이 지금의 일기 예보를 본다면, 제갈공명이 나타났다고 놀라워 했을 것이다.
"빅데이터의 충격"은 이 놀라운 예측 기술을 다루는 책이다. 최신의 데이터 분석 기술과 용어, 실제 사례, 요구되는 기술 인력 시장, 세계와 일본의 데이터 시장 상태 등 다양한 내용이 들어 있다.
이 책에선 기존의 데이터와 구분하기 위해 빅데이터라는 용어를 쓰고 있다. 빅데이터는 테라바이트를 넘어 페타, 엑사바이트의 엄청난 양의 데이터를 지칭한다. 여기에는 기존 데이터 관리 기술과 함께 하둡, NoSQL, 스트림 데이터 처리 기술, 자연어 처리 등 새로운 기술이 필요하다. 물론 이에 대한 이야기도 책에 들어 있다.
앞에서 일기예보를 이야기 했는데, 예측의 정확성은 데이터 분석에 달려있다. 많은 자료가 있을 수록 그 정확성은 높아진다. 주식 거래도 한 예이며, 이젠 감기 예측이나 교통 흐름 예측, 전력, 연료 소비 예측 등 빅데이터의 활용은 예언자 수준까지 이르고 있다. 마이너리 리포트라는 영화에선 범죄 예측을 위해 초능력자를 이용하지만, 현재 이뤄지는 예측들은 우리가 남긴 다양한 데이터를 사용하는 것이다.
특히 책에서 내가 관심을 끄는 부분은 센서 데이터의 수집이다. 각종 전자 장비에 다양한 센서가 들어간다. 스마트폰에도 기압센서, 가속도센서, 접근 센서 등 여러 센서가 들어간다. 자동차나 공장기기에도 들어있다. 이런 많은 센서의 자료가 축적되어 다양한 분석이 이뤄진다면, 새로운 시장과 기술이 생길 것이라 생각되기 때문이다.
이 책은 일반 경영 관련 서적에 비해 전문적인 책이다. 초반부에는 전산 전공자도 다소 어려울 내용이 많이 담겨있다. 물론 이 부분은 그냥 슬쩍 읽고 넘어가도 된다. 대충 뭐구나 정도 알면 된다. 나머지 부분은 실제 우리와 관련된 각종 비즈니스 이야기가 들어 있으므로 이해가 어렵진 않다. 내 경우 일본인 저자가 쓴 책은 통계나 분석 자료가 부족한 편이라는 편견을 좀 가지고 있는데, 이 책은 그 편견을 완전히 깨주었다. 책 뒤에 참고문헌도 잘 기재되어 있고, 책 전반에 걸쳐 다양한 통계 분석 자료가 포함되어 있다.
크라우드를 넘어 새로운 인터넷 비즈니스를 구상 중이거나, 전산관련 예비 취업자, 마케팅 종사자들은 빅데이터의 충격을 꼭 읽어보기 바란다. 그만큼 빅데이터의 본격화는 이미 진행 중이고 갈수록 중요한 위치에 올라 설 것으로 예상 되기 때문이다.
아무튼 예언의 시대 흐름에 동참하려면, 빅데이터란 예언자를 모실 준비를 단단히 해야 할 것 같다.