빅데이터는 거품이다

근거 없는 기대와 희망으로만 가득한
빅데이터 열풍의 실체를 파헤친다!

언제부터였을까. 빅데이터의 능력을 칭송하는 말, 빅데이터에 관한 희망으로 부푼 말이 대한민국 도처에서 오고 가기 시작했다. 빅데이터만 있으면 세상사를 완벽하게 분석하고 미래를 정확하게 예측할 수 있다고 자신하는 사람들로 넘쳐났다. 그들은 빅데이터를 이용하면 많은 돈을 벌 수 있을 것이라며, 현재 산적해 있는 크고 작은 문제를 단박에 해결할 수 있을 것이라며 호언장담했다.
걷잡을 수 없을 정도로 커진 빅데이터에 대한 믿음과 기대를 보여주는 대표적인 사례가 2012년에 교육과학기술부, 행정안전부 등 주요 부처가 모여 발표한 「스마트 국가 구현을 위한 빅데이터 마스터 플랜」이다. 2017년까지 빅데이터 공유 및 활용을 활성화하고, 빅데이터 관련 기술개발과 인력 양성을 지원하며, 공공데이터 개방을 확대한다는 것이 보고서의 주요 내용이었다. 또한 각 정부 부처는 이와 함께 우선 추진 과제를 발표했는데, 빅데이터를 활용한 재난 피해 지역의 사전 예측이 그중 하나였다. 골자는 기상 정보, 지역별 인구 정보, CCTV, 인공위성 자료, 소셜 데이터, 주민 신고 등의 데이터를 이용해 집중호우에 따른 침수, 산사태 등의 자연재해를 사전에 예측한다는 것이다.
저자가 책에서 자주 쓴 표현을 빌리자면, 이는 ‘답답한 일’이 아닐 수 없는데, 빅데이터를 통해 자연재해를 미리 예측하겠다는 이 계획은 한국 사회에서 빅데이터가 어떻게 오해되고 있는지 단적으로 보여준다. 우선 사실상 자연재해의 발생을 미리 예측하는 것은 불가능에 가깝다. 혹 빅데이터 수집과 분석을 통해 자연재해가 빈발하는 지역을 예측할 수 있게 된다고 해도 들어가는 수고에 비하면 실제 효과는 거의 없다고 봐도 무방할 정도다. 여기서 빅데이터 분석의 현실이 드러난다. 재난 예측은 재난 예방이 되지 못한다. 빅데이터 분석은 사건의 양상과 원인을 파악하는 데 참고가 될 수는 있어도 문제점과 그것의 근본 원인을 밝혀내고 해결해줄 수 없다. 이를테면, 빅데이터를 통해서 장마철에 홍수가 많이 발생하는 지역을 미리 예측할 수 있다고 해도 그 자체가 홍수의 발생과 홍수로 인한 피해를 줄여주지는 못한다. 장마철 홍수의 발생을 미리 예측하는 일과 장마가 시작되기 전 강둑을 비롯한 제반 시설을 정비하는 일, 둘 중에 어느 것이 더 중요할까?

빅데이터의 본질을 모른 척하는 지식인
빅데이터의 한계를 숨기는 빅데이터 관련 업체
빅데이터에 대한 환상에 취한 정부 관료
빅데이터는 만병통치약이 아니다!

보다 명확히 말해서 빅데이터 분석이 보여주는 것은 상관관계다. 빅데이터로 상관관계를 찾을 수는 있지만 인과관계를 확인할 수는 없다. 양은 많지만 서로 구분이 안 될 정도로 섞여 있는 빅데이터는 정작 우리에게 유용한 시사점을 주고 사건 해결의 단서 역할을 하는 원인과 결과 사이의 관계를 보여주지 못한다. 한 가지 예로, 인간의 DNA 구조에 대해 연구하는 과학자가 있다고 해보자. 그는 데이터 수집과 분석만으로 새로운 발견을 해낼 수 없다. 통계적 분석의 효과가 아무리 뛰어나다고 한들, 그는 다시 근본으로 돌아가 물리학과 생명과학의 이론 및 지식에 힘을 빌려 연구를 시작해야 한다.
이렇듯 빅데이터의 한계가 분명하게 보임에도 불구하고, 비판적 검토가 이루어지지 않은 채 빅데이터에 대한 장밋빛 전망만으로 가득한 것은 무슨 까닭일까? 저자는 빅데이터의 실체를 알고 있음에도 모른 척하는 지식인, 빅데이터의 한계를 숨기는 빅데이터 관련 업체, 빅데이터 환상에 취한 정부 관료, 이 셋의 공모가 빅데이터 거품을 만들었다고 지적한다. 이 셋이 끈끈한 삼각관계를 이뤄, 빅데이터 유행의 확산을 일으키는 과정은 다음과 같다.
일부 지식인이 미국의 성공 사례를 들며 빅데이터 연구의 필요성을 부각시킨다. 그러면 정부 부처는 돈을 풀어 각종 프로젝트를 발주한다. 이에 많은 학자와 연구소가 빅데이터 관련 프로젝트에 참여하며 빅데이터의 긍정적인 면을 부각시킨다. 이렇게 해서 빅데이터 주변으로 오고 가는 돈이 많아지고 빅데이터 시장의 규모가 커지면, 데이터 분석 기술을 가진 업체가 진입하게 된다. ‘철의 삼각관계’에서 손해 보는 사람은 없다. 지식인은 빅데이터로 연구비를 받아서 좋고, 빅데이터 관련 업체는 소위 ‘눈먼 돈’이라고 일컬어지는 정부 예산을 받아서 좋고, 정부 관료는 한창 유행인 빅데이터 관련 프로젝트를 기획한 공으로 승진하게 되니 좋다.
저자는 책 전반에 걸쳐 빅데이터 유행의 터무니없음을 조목조목 비판한다. 빅데이터 유행을 한 꺼풀 벗겨 그것의 본질과 실체를 정확하게 봐야 한다는 것이다. 여기서 짚고 가야 할 것은 저자의 비판이 향해 있는 곳이 빅데이터 자체가 아니라, 빅데이터를 둘러싸고