빅데이터

빅데이터, 현재를 읽고 미래를 예측하다!

빅데이터는 세상을 어떻게 바꾸어 놓았으며
앞으로 펼쳐질 미래 사회를 어떻게 바꾸게 될까?

날씨를 예측하는 기상청의 슈퍼컴퓨터,
자동차 내비게이션, 대중교통 안내 시스템,
스마트폰을 비롯한 여러 전자 기기들까지.
변화의 시대에 든든한 기반이 되어 주는 기술, 빅데이터.
빅데이터는 세상을 어떻게 바꾸어 놓았으며
앞으로 펼쳐질 미래 사회를 어떻게 바꾸게 될까?

인간의 두뇌에 장착하는 첨단 수트, 인공 지능과 빅데이터
얼마 전 개봉한 마블의 영화 ‘어벤저스’에 등장하는 히어로 캐릭터 아이언맨에게는 강철 수트 외에 또 다른 강력한 첨단 기기가 장착되어 있습니다. 바로 ‘자비스’라는 이름의 인공 지능 컴퓨터지요. 자비스는 사람과 농담도 척척 주고받으며, 주인공이 원하는 정보를 단시간에 알아내 알려 주고 주인공조차 풀지 못하는 아주 어려운 문제들을 척척 해결해 주는 만능 컴퓨터이입니다. 이런 인공 지능 컴퓨터가 현실에서도 가능하려면 컴퓨터의 뛰어난 성능 외에도 꼭 필요한 것이 있습니다. 바로 ‘빅데이터’ 기술입니다.
빅데이터는 ‘크다’는 뜻의 영어 단어 ‘Big’과 ‘자료’를 뜻하는 ‘Data’가 합쳐진 말입니다. 단순히 큰 용량의 데이터를 뜻하는 것이 아니라, 예전에는 미처 알아내기 어려웠던 새로운 정보나 사실들을 알게 해서 사람들의 삶에 더욱 유용하게 쓸 수 있도록 의미 있는 가치를 만들어내는 데이터를 의미합니다. 최근 화제가 된 인공 지능 컴퓨터 알파고부터 날씨를 예측하는 기상청의 슈퍼컴퓨터와 자동차 내비게이션, 대중교통 안내 시스템, 그리고 우리가 가장 많이 쓰는 스마트폰을 비롯한 여러 전자 기기들까지 사람들이 일상생활에서 흔히 사용하는 서비스들은 대부분 빅데이터를 기반으로 한 기술들이지요. 이런 빅데이터 기술은 어떤 계기로 생겨났으며 우리 사회에 어떤 변화를 가져왔을까요?

빅데이터가 바꾸어 놓은 세상
오랜 옛날부터 사람들은 삶의 용도에 맞게 데이터를 수집해 활용했습니다. 석기 시대 고대인들은 동굴 벽화에 막대 표시로 수량을 표시했고, 중세 시대에는 세금을 정확히 걷기 위해 각 토지에서 생산되는 곡물의 양이나 마을의 인구수를 조사하여 기록으로 남겼습니다. 그런 모든 자료들을 일종의 데이터라고 할 수 있습니다. 예전에는 이런 데이터를 만들려면 사람이 일일이 조사를 하고 문서를 만들어야 했습니다. 하지만 정보화 시대가 되면서 정부 기관이나 개인이 필요에 의해 수집하는 데이터 외에, 편의를 위해 사람들이 사용하는 서비스 기기들을 통해서 엄청난 양의 데이터가 상상할 수 없을 정도로 빠른 속도로 쌓이고 있습니다. 수많은 사람들이 실시간으로 인터넷으로 정보를 검색하고, 인터넷 커뮤니티에 글을 쓰며, 소셜 네트워크 서비스(Social Network Services, SNS)를 사용하면서 방대한 정보를 실시간으로 만들어 냅니다. 동영상 사이트인 유튜브는 1분 동안 약 100시간 분량의 데이터가 업데이트되고, 1분마다 약 2억 통의 이메일이 오가며, 1분마다 약 30만 개의 트위터 메시지가 업로드되고 있습니다. 이처럼 초당으로 생겨나서 유통되는 방대한 양의, 다양한 형태의 데이터를 유의미하고 가치 있는 정보로 활용하려면 이런 데이터를 빠르고 효율적으로 분석하는 빅데이터 기술이 무엇보다도 중요합니다.
이런 빅데이터 분석 기술이 여러 가지 첨단 기술에 접목되어 사람들의 삶에 유용하게 쓰이는 사례는 아주 많습니다. 바이러스와 관련하여 사람들이 가장 많이, 또 자주 검색하는 말과 위치 정보를 분석해서 전염병의 확산 경로를 예측하거나, 사용자들로부터 데이터를 수집하는 크라우드 소싱 방식으로 데이터를 수집해 도로 상황을 예측하고 길을 안내하는 내비게이션의 성능을 향상시키고, 사용자들의 소비 이력을 수집해 맞춤형 상품을 추천하는 등 사람들이 자주 편리하게 사용하는 서비스에 빅데이가 많이 활용되고 있지요. 이전에는 모이기조차 어려웠던 방대한 양의 데이터를 수집하고 분석해 그 안에서 새로운 가치와 의미를 찾아내고, 사람들이 필요로 하는 정보와 새로운 서비스를 만들어 내는 일이 빅데이터 분석 기술을 통해 비로소 가능해진 것입니다.

데이터를 읽는 능력이 곧 미래를 읽는 능력이다
넘쳐나는 새로운 개념들이 그리는 미래 사회를 떠올려 보면 마치 지금과는 전혀 다른 세계가 펼쳐질 것만 같습니다. 하지만 그런 새로운 세상은 막연한 상상이 아니라 어쩌면 우리가 생각하는 것보다 훨씬 구체적이고 가까이 다가온 현실인지도 모릅니다. 미래를 읽어내는 눈은 지금 우리가 살고 있는 현실의 수많은 다양한 형태의 데이터를 예민하게 포착하는 일에서부터 시작합니다.
최근 몇 년 전부터 인공 지능, 4차 산업 혁명과 같은 새로운 개념들이 우리 사회를 휩쓸고 있습윱求 전문가들은 4차 산업 혁명이 이전의 세 차례 산업 혁명보다 세상을 더 크게 바꿀 것이라고 예측합니다. 산업화 시대 석유와 석탄과 같은 화석 연료가 문명의 발전을 크게 앞당긴 것처럼, 미래 사회에서는 빅데이터가 산업 사회의 화석 연료와 같은 역할을 할 것으로 예상됩니다. 4차 산업 혁명을 이끄는 중심 역할을 하게 될 인공 지능은 학습을 위해 많은 데이터가 필요하고, 그런 점에서 엄청난 양의 다양한 빅데이터는 산업화 시대 공장과 자동차를 작동시켰던 기름처럼 4차 산업 혁명 시대의 기름과 같은 중요한 역할을 하게 될 것입니다. 따라서 방대하고 다양한 형태의 데이터를 수집해 그 안에서 새로운 의미를 발견하고 분석하는 능력은 앞으로 다가올 미래 사회를 대비하는 필수적인 조건이 됩니다