과학적데이터분석 방법론 빅데이터 프로젝트 수행방법

본서에서 소개하는 과학적 데이터 분석 방법론은 빅데이터 분석 업무의 전체적인 흐름을 파악할 수 있도록 도와주므로, 빅데이터 사업과 관련된 많은 분들에게 매우 중요한 정보가 될 것이다. 본서를 읽는 독자 중에 빅데이터 분석에 막 발을 들여놓는 독자도 있을 것이고, 십수 년의 경험을 가진 분도 있을 것이다. 본서의 내용을 충분히 이해하고 공감하려면 대형 빅데이터 분석을 몇 차례 수행하면서 여러 고민을 겪어야만 가능할 것이다. 하지만 필자는 빅데이터 입문자도 프로젝트에 대한 이해 범위를 넓히고 자신의 미래 경력을 보다 효과적으로 설계하는데 본서의 내용이 도움이 된다는 측면에서 본서를 읽기를 적극 추천한다. 프로젝트는 다양한 분야의 전문가들이 동일한 목표로 협력하는 것인데, 전체 프로젝트를 보면 자신에게 적합한 분야를 쉽게 찾을 수 있게 된다. 예를 들어, 프로그램 코딩보다 사람과의 관계를 원만히 하는 기술이 있다면 어느 정도 기술을 익힌 후 중간 관리자로 또는 PM으로 역할을 옮길 수 있다.

빅데이터 분석은 과학적 데이터 분석 방법론을 통해 진행하는 것이 안정적이고 효과적이다. 기업은 빅데이터를 이용하여 시장 경쟁력을 확보하고자 하며, 국가는 빅데이터를 이용하여 국가의 정책 추진 효과를 높이고자 할 수도 있다. 어떠한 목적으로 빅데이터를 분석하든 데이터 분석 절차를 거치지 않는다면, 마치 집을 지으면서 설계도도 그리기 전에 기둥부터 올리는 격이 될 것이다. 일의 절차와 목표가 명확하지 않으면 규모가 큰 프로젝트일수록 원하는 결과를 달성하기는 더욱 어려워진다. 백여 개의 공공기관이 참여하는 국가에서 추진하는 빅데이터 사업도 성과를 극대화하기 위해서는 과학적 데이터 분석 방법론을 따라야 한다. 여러 빅데이터 프로젝트를 기획하고 통합 관리하는 작업이라고 하여도, 방법론에 대한 지식 없이는 프로젝트 간의 시너지 효과를 얻긴 어렵다.

과학적 데이터 분석 방법론은 문제정의단계, 데이터준비단계, 모델설계단계, 모델구현단계, 결과도출단계, 서비스구현단계로 구성된다. 경영 및 사회과학 분야의 참여자가 관심을 가지는 문제정의단계에서 기업의 핵심 문제점을 분석하는 작업도 별도의 장으로 구성하여 설명하였다. 기업의 문제점이 무엇인지 파악되었다면, 이를 어떤 절차를 통해 데이터 분석 문제로 변환하고 성공과 실패를 판단할 수 있을지를 설명하였다. 또한 어느 시점에 어떤 산출물을 내어 어떻게 발주 기관과 협력해야 하는지를 포함하였다. 빅데이터 프로젝트에서 다양한 분야의 전문가 그룹이 어떻게 효과적으로 협력할 수 있을지를 RACI 차트를 통해 가능한 한 명확히 설명하고자 하였다.