최근 글로벌 시장에서 빅데이터를 활용한 사례는 하루가 다르게 늘어가고 있다. 한 모바일 서비스 업체에서는 과거 탈퇴 고객의 이용 패턴을 분석하여 이탈 가능성이 높은 가입자를 미리 관리하고 유명 온라인 서점은 과거 고객이 구입한 서적 목록을 분석해 개인화된 쿠폰을 발급하는 등 소비자의 이탈을 막고 있다.

이런 빅데이터 활용 사례는 국내 시장에서도 점점 인기를 끌고 있다. 구매이력 외에도 홈페이지를 방문하거나 검색을 경험한 사람도 관심 고객으로 재분류해 매출을 올리거나 탐색한 이력을 추천 프로그램에 결합하여 구매 전환률을 높이는 등 데이터를 기반으로 한 산업과 서비스가 확산되는 추세다.

'정보를 가진 자가 미래를 지배한다'라는 말처럼 정보화 사회의 초기에는 많은 정보를 가진 사람이 박식하고 능력 있는 사람으로 일컬어졌다. 하지만 정보의 홍수를 넘어 폭발하는 시대를 살아가는 우리에게 단순히 많은 정보는 흩어져있는 구슬에 불과하다. 흩어져 있는 구슬인 수많은 데이터에서 필요한 정보를 획득해 목적에 맞게 사용하고자 하는 기업이 늘어나고 있다. 많은 데이터들은 개인에게도 영향을 미쳐 제한된 시간 안에 가장 합리적인 의사결정을 해야 하는 경우에 오히려 방해가 되어 '결정장애'란 단어가 유행할 정도이다.

IT 기술의 발전에 따라 하루가 다르게 데이터가 폭증하는 초연결사회의 현실화는 개인에서부터 사회전반에 걸쳐 큰 변화를 일으키고 있다. 이와 더불어 확대된 데이터의 저장 및 처리 능력, 과거에 비해 낮아진 데이터 저장 및 처리 비용으로 인해 '빅데이터'라는 개념이 주목을 받고 있는 것이다.

'데이터가 이 시대의 원유'라는 말처럼 매순간 생산되는 데이터의 가치에 관심을 기울이게 되었고, 이 원유를 사용하여 무엇을 할 수 있는가하는 가치 창출 업무의 중요성이 부각되고 있다.

데이터를 분석하는 주요 기술은 인프라 측면과 분석 방법 측면의 기술로 나누어 볼 수 있다. 분석 인프라 측면에서 빅데이터 처리 기술로 주목받는 대용량 처리기술은 분산 저장 시스템인 하둡(Hadoop)을 들 수 있다. 하둡은 데이터를 분석할 때 가장 시간과 비용이 많이 드는 데이터 전처리 과정에서 효율적으로 분산 저장 처리하여 분석할 수 있도록 하는 시스템이다.

데이터 분석 방법 측면의 기술은 오픈 소스 기반의 통계 엔진인 R이 대표적이다. R은 기본 통계 패키지와 함께 플러그인으로 만들어진 테이터 마이닝과 같은 다양한 패키지를 함께 사용하여 다양한 분석을 지원하는 분석 엔진이다.

빅데이터 시대에 데이터 분석의 최종 목표는 분석 자체가 아니다. 분석으로 얻은 결과를 서비스에 접목하거나 분석 결과를 더 효과적이고 의미있게 보여주도록 도와주는 데이터 시각화 기술도 주목받고 있다. 시각화 도구에는 오픈 소스인 Gephi, NodeXL과 라이브러리 형태로 제공되는 도구들이 있다.

빅데이터와 관련된 인프라 기술은 대개 글로벌 기업에서 자사의 서비스 개선을 위해 도입된 것이며, IBM이나 오라클과 같은 글로벌 기업에서 초기 시장을 선점하였다. 국내에서도 글로벌 기업들이 국내 비즈니스 분야와 공공부문 빅데이터 처리 분야에서 초기 시장을 선점하고 있는 상황이고, 외국계 글로벌 기업에 의존한 빅데이터 분석으로 인해 정보의 대외 유출이나 향후 기술종속 등과 같은 위험을 초래할 수 있는 가능성도 지적되고 있다.

따라서 국내의 자체적인 빅데이터 활용 시장을 위해서는 무엇보다 국내의 데이터 분석 인프라 구축 및 전문화된 인력 양성이 시급하다. 또한 여러 다양한 분석 툴들을 한 곳에 모아 플랫폼을 통해 서비스하여 국내 데이터 분석가들에게 접근성을 높일 필요가 있다.

단순히 분석기술 뿐만 아니라 분석하고자 하는 분야에 대한 전문성과 통찰력, 직관력을 바탕으로 한 데이터에 대한 이해도 등이 중요한 것은 물론이다. 이런 부분은 알고리즘이나 시스템의 성능으로도 해결되는 부분이 아니기 때문에 분석 기술만을 가진 기술자를 양성하는 것이 아니라 데이터에 대한 이해를 바탕으로 한 분석 전문가를 양성하는 것이 시급한 일이다.

데이터 기반 의사결정은 일상의 문제에 대해 과학적 해결책을 찾으려는 노력에서부터 한 회사의 산업과 국가의 정책에 이르기 까지 많은 부분에서 영향력을 발휘하고 있다.

끊임없이 생산되는 데이터들 사이에서 더 신속하게, 더 나은, 더 효과적인 의사결정을 하고 싶어하는 욕구가 바로 빅데이터 분석 기술과 데이터 기반의 의사 결정을 지지하는 원인일 것이다. 데이터 기반 의사결정 시대를 맞이하며 우리가 원하는 가치를 창출하고 효과적인 의사결정을 위해 준비를 시작해야 하는 시점이다.

◆류범종 KISTI 본부장은

류범종 본부장은 '류범종의 빅데이터'를 통해 'IAI(Information Aided Innovation)'  향후 과학기술정보융합서비스 체제 구축 방향 및 개발 방향에 대해 소개할 예정입니다.

류범종 본부장은 전자공학과 정보학을 전공했으며, 현재 KISTI(한국과학기술정보연구원) 첨단정보융합본부 본부장으로 재임중입니다.