[박영서]'빅데이터' 미래를 예측한다

[사이언스 칼럼]박영서 한국과학기술정보연구원장

▲ 박영서 한국과학기술정보연구원장

'빅데이터'가 올해 과학기술계의 최대 화두 중 하나로 부각되고 있는데 이의를 제기할 사람은 없을 것이다. 세계경제포럼(다보스포럼)은 물론 가트너 그룹에서도 '올해 가장 주목해야 할 과학기술' 1위로 '빅데이터 처리기술'을 꼽았다. 그런데 아이러니하게도 빅데이터(Big Data)는 스몰 데이터(Small Data)들의 집합이다. 도서관 방문기록이나 어떤 지역의 교통 흐름, 심지어는 개인이 지하철 또는 버스에서 얼마의 요금을 지불했는지, 페이스 북이나 트위터에 오늘 하루 기분은 어땠는지에 대해 남긴 글 같은 소소한 데이터가 모이고 모여 하나의 패턴을 형성한 것이 바로 빅데이터인 것이다.

실제로 IDC의 '디지털 유니버스 보고서'에 따르면 2011년 전세계에서 생성된 디지털 정보량은 1.8제타바이트(Zeta Byte)에 달한다고 한다. 이는 대한민국 전국민이 18만년 동안 쉬지 않고 1분마다 트위터에 글을 3개씩 올리는 것과 같은 양이다.

사실 개별 데이터 하나하나에는 큰 의미가 없다. 중요한 것은 엄청난 양의 데이터가 하나의 패턴을 만들 때 특별한 '의미'가 생겨나고, 미래의 변화를 예측할 수 있는 '통찰력'을 얻게 된다는 점이다. 기업은 빅데이터를 분석해 고객맞춤형 제품을 만들고, 정부기관은 사회구성원들이 생성한 막대한 정보를 분석해 교통, 물류, 세금, 범죄 등의 공공 영역에서 과거와는 차원이 다른 공적서비스를 제공할 수 있다.

실제로 미국 캘리포니아주 경찰은 과거 8년간 발생한 범죄 패턴을 분석해 후속범죄 가능성을 예측했는데, 무려 71%에 달하는 정확도를 보였다. 구글 역시 빅데이터 분석자료를 기반으로 미국질병관리통제센터보다 몇 주나 앞서서 독감 확산을 정확히 예측해냈다.

이러한 패러다임 변화는 과학기술 분야에서도 마찬가지다. 논문, 특허와 같은 학술정보는 물론이고 인공위성이나 전자현미경 등을 통해 얻어진 관측 데이터, 입자가속기 등의 실험장비에서 나온 실험데이터 등 이른바 과학데이터가 엄청나게 생성되고 있다.

한 예로, 스위스 유럽원자핵공동연구소(CERN)의 거대강입자가속기가 매년 쏟아내는 정보는 16페타바이트(1638만4000기가바이트)라는 천문학적인 양이며, 인공위성을 통해 관찰되는 극지와 해양 데이터도 하루에 수십 기가바이트에 달한다. 데이터의 유형도 수치, 문헌, 이메일, 이미지, 동영상 등에 이르기까지 매우 다양해졌다.

이렇게 많은, 그리고 다양한 유형의 데이터를 기존의 처리기술이나 도구만으로 분석하는 것은 불가능하다. 정형-비정형 데이터를 통합하고 분석하여 의사결정에 곧바로 사용할 수 있는 유의미한 정보를 만들 수 있는 기술과 도구가 필요하다. 이를 위해 올해 초 미국 정부는 빅데이터 저장과 분석 핵심기술을 개발하는데 2억 달러가 넘는 예산을 투자하겠다고 밝혔다.

우리나라에서는 정부출연연구기관인 한국과학기술정보연구원(KISTI)에 의해 빅데이터, 특히 과학기술 빅데이터를 통합 운용하고 활용하기 위한 플랫폼이 집중적으로 개발되고 있다. KISTI는 10년 이상 다양한 과학데이터를 수집·유통해왔고 빅데이터를 분석하기 위해 필요한 세계적 수준의 슈퍼컴퓨터를 보유하고 있다. 또 이미 대규모 과학기술 정보를 통합 분석, 예측할 수 있는 InSciTe 등 서비스 플랫폼에 관한 원천 기술과 국내외 특허를 170건 이상 보유하고 있다.

KISTI의 이러한 역량과 노력이 결집돼 향후 과학기술 빅데이터가 미래를 예측하게 되면 어떤 일이 벌어질까. 기업이 어떤 기술에 투자해야 하고, 어떤 전략적 파트너를 활용해야 하며, 5년 후 새롭게 떠오를 유망기술에는 어떤 것들이 있는지 등 미래 과학기술에 관한 많은 것들을 훨씬 정확하게 예측할 수 있게 될 것이다.

이른바 '과학기술 예보'가 가능해 지는 것이다. 이제 빅데이터를 누가 더 빠르고 정확하게 분석하고 활용할 수 있는지에 국가의 명운이 달려 있다고 해도 과언이 아닌 시대다. 국가차원의 관심과 발 빠른 대응이 절실히 요구되는 시점이다.