韓·美 공동 '다차원 빅데이터 분석 시스템' 개발

효율적 분산 알고리즘 설계… 최대 100배 큰 다차원 텐서 분석

한국과 미국 공동연구진이 기존 대비 100배 큰 용량의 데이터를 분석할 수 있는 대용량 다차원 텐서(3차원 이상의 고차원 배열) 분석 시스템을 개발했다.

한국연구재단은 한국과학기술원(KAIST) 강유 교수팀과 미국 카네기멜론대 크리스토스 팔로웃소스 교수팀이 공동으로 '다차원 빅데이터 분석 시스템'을 개발했다고 18일 밝혔다.

이 시스템은 효율적인 분산 알고리즘 설계로 적게는 10배, 많게는 100배 큰 용량의 데이터를 분석할 수 있다. 텐서는 의료 데이터나 네트워크 트래픽, 소셜 네트워크 등 다양한 고차원 데이터 분석에 쓰이지만 데이터가 커짐에 따라 확장성이 떨어지는 기존 알고리즘으로는 분석하는 데 한계가 있었다.

공동연구팀은 단일머신에서 동작하는 데다 분산머신(중앙집중식이 아닌 데이터나 기능을 분산 처리하는 여러 대의 기계)에서 동작하더라도 큰 용량의 중간 데이터가 생기는 기존 알고리즘의 단점을 극복했다.

이를 통해 기존 대비 최대 100배 큰 텐서 데이터를 분석할 수 있다.

강유 교수는 “기존 방법으로 처리할 수 없었던 다차원 빅데이터를 효율적으로 분석하는 시스템으로 소셜 네트워크, 지식 베이스, 네트워크 트래픽, 의료 데이터 등 다양한 분야의 빅데이터를 분석하는데 활용할 수 있을 것”이라고 말했다.

한편 이번 연구는 미래창조과학부와 한국연구재단이 추진하는 기초연구지원사업(신진연구자지원사업)의 지원으로 수행됐고, 연구 결과는 오는 4월 13일 서울에서 열리는 데이터베이스 분야 저명 국제학회인 국제전기전자공학회(IEEE)에서 발표될 예정이다.

이영록 기자