KISTI, 빅데이터 전송속도 3분의 1로 단축

빅데이터 익스프레스, 미국과 공동 개발
기존 데이터 전송방법 문제점 극복 위해

한국과학기술정보연구원(KISTI)은 대용량 과학데이터를 전송하는 미들웨어 '빅데이터 익스프레스(Big Data Express)'를 미국 페르미국립가속기연구소(Fermilab), 오크리지국립연구소(Oak Ridge National Laboratory)와 공동 개발했다고 15일 밝혔다. 빅데이터 익스프레스란 대용량 과학데이터를 빠르고 효율적으로 전송하는 기술을 말한다.

빅데이터 익스프레스는 기존 데이터 전송방법들이 가진 문제점을 극복하기 위해 개발됐다. KISTI 자체 테스트에 따르면 과학데이터 전송에 자주 사용되는 그리드FTP 보다 3분의 1정도 높은 성능을 보였으며, 과학데이터 전송 때 가장 문제되는 것 중에 하나인 LOSF(다수의 파일을 전송할 때 속도가 느려지는 문제)테스트의 경우 그리드 FTP 보다 100배 정도 빠른 전송 속도를 보였다.

KISTI는 이번 공동연구를 통해 데이터 전송 SDN(Software Defined Network) 네트워크인 아메바넷(AmoebaNet)을 개발했으며, 국제공동연구 결과인 빅데이터 익스프레스 미들웨어는 14일(미국 현지시간) 미국 덴버에서 열린 '슈퍼컴퓨팅 컨퍼런스 2017'에서 대륙 간(한국-미국) 데이터 전송을 성공적으로 시연했다.

빅데이터 익스프레스를 통해 대형 연구 장비를 비롯한 과학기술분야의 대용량데이터 공유가 신속하게 이뤄질 수 있으며, 국내 연구자들은 원하는 과학데이터를 복잡한 설정 필요없이 손쉽게 전송하거나 받을 수 있다.

노서영 KISTI 대용량데이터허브실장은 "거대과학에서 요구되는 대형실험장비 및 관측 장비에서 생산되는 대용량 과학데이터를 국내 연구자들이 손쉽고, 신속하게 전송받아 분석할 수 있는 연구환경을 제공할 수 있다"며 "이를 통해 국내 데이터집약형 연구의 가속화가 기대된다"고 말했다.
방원기 기자 bang@