가속기와 관측 장비 등 대형 연구장비에서 생산되는 데이터 규모가 페타바이트(PB, 1GB 영화 100만편 규모로 1시간짜리 영화를 114년동안 봐야할 정도 용량)급으로 증가하는 추세다.

유럽핵입자물리연구소(CERN)는 대형 강입자 충돌기 실험으로 연간 50PB의 데이터를 생산한다. 대형 시놉틱 관측 망원경(LSST)는 연간 10PB, 천문망원경 SKA 프로젝트는 연간 60PB의 데이터를 생산한다. 때문에 대용량의 데이터를 단일기관에서 처리하기 어려워 국제공동의 전송과 공유기술이 요구된다.

빅데이터 익스프레스는 대용량의 과학데이터를 신속하고 효율적으로 전송할 수 있는 기술이다. 데이터 전송구간에 존재하는 다양한 장비로 인한 비효율성, 데이터 전송방법 간 상호 간섭 등 기존 데이터 전송방법들이 가진 문제점을 해결했다는 게 연구팀의 설명이다.

연구팀이 자체 테스트 한 결과 과학데이터 전송에 자주 사용되는 GridFTP보다 3배정도 높은 성능을 보였으며, 다수의 파일을 전송할 경우 100배 빠른 전송 속도를 보였다.

이번 공동연구를 통해 연구팀은 데이터 전송 SDN(Software Defined Network) 네트워크인 아메바넷을 개발했다. 또 국제공동연구 결과인 '빅데이터 익스프레스' 미들웨어는 14일(미국 현지시간) 미국 덴버에서 열린 '슈퍼컴퓨팅 컨퍼런스 2017'에서 대륙 간(한국-미국) 데이터 전송을 성공적으로 시연했다. 

노서영 대용량데이터허브실장은 "빅데이터 익스프레스로 과학기술분야 대용량데이터를 복잡한 설정없이 신속하게 공유할 수 있게 됐다"면서 "국내 연구자들이 손쉽고 신속하게 데이터를 전송받아 분석할 수 있는 연구환경이 마련돼 데이터 집약형 연구의 가속화가 기대된다"고 말했다.