기존보다 최대 14배 빠르고 100배 많은 데이터 처리 가능한 'DistME'
"빅데이터 기계학습 및 과학기술 데이터 분석에 응용될 것"

DGIST(대구경북과학기술원·총장 국양)는 김민수 정보통신융합전공 교수팀이 기존보다 더 빠르고 많은 데이터를 처리할 수 있는 'DistME(Distributed Matrix Engine)' 기술을 개발했다고 4일 발표했다. 

다양한 분야에서 데이터 축적의 중요성이 강조되면서 처리하는 데이터의 규모가 크게 증가했다. 그러나 기존의 기술처리 능력으로는 많은 양의 데이터를 분석하고 저장하는 데 어려움을 겪었다. 정보처리에 필수적인 곱셈 연산법은 이전의 방식만으로 늘어난 데이터를 감당하기 어려워졌고 유동적인 적용·분석이 까다로웠다. 또한 처리 과정에서 많은 양의 네트워크 데이터 전송을 요구했다.

김민수 교수팀은 기존과 차별화된 행렬 곱셈 연산법을 고안했다. 기존의 연산법들은 다양한 사례에 적용하기 어려웠으나, 새로 개발한 'CuboidMM' 연산법은 상황에 맞춰 최적화된 연산을 수행할 수 있다.

또한 GPU(Graphic Processing Unit)를 결합한 새로운 정보처리 방법을 고안해 곱셈 연산 성능을 비약적으로 향상시켰다. 이로 인해 기존의 기술보다 최대 14배 더 빠르고 100배 이상 큰 행렬 데이터의 분석이 가능해졌다.

이 기술을 이용하면 기존의 한계를 극복하고 더 많은 데이터를 빠르게 처리할 수 있다. 향후 온라인 쇼핑몰, SNS 등 큰 규모의 데이터 처리를 요구하는 분야에서 기계학습 적용이 가능해지며 다양한 분야에서 응용될 것으로 예상된다.

김민수 교수는 "기존의 기계학습 기술은 행렬 형태의 빅데이터 분석 속도와 처리 규모에서 한계가 있다"고 언급하며 "기계학습뿐만 아니라 광범위한 과학기술 데이터 분석과 응용에 신기술이 널리 활용될 것으로 기대한다"고 전했다.

이번 연구결과는 네덜란드 암스테르담에서 열린 데이터베이스 분야 학술대회' ACM SIGMOD 2019'에 지난 3일 발표됐다.

CuboidMM를 이용한 3차원 데이터 곱셈 모식도와 GPU를 이용한 데이터 처리연산 모식도. <사진=DGIST 제공>
CuboidMM를 이용한 3차원 데이터 곱셈 모식도와 GPU를 이용한 데이터 처리연산 모식도. <사진=DGIST 제공>
저작권자 © 헬로디디 무단전재 및 재배포 금지