유범재 실감교류인체감응솔루션연구단장, 3D 자석센서를 사용한 관절형 구조 적용
공존현실 소프트웨어 프레임워크 기술 활용 자연스러운 원격 협업 가능해져

HMD(Head Moounted Display)와 핸드 모션캡처 장치를 착용한 사용자가 허공에 손을 바쁘게 움직인다. 그리고 옆에 비치된 모니터에선 캐릭터가 똑같은 동작을 수행하고 있다. 그것도 손가락 마디 관절 하나하나까지 섬세하게. 부자연스러웠던 아바타의 손동작을 해결해준 비결은 바로 '외골격'에 있다.

다가올 미래에 또 하나의 현실로 주목받는 '공존현실'의 연구가 활발하다. 단순히 보고 움직이기만 했던 가상현실의 감각이 점점 정교해지고, 멀리 떨어져 있는 다른 사용자들과 함께 상호작용하며 소통이 가능해지고 있다.

특히 실생활에서 가장 많이 사용하는 신체 부위 중 하나인 '손'의 움직임을 얼마나 정교하게 구현하는가에 따라 체감도가 달라진다. 실감교류인체감응솔루션연구단(이하 연구단) 유범재 단장은 외골격 구조를 이용해 개발 중인 핸드 모션캡처 장치를 통해 정교함을 더해가고 있다.

◆외골격 구조로 정확도와 가성비 높이다

현재 대표적인 핸드 모션캡처 장치는 얇은 소재 안에 필름형 센서 혹은 가속도 센서를 탑재한 장갑형 장치다. 이러한 장갑형 장치는 외관적으로 깔끔하고 실제 장갑처럼 편하게 착용할 수 있다는 장점이 있지만, 통풍이 되지 않아 손가락에 땀이 차서 장갑이 미끄러져 사용성이 떨어지고 측정 오차가 발생한다는 단점이 있다.

특히, 가속도 센서를 사용하는 경우 동작 시간이 길어질수록 측정오차가 누적되는 드리프트 현상으로 인해 위치 정밀도가 떨어지는 단점이 있다. 이를 해소하기 위해 유 단장이 개발 중인 장치엔 손가락과 손등에 외골격이 붙어있다.

연구단이 개발한 외골격 기반 핸드 모션캡처 장치. 손가락의 움직임을 따라 외골격 관절이 움직이며 위치 데이터를 계산한다. 손등을 따라 밴드 형태로 고정해 오랜 시간 착용 시 땀이 차는 불편함도 해결했다.<사진=이원희 기자>
연구단이 개발한 외골격 기반 핸드 모션캡처 장치. 손가락의 움직임을 따라 외골격 관절이 움직이며 위치 데이터를 계산한다. 손등을 따라 밴드 형태로 고정해 오랜 시간 착용 시 땀이 차는 불편함도 해결했다.<사진=이원희 기자>
외골격 기반 장치는 정확도와 가격의 문제점을 해결한다. 3D 자석 센서를 탑재한 관절형 구조로 구성한 후, 사용자의 손동작에 따라 움직이는 손끝의 위치 값이 계산된다. 현재 오차는 손끝에서 2 밀리미터(mm) 이하로 높은 정확도를 보이고 있다. 또한 손끝과 가상 객체의 접촉 시 손가락 별로 진동감을 제공하여 가상 객체를 자연스럽게 만지고 조작할 수 있다.

유 단장은 "가상 정보와 객체를 현실과 같이 손으로 직접 조작하는 원격 소통과 협업이나, 원전 사고, 지뢰 및 폭발물 제거 등 사람이 직접 현장에 가기 어려운 상황에서 로봇을 이용해 원격 작업을 할 경우 높은 정확도가 필요하다"며 "일반 대중 이용자는 물론 산업계에서도 활용도가 높을 것"이라고 말했다.

쉽지만은 않았다. 처음 관절의 움직임 값을 얻는데 사용된 센서의 수는 관절 당 1개였다. 하지만 탑재되는 센서의 수가 많아질수록 관절 공정이 복잡해지고, 가격이 상승하는 문제점이 있었다. 연구팀은 관절을 잇는 기어의 구조를 바꿔가며 부드럽게 움직이는 형태와 함께 센서의 숫자를 줄였다.

이는 자연스레 가격이 낮아지는 결과로 이어졌다. 현재 시중에 출시된 기존 장치들은 수백만 원에서 수천만 원을 가뿐히 호가하고 있다. 이에 반해 연구팀이 개발한 장치는 실험실 기준 재료비가 한손에 30만 원 가량이다.

유 단장은 "유선으로 연결된 기기를 블루투스로 연결하고, 복잡한 외골격 구조를 더 단순화 시켜 대량생산이 가능하게 보완할 것"이라며 "3D 자석센서를 이용한 최초의 핸드 모션캡처 장치의 상용화를 위해 노력하겠다"는 뜻을 밝혔다.

◆모두를 만나게 하는 소프트웨어

HMD와 외골격 핸드 모션캡처 장치를 착용한 두 사용자가 같은 가상현실 공간에서 블록을 잡아서 쌓아올리고 있다.<사진=이원희 기자>
HMD와 외골격 핸드 모션캡처 장치를 착용한 두 사용자가 같은 가상현실 공간에서 블록을 잡아서 쌓아올리고 있다.<사진=이원희 기자>
공존현실은 핸드 모션캡처 장치와 HMD 등을 비롯한 하드웨어 장비뿐만 아니라 공존현실을 구축하는 소프트웨어 기술과 이를 원격으로 이어주는 동기화 네트워크 기술이 필수다. 특히 다중 사용자가 이용하는 공존현실의 경우 공간을 구성, 정합하는 소프트웨어의 완성도가 중요하다.

유 단장이 개발 중인 '공존현실 소프트웨어 프레임워크(CRSF 3.0)'는 공존현실을 구축하기 위한 기반 기술이다. 

연구팀은 스테레오 카메라를 이용해 실제 현실 공간을 촬영하면서 실시간으로 가상현실 공간을 결합하는 비디오 씨쓰루(Video See-thru) HMD 기반 공간정합 방식을 사용했다. 스테레오 카메라를 이용하면 손쉽게 실제 공간을 3D로 촬영할 수 있고, 사용자가 가상현실에서 보는 공간과의 차이를 줄일 수 있다.

하지만 시중에 유통되는 일반 스테레오 카메라는 화질과 시야각의 한계가 있어 몰입감이 떨어지고, 현실과의 인지 부조화가 나타날 수 있다는 단점이 있었다. 이에 연구팀은 현실과 가상 공간을 하나로 통합하는 소프트웨어 프레임워크를 구현하는데 필요한 사양의 카메라를 직접 만들어 단점을 보완하고 기술의 완성도를 높였다.

또한 사용자가 늘어나는 경우, 사용자 간 공간이 자연스럽게 합쳐질 수 있도록 정합, 조정하였다. 특히 서로의 상호작용으로 나타나는 상황 변화를 자연스럽게 반영했다. 예를 들어 한 사용자가 떨어트린 가상 블록을 다른 사용자가 집어 같이 탑을 쌓는 등 가상현실 상에서 공존감을 높였다.

공존현실 소프트웨어 프레임워크 기반이 상용화 및 보급화 될 경우 개인 사용자의 체험 및 교육은 물론 네트워크로 연결된 다중 사용자 간의 협업과 공동체 학습이 가능할 것으로 기대된다.

연구팀이 개발 중인 공존현실 소프트웨어 프레임워크는 현재 CRseed 스튜디오 홈페이지를 통해 소프트웨어가 공유되고 있으며, 누구나 쉽게 응용 앱 개발과 확장을 할 수 있도록 지원하고 있다.

연구단에서 개발 한 CR-Talk. HMD를 착용한 사용자의 머리와 똑같이 움직이는 카메라를 이용해서 원격지에 있는 다른 공간을 실시간으로 체험할 수 있다.<사진=이원희 기자>
연구단에서 개발 한 CR-Talk. HMD를 착용한 사용자의 머리와 똑같이 움직이는 카메라를 이용해서 원격지에 있는 다른 공간을 실시간으로 체험할 수 있다.<사진=이원희 기자>
◆공존현실, 새로운 소통의 패러다임

연구단은 지난 5월 '월드 IT 쇼 2018'에 참여했다. 약 3년 만에 참여한 국내 전시박람회였다. 연구단 부스를 찾은 참가자는 약 800여 명. 참가자들은 핸드 모션캡처 장치를 사용하여 가상블록 쌓기를 해본 후 '시간이 모자라다'라는 긍정적인 아쉬움(?)을 나타내며 높은 만족도를 보였다.

연구단은 월드 IT 쇼에 소개한 6개 기술을 포함, 총 16개의 과제를 수행하고 있다. 목표는 세상을 놀라게 할 원천기술의 개발, 그리고 미래 신산업 창출을 위한 상용화다.

유 단장은 "사업 초기 목표를 설정하고 연구를 시작하는 단계에서 많은 토론을 했다"며 "수많은 시행착오를 거치며 콘셉트에 불과했던 기술들이 현실이 되기 시작했을 때 표현할 수 없을만한 기쁨을 느꼈다"고 회상했다.

그는 이어 "혁신형 원천기술 개발을 지속적으로 추진하면서, 기술이전 및 창업으로 연계해 상용화 및 보급화가 이루어질 수 있도록 연구개발을 진행할 것"이라며 "원천기술 개발부터 상용화까지 이어지는 과학기술계의 선순환 사례를 만들고 싶다"고 말했다.

유범재 단장은 핸드 모션캡처 장치와 공존현실 소프트웨어 프레임워크 기술을 비롯, 연구단에서 개발 중인 원천기술로 새로운 공존현실 세계를 선보이겠다는 계획을 밝혔다.<사진=이원희 기자>
유범재 단장은 핸드 모션캡처 장치와 공존현실 소프트웨어 프레임워크 기술을 비롯, 연구단에서 개발 중인 원천기술로 새로운 공존현실 세계를 선보이겠다는 계획을 밝혔다.<사진=이원희 기자>
새로운 소통 패러다임의 기술도 구상 중이다. 현재 카카오톡, 페이스북과 같이 스마트폰을 중심으로 한 SNS 채널을 넘어선, 공존현실을 적용한 '4D+ SNS'도 그 중 하나다. 화면에 2차원으로 표시되는 텍스트와 이미지, 영상을 넘어서 3D 영상과 음향, 3D 객체와 아바타, 손의 촉감과 역감을 이용한 실시간 실감 인터랙션과 소통을 통해 원격 사용자들이 실시간 상호작용 함으로써 공존감을 높여준다.

소셜 커머스 역시 적용할 수 있다. 기존 소셜 커머스 시장에 증강현실(AR) 기술을 도입한 AR커머스는 더욱 현실감있는 상품정보는 물론, 친구, 가족 혹은 전문가들이 함께 참여하여 의견을 교환할 수 있는 공존현실 SNS를 통한 시장형성 효과를 상승시킬 수 있다.

유 단장은 "현재 연구단이 개발 중인 기술을 비롯해 다양한 공존현실 기술을 응용한다면 새로운 사회의 소통 패러다임이 등장할 것"이라며 "현재 스마트폰 중심의 라이프 스타일에 새로운 화두를 던지는 연구를 이어가고 싶다"고 말했다.

유 단장이 이끄는 연구단은 2010년 출범한 글로벌프론티어사업단 중 하나로 출범한 연구단은 2019년 사업 마무리를 앞두고 있다. 유 단장은 "앞으로 남은 기간 역시 지속적인 노력을 통해 개발 중인 원천기술의 완성도를 높이고, 새로운 가능성을 제시할 것"이라는 포부와 함께, “정부 지원이 끝난 이후에도 연구단을 상용화 기술 개발 거점으로 발전시키기 위해 노력할 것“이라는 의지를 밝혔다.

저작권자 © 헬로디디 무단전재 및 재배포 금지