[생생일본통] 일경일렉트로닉스, AR·VR 재정의···'멀미·고선명카메라' 등 해결과제 제안

대덕넷이 일본 과학기술 및 산업계 최신 동향을 소개하는 '생생일본통'을 연재합니다. 해동일본기술정보센터의 지원을 받아 일본의 기술서적과 정기간행물, 일본 정부 산업계 백서 등 다양한 정보를 번역해 제공합니다. 더 많은 최신 일본 기술정보는 해동일본기술정보센터 홈페이지를 통해 확인 할 수 있습니다.<편집자 주>

AR(증강현실)과 VR(가상현실)은 이미 십 수년 전부터 사용되어 온 말이다. 초기의 AR은 스마트 글래스 등에 시간 등이 표시되는 기술을 뜻했고, VR은 현실과는 동떨어진 가상 공간에 들어가 가상의 콘텐츠(게임 등)를 즐기는 기술이었다. 최근에는 이 기술이 급속도로 발전해 가까운 미래에 우리 생활을 크게 변화시킬 가능성이 높아지고 있다. 
 
그러나 기존의 AR과 VR의 이미지나 정의로는 그 잠재력이 충분히 전달되기 어렵다. 이에 일경일렉트로닉스가 11월호 월간지 특별호를 통해 AR과 VR을 재정의했다. 특별호에 담긴 AR, VR 기술과 현재 동향 등을 소개한다.

일경일렉트로닉스가 11월 특별기사로 AR과 VR에 대해 다뤘다.<사진=해동센터>
일경일렉트로닉스가 11월 특별기사로 AR과 VR에 대해 다뤘다.<사진=해동센터>
◆ (再)정의
공간 컴퓨팅 개시, 현실과 가상의 세계를 오간다
 
AR은 가상공간의 콘텐츠가 현실세계로 '오는(Coming)' 기술이자, 의도적으로 콘텐츠를 '불러 내는(Calling)' 기술로, VR은 현실세계에서 가상공간으로 '가는(Going)' 기술이라고 재정의할 수 있다. 

기존의 정의와 크게 다른 것은 AR과 VR 모두 '공간'을 크게 의식하고 있다는 점이다. 시야의 오른쪽 옆에 시간이 표시되는 기존 스마트 글래스의 AR에서는 가상 시계일지라도 실제 방의 특정 벽에 걸려 있다. 공간, 특히 위치나 방향이 중요해 지기 때문이다.
 
VR도 앞으로는 어느 가상 공간을 선택할지, 그리고 그 가상공간의 어디로 이동할 지와 같은 시점이 중요해 진다.
 
- 공간 컴퓨팅의 기회가 열린다 
이런 공간을 의식하는 발상의 확대는 최근 미국 페이스북, NTT도코모가 약 300억엔을 출자해 제휴한 미국 Magic Leap 뿐만 아니라 AR이나 VR의 플랫폼을 개발하는 미국 Unity 등이 '공간 컴퓨팅(spatial Computing)'이라는 말을 제창하기 시작한 것을 통해서도 알 수 있다. 실은 10년 이상 전에 미국 마이크로소프트 등이 제창했던 말이기도 하지만, 더욱 강력한 존재감으로 다시 쓰이게 되었다.
 
공간 컴퓨팅이 보급된 세계에서는 현실세계의 임의의 위치에 필요에 따라 디지털 콘텐츠를 불러 낼 수 있다. 즉, 공간이 디스플레이가 된다. 영상 외에서도 현실세계의 특정 위치에 내장된 가상 센서가 마우스나 키보드 등 기존의 휴먼 머신 인터페이스의 역할을 대신한다.
 
- 사실 상의 순간 이동이 실현 
새로운 AR과 VR의 정의에 따르면 근미래의 공간 컴퓨팅도 보인다. 한 마디로 '거리를 순식간에 초월'할 수 있게 된다. 예를 들어 단신부임처(관사)에서 자택을 모델로 한 가상공간으로 '이동'하면 그 곳에는 실시간으로 가상 가족들이 기다리고 있다. 그 때 가족들 입장에서 당신은 현실세계에 '온' AR 콘텐츠인 것이다. 반대로 자택으로부터 가족이 AR 콘텐츠가 되어 관사에 놀러 '오는' 것도 가능해 진다. AR 또는 VR인지는 실은 '방향'의 차이에 지나지 않게 되는 것이다.
 
이것을 응용함으로써 실제 라이브 극장에서 실제 출연자와 가상의 연출자, 나아가서 실제 청중과 가상의 청중이 뒤섞인 음악 라이브도 머지않은 미래에 실현될 전망이다.
 
지금부터는 이런 신세대의 AR 및 VR, 공간 컴퓨팅에 대한 구체적인 활동 및 기술을 소개하겠다.
 
◆제1부: 동향
거액의 자금을 잇따라 투입, 스마트폰도 TV도 초월한다

 
AR/VR의 헤드셋이 TV나 스마트폰을 대신하는 미래가 보이기 시작했다. 기존의 TV가 '보는' 것뿐이며 스마트폰이 '연결하는' 것뿐인 것에 반해, AR/VR은 시간과 공간을 초월하는 '체험'이 가능하다는 점에서 끝없는 잠재력을 갖고 있다. 이 잠재력에 주목해 GAFM 및 대형 TV국이 AR/VR을 차세대의 커뮤니케이션 수단 및 콘텐츠 표시 기술로서 인식하기 시작했다.
 
"AR/VR은 차세대 컴퓨팅 기술이다"

미국 페이스북이 2019년 9월말에 개최한 VR글래스 관련의 이벤트 'Oculus Connect 6(OC6)'에 등단한 페이스북 공동창업자 및 회장 겸 CEO인 마크 주커버그는 기조 연설 서두에서 이렇게 말했다. 주커버그는 페이스북이 2014년에 약 20억달러(약 2,000억엔)를 투자해 Oculus VR을 매수했던 시기부터 계속 AR/VR을 추진하고 있다. 이번의 OC6는 주커버그의 말처럼 기술 개발이 이뤄지고 있음을 시사하고 있다.
 
예를 들어, 멀리 떨어진 직장 동료나 가족이 마치 동일한 방에 있는 것처럼 느끼는 '소셜 텔레포테이션(Social Teleportation)' 및 물리적인 제약을 뛰어넘어 다양한 예술성이나 창조성을 발휘할 수 있는 가상 도시 'Facebook Horizon'의 발표 등 마치 SF와 같은 기술과 타세계를 구축준비 중이다. 머지않은 미래에 AR/VR이 TV나 스마트폰의 대체가 되는 것도 현실이 될 것이라고 생각되는 이벤트였다.
 
- GAFAM과 BATH가 거액을 투자
AR/VR에 주목하고 있는 거대 기업은 페이스북뿐만이 아니다. 미국 기업으로는 GAFAM(Google, Apple, Facebook, Microsoft), 중국 기업으로는 BATH(Baidu, Alibaba Group, Tencent, Huawei Technologies)의 모든 기업이 AR/VR을 앞으로의 고성장을 견인할 주역으로 인식해 각자 개발에 나서고 있다. NTT도코모가 2019년 4월에 약 300억엔을 출자한 미국 Magic Leap에는 구글이나 알리바바그룹 등으로부터 밝혀진 것만 해도 총 약 2800억엔 이상의 자금이 투입되었다. 실제는 그 2배 이상이라는 소문도 있다.
 
앞으로 AR/VR의 고성장에 대한 기대도 크다. 대부분의 조사회사가 AR관련 시장은 향후 연평균 성장률(CAGR) 80%전후로 맹렬한 기세로 성장할 것으로 예측하고 있다.
 
- 실제 비즈니스와의 융합도 시작된다 
이미 일본에서는 실제와 똑같은 가상공간 및 가상도시를 구축하고 더 나아가서 그 가상도시와 현실세계와의 비즈니스 상의 융합을 시도하는 도전이 성공을 눈앞에 두고 있다. 2018년 8월에 시작된 가상도시 '버츄얼 마켓'. 미래의 시부야(渋谷)를 이미지화 한 '네오 시부야', 홍콩의 옛 거리인 '구룡제국성(九龍帝國城) 거리 등 6개 도시, 15회장의 가상공간을 구축해 그곳에 3D 아바타와 그 외에 즉매회(即売会) 등을 열었다.
 
2019년 9월말의 '버츄얼 마켓3'에서는 참가자의 연인원이 70만명, 실질적인 인원수도 본지 추정으로 10만명 이상에 달해 실제 전시회와 견줄 수 있을 정도로 급성장했다. 여기에는 파나소닉 및 세븐 & 아이홀딩스, KDDI 등 총 30사도 협찬했다.
 
실제와의 융합은 예를 들어, 가상 세븐일레븐의 점포에서 LINE의 스탬프 등을 살 수 있거나 가상 의류매장과 도쿄∙시부야에 있는 인기 의류매장이 콜라보레이션 한 것이다. 후자는 구체적으로는 '(1)실점포 안을 AR로 보면 가상점포의 점원이 나온다, (2)티셔츠의 가상 시착(試着)을 가상매장의 점원이 안내한다, (3)실점포에서 티셔츠를 구입하면 그 디지털 버전을 아바타에게 입힐 수 있다'와 같은 내용이다. 앞으로는 가상극단의 가상극장에서의 연극을 공간마다 녹화해 AR로 시청할 수 있게 하는 계획도 있다고 한다.
 
◆제 2부: 기술
차세대 AR/VR에 7가지 과제, VR멀미의 해결에 광명

 
현실세계로부터 또 다른 현실세계를 재현한 가상공간으로의 거리 등 물리적인 제약을 뛰어넘어 텔레포트(순간이동) 하거나 반대로 멀리 떨어진 현실세계의 인물 등을 여기로 불러오는 차세대 AR/VR. 콘셉트의 실증까지는 이미 끝난 상태이지만, 그것을 다수의 사람에게 보급시키기 위해서는 각 요소 기술의 대폭적인 브러쉬업이 필요해 진다.
 
현실세계로부터 멀리 떨어진 현실세계로 이동하는 차세대 VR, 또는 먼 곳의 현실세계의 사람이나 콘텐츠를 이쪽으로 불러내는 차세대 AR을 실현하기 위해서는 쌍방의 현실세계를 실시간으로 CG모델화 하는 기술이 없어서는 안 된다. 또한 실제 방이나 사람과 구별이 어려울 정도로 정교하게 재현할 필요가 있다.
 
그러나 현재의 기술로는 아직 실현하는 도중이라고 할 수 있다. 실현을 위한 과제는 적어도 7가지가 있다. (1)해상도가 떨어지는 것을 해결, (2)'VR멀미(VR-Sickness)'의 해소, (3)보다 자연스런 조작감을 가져오는 인터페이스의 실현, (4)현실세계를 실시간으로 CG화하는 기술의 고도화, (5)이용자를 실시간으로 모델화하는 기술의 고도화, (6)VR글래스 장착자의 얼굴을 알기 쉽게 하는 것, (7)가상공간 안에서 이용자가 이동해도 음원의 위치가 어긋나거나 소리가 찌그러지지 않도록 하는 것이 그것이다.
 
실은 국내외의 기업 및 연구기관이 모두 이들 과제를 해결하기 위해 노력하고 있다. 이것을 통해서도 차세대 AR/VR의 실현이 결코 한정된 기업의 특수 목표가 아닌, 커다란 트랜드라는 것을 알 수 있다.
 
- 화상의 화질이 떨어지는 것은 몇 년 동안 미해결 
우선 (1)은 현재의 VR에서도 심각한 과제이다. 실사영상을 띄우면 해상도가 상당히 떨어져 초점이 맞지 않을 뿐만 아니라 '스크린도어 효과(SDE)'로 불리는 그물과 같은 불쾌한 모양이 보이는 것이 많다는 점이다. 이것이 해결되지 않는 한, '고임장감(高臨場感)'은 기대할 수 없다. (2)에서 제시한 요인 중 하나이기도 하다.
 
그러나 큰 문제로 인식하고 있으면서도 수 년 동안 거의 개선되지 않고 있다. 이 과제는 크게 3가지 요인과 관련되어 있어 어느 것 하나만 개선한다고 해도 효과를 기대할 수 없다.
 
구체적으로는 (a)VR용 카메라 영상의 화소(画素)수가 부족, (b)VR글래스의 디스플레이를 가까운 거리에서 보는 것, (c)화소수를 늘릴수록 화상 처리의 부담이 커져 고가의 그래픽 처리 프로세서(GPU)를 여러 장 탑재한 고성능 PC가 필요해진다는 3가지 요인이다.
 
- 카메라는 고선명(FHD) 카메라가 필요 
(a)의 문제는 촬영용 카메라와 그것을 시청하는 VR글래스에서의 화상 커버의 범위가 다르기 때문에 발생한다. 예를 들어 VR촬영용 360도 카메라의 영상 데이터가 4K에 상당하는 반면, 표시 화소수가 동일한 4K 상당의 VR글래스 시야각은 대부분이 110도 전후. 다시 말해 4K의 카메라 영상의 수 분의 1의 범위를 무리해서 4K의 디스플레이로 보는 것에 해당된다. 이렇게 되면 영상 화질이 떨어지는 것을 피할 수 없다.
 
(b)는 VR글래스나 VR고글의 화면이 눈에서 수 cm밖에 떨어져있지 않은 것에 의해서 생긴다. 이 거리로는 시력이 좋은 사람이라면 예를 들어 1,000ppi(pixel per inch)의 고정밀 화면에서도 화소가 보이고 만다. 완전히 보이지 않게 하기 위해서는 '2,000ppi가 필요'하다는 지적이 있다. 한편, 기존의 VR글래스의 화면의 정밀도는 600ppi 전후로 이에 크게 부족하다.
 
- 보다 고화소화, 고정밀화로 전환
최근에는 (a)와 (b)의 과제에 대한 대책이 급속하게 추진되기 시작했다. AR/VR 시스템의 제조사가 촬영용 카메라의 화소수와 디스플레이 화소수 및 정밀도를 급속하게 높이기 시작한 것이다.
 
VR용 카메라에 필요한 화소수는 VR글래스의 디스플레이의 화소수가 만약 2K상당이라고 가정할 때 앞에서 말한 것처럼 4K이상, 디스플레이가 4K일 경우에는 8K이상이 필요하다고 알려져 있다. 이에 따라 비용을 도외시 하는 업무용 VR카메라는 1장의 촬상 소자의 화소수를 늘리거나 촬상 소자 자체의 수를 늘리거나 하는 방법으로 총 화소수의 증강이 급격히 추진되었다. 촬상 소자의 단순한 화소수 합계는 8K를 넘어 16K~128K에 상당하는 놀라운 수준으로 늘어났다.
 
- 다화소화 및 고정밀화의 경쟁이 부활 
이에 보조를 맞추는 것처럼 2019년 이후, AR/VR글래스 제품의 마이크로 디스플레이의 화소수 및 정밀도가 급속도로 늘어나고 있다. 8K나 약 600ppi가 평면 디스플레이의 최고 화소수 및 최고 정밀도라는 고정인식을 깨고 어디까지 오를지 모르는 초고해상도 또는 초고정밀 디스플레이의 개발 경쟁으로의 신호탄을 쏘게 된 모양새가 되었다.
 
구체적으로는 지금까지의 한쪽 눈 부분이 100만화소 전후였던 화소수가 최근의 신제품에서는 200만~800만 화소수로 대폭 늘어났다.
 
- 구글이 1,443ppi의 유기EL (Organic Electro Luminescence Display)을 개발 
개발 중의 AR/VR용 마이크로 디스플레이에서는 그 경향이 2018년부터 현저히 보이기 시작했다. 예를 들어 2018년 5월에 개최된 학회 'SID 2018'에서는 초다화소, 초고정밀의 마이크로 디스플레이의 발표가 잇따랐다. 실제, 한국의 LG 디스플레이와 미국 구글의 마이크로 유기EL 디스플레이는 약 1,840만 화소와 1,443ppi로, 2018년 당시의 주류였던 VR글래스 제품에 비해 화소수 14배, 정밀도 3배정도로 상당히 높다.
 
한국 삼성 디스플레이가 시작(試作)한 5.36형 액정 패널에서는 6,553.6만화소에 2,250ppi로 고차원의 화소수를 자랑한다. 그러나 정밀도 2,250ppi는 겨우 화소가 보일 걱정이 없어지게 된 수준이다.
 
AR용으로 보이는 마이크로 디스플레이에서는 더욱 정밀도가 높다. 소니가 개발한 0.5형 유기EL 디스플레이는 4,032ppi, 2019년 9월에 영국 Plessey Semiconductors가 발표한 약 400만화소의 GaN-on-Si 디스플레이는 약 1만ppi로 초고정밀도이다. 화소 간의 간격은 2.5㎛이다. 다만, Plessey의 시작품은 흑백이며 칼라일 경우에는 정밀도가 3분의 1이 될 가능성이 있다.
 
- 신클라이언트(thin client)화가 구세주?
그러나, 지금까지 다화소화 등이 진전되면 화상 처리 및 네트워크에 부하가 걸렸다. 그 대책으로 부하에 걸맞은 성능의 PC를 사용하는 기존 방식과는 다른 아이디어가 필요해진다. 그 유력 후보가 AR/VR글래스의 신클라이언트화 이다. VR글래스일 경우, 글래스에 직결되었던 고성능 PC를 네트워크 상의 클라우드에서 이용하는 모양새가 된다.
 
그 경우, VR글래스의 방향이나 움직임의 정보는 네트워크를 통해 카메라나 클라우드에 전송된다. 카메라나 클라우드는 그 방향의 영상만을 떼어내어 VR글래스에 전송한다.
 
- 네트워크 지연이 성불의 열쇠로 
여기에는 커다란 메리트가 2가지 있다. 고성능의 PC를 각 유저가 독자적으로 준비할 필요가 없다는 것과 네트워크의 부하도 크게 줄일 수 있다는 것이다. 다화소의 VR용 카메라 영상의 데이터를 VR글래스에 통째로 전송하지 않아도 된다. 한편, 과제도 있다. 네트워크 지연이 크면 VR글래스의 방향 변경 및 VR공간 안에서의 이동 리퀘스트로의 대응이 크게 지연되고 만다.
 
따라서 저지연을 강조하는 제5세대 이동통신 시스템(5G)의 활용이 중요해진다.
 
- 이렇게 하면 VR멀미는 해소되나? 
(2)에서 거론한 VR멀미도 현재의 VR에서는 심각한 문제이다. 현재 많은 VR체험 시설에서는 13세 미만 어린이의 이용을 권장하지 않는다. VR멀미의 문제를 해결하지 않으면 예를 들어 방송 등 불특정 다수의 청취자용 서비스도 불가능할 것이다.
 
다만, 최근에는 VR멀미를 크게 저감하는 2가지 방법을 찾아냈다. 빗자루를 타고 하늘을 나는 것과 같은 움직임이 격렬한 VR게임을 개발하는 UNIVERS CIO의 후지카와(藤川)는 '방법 중 하나는 유저에게 방향을 알리는 표시 및 가이드를 제시하는 것'이라고 말한다.
 
그에 따르면 또 다른 하나는 'VR공간 안에서의 동작에 맞춰 손가락의 움직임뿐만 아니라, 몸의 움직임도 연동시키는 것'이다. 손가락의 움직임이란 최근 VR글래스에 부속되어 있는 컨트롤러를 손가락으로 조작하는 것을 가리킨다. 그러나 그것만으로는 VR멀미를 피할 수는 없다. 한편 VR공간 상에서 빗자루를 타고 있을 경우, 자세를 구부리거나 컨트롤러를 움켜쥐는 동작을 취하면 VR멀미 저감의 효과가 있다.
 
따라서 (3)의 유저 인터페이스의 부자연스러움을 해결함으로써 (2)의 VR멀미도 줄일 수 있는 일석이조의 효과가 있다고 볼 수 있다.
 
- 손이나 시선도 입력 인터페이스로 
자연스러운 유저 인터페이스를 추구하다 보면 컨트롤러를 통하지 않고 손 자체를 활용하는 방법에 이르게 된다. 마이크로소프트와 페이스북은 이용자의 손을 카메라로 파악해 실시간으로 모델화하는 핸드 트래킹 기능을 개발했다. 마이크로소프트가 발매할 'HoloLens 2'에 실장 될 예정이다. 페이스북의 'Oculus Quest'는 2020년 초에 대응할 예정이다. 또한 페이스북은 이용자의 시선을 파악해 보고 있는 물체에 초점을 맞추는 기술도 개발했다. 실장 시기는 확실하지 않지만, 이것도 멀미에 도움이 될 전망이다.
 

<해동일본기술정보센터는 故김정식 대덕전자 회장의 기부금으로 설립된 비영리 일본 기술정보센터입니다. 후학들이 선진 일본기술을 습득해 기술강국을 만드는데 기여했으면 하는 바람으로 2010년 3월 서울대학교 관악캠퍼스 공과대학 내에 개소했습니다. 다양한 일본 기술 서적과 일본 정부·산업계 백서, 기술보고서 등을 보유, 온·오프라인으로 정보를 제공하고 있습니다. 매주 발행되는 주간브리핑 신청은 hjtic@snu.ac.kr 로 가능합니다.>

저작권자 © 헬로디디 무단전재 및 재배포 금지