[이남식 칼럼] XR(Extended Reality 확장된 현실)이 바꾸는 세상

이남식 서울예술대학교 총장

코로나19와 더불어 2021년을 달군 키워드 중의 하나가 메타버스 아닌가 한다. 최근 전 세계 30억명의 가입자를 가지고 있는 페이스북이 회사명을 메타(Meta)로 바꾸었다고 한다. 재미교포 2세로부터 3천500만 달러를 지급하고 회사명을 사들였다는 재미있는 뉴스도 함께 보도되었는데 개인정보유출, 편향적 알고리즘 등으로 많은 논란 가운데 이제 페이스북이 사명까지 바꾸면서 메타버스로, 미래 방향으로 바꾸겠다는 의지를 보인 것이라 할 수 있다. 이미 2014년에 20억 달러를 들여서 HMD(헤드마운트 디스플레이) 기업인 오큘러스를 인수하였고 스필버그 감독의 영화 '레디 플레이어 원'의 현실과 가상이 융합된 미래를 현실화하고자 호라이즌과 같은 소셜미디아 VR, 그리고 워크룸과 같은 VR미팅룸 서비스를 내놓으면서 미래의 소셜미디어 플랫폼을 메타버스로 지향하고 있다.

다만 가상세계 속에서 몰입과 몰아의 경지를 최초로 경험하게 한 것은 소셜미디어가 아니라 게임이다. 온라인 모바일 게임은 가상의 현실로 사람들을 몰입하게 하여 새로운 세계관 속에서 자아를 실현하게 만드는 매력을 지니고 있는데 최근에는 이러한 게임들이 메타버스를 지향하고 있다. 마인크래프트, 로블록스, 포트나이트 등이 게임플랫폼 안에서 광고, 상거래, 이벤트 등으로 메타버스 비즈니스를 강화하고 있어 과연 메타버스가 소셜플랫폼과 게임플랫폼 어떤 쪽이 대세가 될지 흥미롭다. 2003년 VR안의 커뮤니티에 아바타를 통해 참여하는 세컨드라이프가 한때 인기를 끌었으나 이내 시들해진 경험이 있다. 당시만 해도 기술적인 제약으로 인하여 가상세계를 구축하거나 아바타를 만드는 기술이 조악하여 가상세계에서 현실감을 느끼는데 많은 제약이 있었다. VR세계가 차갑고 비인간적으로 느껴졌기 때문이기도 하다. 

XR 스튜디오, 대형LED 스크린에
배경 완벽하게 재현한 세트서 촬영

하지만 실시간그래픽스 기술, 인공지능 기술 등이 비약적으로 발전하면서 이제는 현실과 가상이 구분이 안 될 정도의 수준에 이르러 새롭게 조명을 받고 있다. HMD의 기술도 비약적으로 발전하여 넓은 시야, 4K 또는 8K의 고화질, 경량화 등을 통하여 아직도 불편하기는 하나 급속히 발전되고 있어 마니아층에서는 이미 대세가 되고 있기는 하다. 하지만 HMD를 쓰는 것은 여전히 불편하고 비용도 많이 추가된다. 따라서 HMD나 VR이 메타버스의 필요충분조건은 아닐 듯하다. 역사적으로 가장 실패한 상품 중 하나가 입체TV 아닌가? 마치 입체가 되면 실제감을 더해서 부가가치를 크게 높일 것이라 믿었는데 사람들의 반응은 편광안경을 쓰는 것 자체를 매우 불편하게 생각하고 내가 화면을 주도적으로 바꾸지 못하는 입체가 현실감을 키우는데 크게 도움이 되지 못한다는 것을 쉽게 깨닫게 되었다.

현재 불확실한 메타버스에 비하여 동일한 기술들을 공유하면서 활용하고 있는 XR Studio의 발전은 놀랍다. 즉 대형 LED 스크린으로 사면이 둘러싸인 무대나 스튜디오에서 영화 광고 뮤직비디오를 촬영하는 것이 보편화 되고 있다. 과거에는 초록색 배경 앞에서 연기를 촬영한 후 배경영상을 합성하는 방법을 많이 썼으나, 조명을 일치시키기 어렵고 연기자들도 상상으로 연기해야 해서 어려움이 많았다. 하지만 지금은 실시간 그래픽으로 대형 LED 스크린에 배경을 완벽하게 재현하고 조명도 쉽게 일체화시켜서 합성이 아닌 실제 가상배경세트 안에서 연기를 촬영하므로 진짜와 구별이 안 되는 완벽한 장면을 구현하게 된다. 또한 가상 배우나 연기자를 만들어 실제 배우의 표정과 동작을 캡처하여 기계학습으로 훈련을 시키면 가상배우가 진짜 연기를 자연스럽게 한다. 최근 디즈니가 만들고 있는 라이브액션 영화들은 그동안 만들어진 애니메이션들을 XR 기술을 이용하여 실사영화로 재개봉하고 있는데 애니메이션 보다 제작기간이나 비용이 5분의1밖에 안 되어 높은 가성비를 보이고 있다.

합성 아닌 진짜 같은 장면들 구현
가상배우도 표정·동작 캡처후 훈련
진짜 연기자처럼 자연스럽게 연기

메타버스에 대하여 많은 기대가 있으나 이를 구현하는 기술과 운영방식에 대해서는 관심도가 낮은 것이 현재의 상황이다. 최근 서울예술대학교에서는 이에 대한 이해를 돕기 위하여 한국콘텐츠진흥원의 후원으로 유튜브에 '디지털로 확장된 미래'라는 글로벌아티스트 특강을 진행하고 있다. 이 분야에 관심을 가지고 있는 분들에게는 많은 도움이 되리라 생각하며 페이스북에서 메타로 사명을 바꾼 저커버그의 행보를 여러분과 함께 지켜보고자 한다.



/이남식 서울예술대학교 총장