현재 우리는 몰입의 거대한 격차(Immersion Gap) 시대에 살고 있습니다. 스포츠를 캡처하는 기술은 시청하는 기술보다 약 10년 정도 앞서 있습니다 . 모든 움직임과 심박수까지 기록할 수 있는 수준이지만, 거실까지 도달하는 방식은 여전히 전통적인 2D 방식에 머물러 있습니다.
이러한 변화의 핵심은 컴퓨터 비전입니다. Sony의 Hawkeye 시스템은 경기장 곳곳에 설치된 고프레임 머신 비전 카메라를 통해 모든 선수의 3D 위치를 밀리미터 단위의 정확도로 재현합니다 . 이는 단순히 중계를 위한 것이 아니라, 테니스 공의 인/아웃 판정이나 NFL의 득점 라인 판독과 같은 비디오 판독(VAR)의 핵심 근거가 됩니다 .
카메라뿐만 아니라 선수 자체가 데이터 소스가 되고 있습니다. NFL은 선수의 숄더 패드에 2~3개의 RFID 태그를 장착하고, 경기장 전체에 20~30개의 초광대역(UWB) 수신기를 배치합니다 . 공, 심판, 폴대 등 모든 움직이는 객체에 '3D 에어태그'를 붙인 것과 같은 환경이 구축되어 있습니다 .
과거 Apple이 인수한 NextVR과 같은 기업들이 스테레오 비디오를 통한 몰입을 시도했지만, 무거운 헤드셋 착용과 낮은 보급률이 발목을 잡았습니다 . 하지만 이제 Gaussian Splatting과 같은 혁신적인 3D 렌더링 기술이 이 한계를 극복하고 있습니다.
Arcturus와 같은 기업들은 여러 대의 카메라 피드를 사용하여 경기 내용을 3D로 완벽하게 재구성합니다 . 이를 통해 시청자는 경기의 어느 순간이든 일시 정지하고, 원하는 모든 각도에서 장면을 관찰할 수 있습니다. 이는 기존 360도 비디오와는 차원이 다른 '완전한 자유도'를 제공합니다 .
유럽의 Mubbridge는 선수들에게 방해를 주지 않는 세련된 카메라 스트립을 사용하여 볼륨메트릭(Volumetric) 재구성을 수행합니다 . 이들은 NeRF 대신 MPI(Multiplane Images) 기술을 발전시켜, 가상 카메라가 마치 실제 카메라 레일을 따라 움직이는 듯한 효과를 중계에 즉시 통합할 수 있게 합니다 .
Apple Vision Pro와 같은 기기는 이러한 3D 데이터를 소비하는 가장 강력한 플랫폼이 되고 있습니다.
현재 개발 중인 F1 앱은 거실 테이블 위에 실시간 3D 트랙 미니맵을 띄워줍니다 . 시청자는 전체 중계 화면과 동시에 각 차량의 3D 위치를 확인하고, 특정 드라이버를 선택해 '고무줄' 효과로 추적하며 다각도의 1인칭 시점을 즐길 수 있습니다 .
아이러니하게도 현재 가장 상업적으로 성공한 몰입형 경험은 헤드셋이 아닌 COSM이라는 거대 8K 돔 스크린입니다 . 약 600달러(한화 약 80만 원)에 달하는 입장권에도 불구하고, 사람들은 친구들과 함께 맥주를 마시며 '얼굴에 기기를 쓰지 않고도' 현장의 열기를 그대로 느끼는 경험에 기꺼이 지불하고 있습니다 .
지난 100년 동안 스포츠 중계는 방송국이 보여주는 대로만 보는 '일방향성' 경험이었습니다 . 하지만 이제는 시청자가 직접 카메라 워킹을 조절하거나, 자신이 좋아하는 스트리머의 관점(Watch Party)에서 3D 데이터를 재가공한 중계를 소비하는 시대가 오고 있습니다 .
데이터는 이미 준비되었습니다. 이제 남은 과제는 이 방대한 3D 데이터를 소비자용 하드웨어가 얼마나 효율적으로 처리하고 전달하느냐의 문제입니다 .