게임에서 증강현실을 구현하는 주요 요소들

증강현실을 구현하는 데 있어 세 가지의 주요 요소가 있습니다.

 

첫째, 특정 사물을 추적하는 기술.

 

둘째, 현실과 가상 객체를 덧씌워 출력하는 디스플레이 기술

 

셋째, 사용자의 입력 혹은 가상 객체와의 상호작용 기술 등으로 나누어집니다.

 

증강현실(augmented reality; AR)은 가상현실(virtual reality; VR)과 함께 차세대 게임 환경으로 주목받고 있습니다. AR은 사용자가 있는 현실과는 다른 공간을 보여주는 가상현 실과는 달리 사용자가 현재 바라보는 현실에 이미지, 텍스트 등의 정보를 추가하여 제공하는 기술입니다. AR을 구현하기 위해서는 여러 기술이 필요한데, Billinghurst 등은 크게 세 가지로 나 누어 특정 사물을 추적하는 추적(tracking) 기술, 현실과 가상 객체를 덧씌워 출력하는 디스플레이 기술, 사용자의 입력 혹은 가상 객체와의 상호작용 기술 등으로 구별하였습니다. 이러한 AR 구현에 있어서 Koller 등은 세 가지 핵심 구성 요소들을 제시하였는데요.

 

첫 번째로 현실 세계와 가상 객체 간의 정확한 상호작용을 위해 현실 세계에 존재하는 객체들의 형태와 위치에 대한 정확하고 빠른 인식이 필요하며 인식된 객체를 실시간으로 추적할 수 있어야 한다고 제안하였습니다.

 

두 번째로는 정확한 광원의 인식을 통해 가상 객체에도 현실 객체와 동일한 그림자를 만들어 낼 수 있어야 한다는 점입니다.

 

세 번째로 제스처나 컨트롤러를 등의 상호작용과 효과적인 정보 전달을 위한 데이터 시각화 기술도 필요하다고 제안하였습니다.

 

세 가지 요소 중 정확한 광원의 인식을 위해 여러 연구가 진행되었다. 먼저 mirror-ball과 같이 물체의 특성을 통해 광원의 위치를 추정하는 방법이 제안되었습니다. 두 번째로는 어안 렌즈를 사용하여 환경 맵을 작성하고 조명의 3차원 좌표계를 계산하는 방법 그리고 마지막으로 미리 크기를 알고 있는 물체의 그림자를 인식하여 광원을 추 정하는 방법 등이 제안되었습니다.

 

하지만 이러한 방법들은 특수한 물건이 필요하거나 휴대 성이 용이하지 못하고 특정 하드웨어에 종속된다는 단점이 있습니다. 비전 기반 처리 기술은 영상 처리를 통해 구현됩니다. 관측된 물체를 기준으로 카메라 포즈를 계산합니다. 여기서 관측된 물체가 자연적으로 존재하는 것인지 인공적으로 생성하고 배치된 것인지에 따라 마커 기반인지 비 마커 기반인지로 나누어집니다. 비전 기반 AR은 크게 마커 기반 AR과 비마커 기반 AR 두 가지로 분류됩니다.

 

마커 기반 AR은 인공적인 마커를 배치하여 대상을 추적하는 기술입니다. 해당 AR 기술은 QR 코드나 특정 이미지와 같은 인공적인 마커를 배치하여 해당 마커의 특징점을 추적하여 현실 공간을 이해하여 가상공간을 증강합니다. 대표적으로 Vuforia SDK의 경우 직접 현 실의 3D 마커를 스캔하여 이를 다른 애플리케이션에서도 사용할 수 있는 특징이 있습니다. 마커 기반 AR은 인공적인 마커를 배치하여 증강현실을 구현하는 기술입니다. 이 기술 은 영상 처리를 통해 현재 영상에서 인식되는 인공적인 마커를 인식하고 인식한 마커를 통해 카메라의 자세와 마커까지의 거리를 측정합니다. 마커는 일반적으로 흑백으로 구성된 사각형의 형태로 구성됩니다.

 

높은 대비(contrast) 값을 가지도록 하여 간단한 처리를 통해서도 쉽게 검출되도록 하는 것이 목표입니다. 이러한 형태의 마커는 안정적인 자세 추정과 간단한 인식이라는 장점이 있지만 마커의 일부만 가려지더라도 인식이 불가능하다는 단점이 있습니다.

 

비 마커 기반의 경우 카메라를 통해 입력된 영상을 분석하여 특징점, 에지 등을 추출하고 추출된 객체들의 특성을 분석합니다. 이를 통해 영상을 증강하거나 추출한 특징 점의 패턴을 통해 벽이나 바닥과 같은 평면을 인식하여 이를 통해 가상의 공간을 형성합니다.

크게 세 가지 단계로 나누어지는데 먼저 영상에서 다른 픽셀에 비해 식별이 용이한 픽셀들을 검출합니다. 이때 선별되는 픽셀들은 주로 edge나 corner와 같이 색상 혹은 명암에 있어 주변에 비해 눈에 띄는 픽셀들이 선별됩니다. 다음으로 추출한 특 징점 간의 상관관계를 계산하여 서술자를 작성합니다. 특징점만으로는 해당 특징점의 좌표, 즉 위치 정보만을 가지고 있기 때문에 서술자를 통해 특징점을 집단으로 묶어 고유 성을 부여합니다. 이렇게 획득한 서술자와 찾고자 하는 기존에 등록된 서술자 간의 비교를 통해 해당 특징점이 어떤 특징을 가지는지 알 수 있습니다. 또한 서술자에 속한 특징 점간의 비교를 통해 카메라의 pose를 획득할 수도 있습니다.

 

특히 ARCore, ARKit 등에서는 영상정 보의 보조를 위해 스마트폰에 내장된 센서 데이터 또한 활용합니다. 또한 마커 기반에 비해 구현이 어렵다는 단점이 있으나, 인식할 수 있는 평면만 있다면 실외, 실내를 가리지 않고 게임을 플레이할 수 있습니다. 이로 인해 게임 장르에 구애받지 않는다는 장 점이 있다. 대표적인 SDK로는 ARCore, ARKit가 있습니다. 그림자 추적은 증강현실을 구현함에 있어 증강된 객체들이 사실적으로 보이도록 하는데 큰 역할을 합니다. 배치된 객체에 그림자가 없거나 엉뚱한 방향으로 그려진다면 어색함을 느낄 것입니다. 마커 기반 증강현실에서는 사실적인 그림자를 위해 보조적인 객체를 배치하여 구현합니다. 어안 렌즈를 사용하여 현재 장면의 모든 광원을 촬용하고 이를 3D로 복원하여 광원을 추정하는 연구가 진행되었습니다.

 

광원의 위치에 따라 그림자가 어떻게 그려지는지 알고 있는 객체를 배치하는 방법이 연구되었습니다. 또한 볼펜이나 건전지와 같은 흔한 객체를 세워서 그림자를 만들고 이 영상을 orthogonal view로 전환하여 광원을 추정하는 연구도 진행되었습니다. 또한 mirror-ball과 같은 3D마커를 사용하 여 광원이 비치는 표면의 위치를 통해 광원을 추적하는 연구도 진행되었습니다. 이러한 연구들을 통해 광원을 추적하여 영상을 증강할 수 있음을 확인했습니다. 하지만 일반적으로 구하기 어려운 객체를 필요로 하거나 광원이 두 개 이상일 경우 추적하지 못한다는 단점이 존재합니다.