딥러닝과 가상 데이터가 접목된 VR 기술

 

이미지 기반의 딥러닝 기술이 다양한 분야에서 연구 및 활용되면서 데이터에 대한 수요가 매우 증가했고 특히 이미지 기반의 지도학습과 비지도 학습은 산업에 활용될 만큼 보편적으로 사용하고 있고 활용할 수 있는 다양한 공개 데이터가 공급되고 있고 일반적으로 딥러닝에 정확도를 향상하기 위해 모델 및 파라미터를 수정하거나  적합한 데이터셋을 실험 중에 추가하기도 하며 지도의 정확도를 높이기 위해서는 데이터의 양과 품질이 매우 중요하기 때문에 학습 대상에 따라 필요한 데이터의 양과 좋은 품질의 데이터를 충분히 확보하는데 종종 어려움을 겪게 됩니다.

 

이때 일반적으로 데이터를 생성하는 방법으로 기존의 데이터를 변형해 증대시키는 방법을 주로 사용하고 있지만 이미지를 변형해서 새로운 데이터를 생성하는 방법은 생성 가능한 형태가 제한적이기 때문에 다양한 데이터를 생성하기 위한 새로운 방법들이 필요해지는데 이렇듯 본 글에서는 학습에 필요한 데이터 생성이 매우 중요해지고 그에 따른 학습 셋의 수요가 점점 증가하고 있기 때문에 셋을 생성하기 위한 여러 가지 방법들을 제안하고 있으며 먼저 STAR-MNIST 연구는 인수 제어를 통해 임의로 다양한 형태를 발생시키는 방법으로 가상 학습 셋을 생성하기 위한 시도로서 공부할 것들을 생성하고 난이도를 조절하고 데이터로서의 효용성을 실험하였습니다.

 

 

가지 방식의 교육 생성 방법을 소개하고 향상된 컴퓨터 그래픽스 기술의 표현력을 활용해 목적에 맞는 데이터를 생성하고 VR 장비를 활용한 실감형 데이터 생성용 환경 설계와 초기 구현을 목적으로 하며 구체적으로 설명과 같이 인수를 활용한 방법으로 STAR-MNIST 데이터셋 생성 결과와 3D 렌더러를 활용한 방식으로 알약 생성 결과 실감적 상호작용 데이터 생성을 위한 VR셋 취득 플랫폼 초기 연구를 소개합니다.

 

본 글의 전체적인 구성은 개발을 위한 단계적인 연구결과를 기술하고 있는데 1장에 위와 같이 연구의 배경과 목적 및 범위를 기술이 2장에서는 생성에 관련된 연구와 VR을 활용한 데이터 생성 관련 연구들을 소개하며 3장에서는 가상데이터 생성 결과가 인수적 조절이 가능한 가상 데이터 생성 방법과 간단한 인식 실험 결과 가상 알약 생성부터 가상 알약 데이터 저장을 자동으로 수행하는 가상환경 개발로 나누어 설명하며 4장 에서는 VR을 활용한 셋 생성 연구의 동기와 활용 범위와 시나리오를 정의하고 마지막 5장에서 결론 및 향후 연구 계획을 기술하며 본 연구의 전체적인 개념도를 보여주고 있고 세부 연구에 대해 탐색 기간 동안 발표한 글들의 목록을 설명합니다.

 

가상데이터란 현실의 정보를 수집해 생성한 용 데이터가 아닌 기존의 데이터를 변형해 증대한 데이터 또는 가상환경에서 학습에 맞게 생성한 데이터를 뜻하며 이렇게 생성한 양질의 데이터 묶음을 이하 가상 셋이라 하며 심층데이터 부족을 극복하기 위한 목적으로 셋을 생성하기 위한 연구가 다양하게 이루어지고 있으며 이미지나 음성 등 다양한 분야에 해당하는 가상가습 데이터를 각각 생성할 수 있고 이미지를 통한  생성은 기존 이미지 데이터를 변형 및 수정을 통해 데이터를 증강 시키는 방법을 주로 사용하는데 이는 이미지 상의 변화가 제한적이므로 생성할 수있는 가상데이터의 개수나 형태가 제한되는 단점이 있고 하지만 가상환경을 이용해 맞춤형 데이터를 생성할 경우 적은 비용으로 필요한 형태의 데이터를 다양한 컴퓨터 그래픽 기법을 사용 하여 생성할 수 있다는 장점이 있습니다.

 

최근 게임엔진의 성능 향상에 더불어 VR 디바이스의 성능 향상이 동시에 이루어지고 있으며 VR을 활용한 데이터 생성 연구가 활발히 진행되고 있으며 VR을 활용한  생성 연구로는 대표적으로 게임엔진을 활용한 가상  생성하는 연구인 UnrealROX 가 있고 Robotrix는 VR 장비를 통해 사용자의 손과 상호작용하는를 생성할 수 있는 가상 환경을 구현하여 이미지와 Depth 및 Segmentation 정보를 동시에 제공하며 가상 환경에서 자율 주행을 위한 운전 데이터를 취득하기 위한 연구로서 SYNTHIA 데이터셋을 예로 볼 수 있는데 이 연구에서는 가상의 도로 환경을 구성하여 VR을 착용한 운전자가 자동차를 운전할 때의 움직임과 운전 시야의 이미지와 Segmentation 정보를 데이터로 취득할 수 있는 가상 환경을 제공하고 VR 핸드 컨트롤러의 움직임으로 손의 움직임을 생성해 손의 모션을 가상 데이터로 생성한 연구가 이루어졌고 최근 가상 환경에서 데이터 생성과 학습을 동시에 수행하려는 시도도 이루어지고 있습니다.

 

이와 같이 VR을 활용해 가상 환경에서 직접 상호작용 하며 학습 데이터를 생성하려는 연구가 활발히 진행되고 있다. 하지만 가상 데이터셋을 만들기 위한 구체적인 방법에 대한 소개와 시도가 상대적으로 부족한 상황이고 여기서는 이러한 발전된 VR 장비와 게임엔진 기술을 딥러닝 학습에 활용하기 위해 더욱 자연스럽고 실감적인 데이터 취득 가능한 가상 환경을 제안하고 있습니다. 두 가지 셋을 생성한 결과를 연구 동기 및 생성 방법과 함께 소개하며 먼저 수식을 통한 인수적 제어로 생성을 시도한 결과이고 STAR-MNIST는 손글씨 데이터인 MNIST와 비슷한 형태의 가볍고 별 모양 이미지 데이터입니다.

 

수식 중 몇가지 변수에 임의 값을 대입함으로써 기하학적 형태를 인수적으로 조절할 수 있다는 특징을 갖고 있고 이를 통해 인수적 제어를 활용한 데이터셋을 생성할 수 있다는 의미를 갖고 세부 장에서는 난이도 조절을 통해 분류 추정을 간단히 비교 실험하였으며 데이터로서 활용 가능성을 입증해 보이는 내용입니다.