VR 기반의 가상 학습 셋 세팅

VR 기반의 가상 학습 셋 생성 환경

 

가상환경에서 자유롭게 학습 데이터 취득할 수 있도록 설계 가능한 점이 매우 큰 장점이며 이와 더불어 게임엔진 기반의 가상 환경은 VR을 이용해 가상의 물체나 캐릭터와 상호작용이 가능하며 필요에 맞게 설계한 가상 환경에서 VR을 착용한 실험자가 직접 가상의 오브젝트나 캐릭터와 상호작용하여 이를 학습 데이터로 저장하여 학습용 데이터로 활용하기 위한 연구를 고안하였다.

 

휴먼케어 로봇 연구

 

에서의 가상 학습셋 인간로봇 상호작용 분야에서 딥러닝 학습을 위해서는 상호작용 행위에 대한 학습 데이터를 확보하는 것이 매우 중요하고 어려운 문제이며 인간과 로봇 간의 상호작용 데이터는 실험자가 직접 상호작용 시나리오에 해당하는 행위를 연출하고 이를 영상 또는 모션 캡처를 통한 스켈레톤 데이터 수집을 통해 학습 데이터를 생성해야 하고 이렇게 일일이 행위 데이터와 상호작용 데이터를 직접 생성해야 하는 어려움 때문에 데이터 수나 그 종류를 확장시키는 것이 매우 제한 적이며 특히 현실에 데이터 취득 환경을 구성해야 하므로 물리적 비용적 어려움이 발생하며 또한 실물의 로봇을 구매하기 위한 비용과 실험자 섭외에 필요한 비용으로 인해 실험 데이터를 취득하기 위한 예산이 충분히 고려되어야 한다.

 

하지만 데이터 취득 시나리오를 설계할 때 인간의 상호작용 행위의 종류와 그에 따른 인간의 행위에 대한 다양성을 모두 예측하기 어려우므로 실험에 필요한 데이터가 실험 진행 중에 지속해서 발생 되고 그에 따른 추가적인 데이터 수요가 발생할 수 있으며 또한 그에 따른 반복적인 데이터 취득 환경 구성과 섭외 및 구매 비용이 소요되게 되며 이러한 상호작용 행위 데이터 생성의 어려움을 극복하기 위해 최근 가상 환경에서 VR을 사용해 가상의 물체와 상호작용 데이터를 취득하려는 시도가 Robotrix 등의 다양한 연구를 통해 이뤄지고 있으며 특히 VR 장비의 발달과 게임엔진 기반의 가상 환경 개발 도구 및 게임엔진 자체의 실시간 렌더링 기술이 고도화됨에 따라 인체 움직 임을 VR 장비를 사용해 캐릭터에 직접 반영 가능해졌다.

 

즉 VR을 착용하고 가상환경에서 생동감 있는 경험이 가능하도록 하는 인간로봇 상호작용의 연구가 시도되고 있으며 예를 들면 가상 로봇과 실제 로봇의 연동을 위한 플랫폼인 ROS Reality이 연구되었고 이를 활용해 산업용 로봇의 조작이 서툰 초심자를 위해 VR을 착용하고 가상의 환경에서 실제 로봇 조작을 훈련을 위한 가상 로봇의 행위를 사람이 VR을 쓰고 가상 환경에서 움직이는 것으로 실제 로봇에 Teleoperation 하여 학습하며 이를 위해 인간로봇 상호작용 행위의 평가 방식으로서 실험자가 VR을 착용하고 가상의 로봇과 상호작용하여 평가용 가상 환경으로 활용하는 시도[25 26]가 있었으며 VR 장비를 착용한 실험자가 가상 환경 내에서 직접 가상의 물체나 캐릭터와 상호작용 행위를 연출함으로써 더욱 실감 적인 방식으로 데이터 취득을 가능하게 하는 가상 환경 플랫폼을 개발할 수 있는 연구 환경이 마련되었고 또한 이렇게 VR을 사용해 가상 환경에서 실감적으로 생성한 데이터를 학습에 활용하는 방법이 활발히 이루어지고 있다.

 

가상 데이터 생성 시나리오

 

인터렉션 종류별 시나리오 4가지를 정의하였고 붉은색 번호 표시로 시나리오에 해당하는 주체가 표시되어 있으며 각 시나리오는 인터렉션에 따라 구분하였고 단일 인체 움직임을 나타내는 시나리오 1을 기본으로 하고 시나리오 2~4는 상호작용 중심의 시나리오를 의미하며 구현 및 취득되는 데이터 형식 또한 시나리오 1을 기반으로 이루어지게 되며 표 11에서 시나리오별 구현 요소와 예상 취득 데이터 형식을 자세히 설명하고 있다.

 

Scenario 1. Human Behavior VR을 착용하고 가상 환경에서 행위 데이터 생성 예시 실험자가 가상 환경에 노인 캐릭터로 빙의하여 일상 행위를 연출하고 이를 영상 및 스켈레톤 데이터로 저장하며

 

Scenario 2. HumanVirtual Object VR을 착용하고 가상환경에서 가상의 물체와 상호작용 데이터 생성 예시 실험자가 가상 환경에 노인 캐릭터로 빙의하여 가상의 물컵을 들어 올리거나 의자를 옮기는 상호작용 행위를 연출하고 이를 영상 및 스켈레톤 데이터로 저장하며

 

Scenario 3. HumanVirtual Robot VR을 착용하고 가상환경에서 가상 로봇과 상호작용 데이터 생성 예시 실험자가 가상 환경에 노인 캐릭터로 빙의하여 가상 로봇과 인사하거나 손을 흔드는 상호작용 행위를 생성하고 이를 영상 및 스켈레톤 데이터로 저장하며

 

Scenario 4. HumanHuman 두 명의 실험자가 VR을 착용하고 서로 가상 로봇과 가상 노인 캐릭터로 빙의하여 상호작용 데이터를 생성 예시 두 명의 실험자가 각자 가상 로봇과 가상 노인 캐릭터가 되어 상호작용 행위를 연출하고 이를 영상 및 스켈레톤 데이터로 저장한다.

 

※참조문헌 : 딥러닝을 위한 가상 학습셋 생성 및 VR 기반의 데이터 취득 환경 연구 (차복 2021)