전장 상황 인식을 위한 Arma 3 기반의 Scene Graph 생성 및 VQA 데이터 자동 생성에 관한 연구

Abstract

본 연구에서 우리는 전장 상황에 특화된 모델 훈련 데이터를 효율적으로 생성할 수 있는 프레임워크를 제안한다. 프레임워크는 먼저 Arma3 시뮬레이터를 활용하여 전쟁 시뮬레이션을 수행한 뒤, 이와 관련한 영상 및 메타 정보를 자동으로 수집한다. 다음으로 수집한 메타 정보를 바탕으로 장면 그래프 (Scene Graph)를 생성하고, 사전에 정의한 질문-답변 템플릿을 바탕으로 질문-응답 텍스트 레이블을 자동 생성하는 알고리즘을 개발하였다. 제안된 프레임워크로 생성한 데이터를 통해 대규모 비전-언어 모델인 LLaVA의 파인튜닝 가능성을 검증하였으며, 이를 통해 전장 상황 데이터 부족 문제를 해결하고 특화된 모델 개발을 촉진할 수 있음을 확인하였다.