CNN구조를 이용한 Starcraft II 미니게임 모방학습

Abstract

강화학습에서 모방학습(behavior cloning)은 에이전트의 초반 탐험(exploration) 를 해소하려는 방법 문제 중 하나로 쓰여지며 모방학습으로 학습된 가중치를 이용해 강화학습 에이전트의 신경망을 , 초기화하는 방 법으로 많이 사용된다 본 논문에서는 . StarCraft II 미니게임 환경에서 구조를 이용하여 모방학습을 CNN 진행할 것이다 위 과정에서 프레임쌓기 . (frame stack), 오버샘플링 드롭아웃 기법을 적용해보았고 기법 , , 적용의 유무에 따라 성능의 차이가 나타나는 것을 확인해본다 실험 결과 드롭아웃의 적용이 성능을 향상 . 시켰으며 프레임 쌓기를 하지 않는 것이 성능향상에 도움이 되었고 오버샘플링에 대한 성능의 변화는 크 , , 게 없어 데이터 불균형 문제에 견고함을 보였다 또한 지도학습의 일반적인 평가지표인 와 . loss accuracy 측정이 모방학습 에이전트가 게임을 얼마나 잘 플레이하느냐와는 큰 연관성이 없음을 확인하였다.