인접 행렬 추상화를 이용한 DGN 모델의 스타크래프트 멀티 에이전트 강화 학습

Abstract

전투 시뮬레이션 게임인 스타크래프트에서는 다양한 유닛들과 이를 통해 적을 이기는 것을 목적으로 한다. 이러한 시뮬레이션 환경에서 여러 에이전트를 움직이는 것을 결정하는 것은 매우 어려운 일이다. 여러 에이전트들의 의사결정을 내리는데 있어서 필요한 것은 각 에이전트 간의 관계와 그로 인해 생기는 충돌과 같은 간섭효과가 발생 시 생기는 문제등을 효과적으로 해결할 수 있는 협동 전략을 배우는 것이 다. 본 논문에서는 여러 특징을 지닌 각기 다른 특성의 에이전트들의 관계를 그래프 네트워크를 통해 추상 화하여 스타크래프트와 같은 복잡한 게임에서 실시간으로 이루어지는 의사결정을 통해 에이전트들의 협동 전략을 학습하는 강화 학습 모델을 제안한다. 기존의 그래프 네트워크를 이용한 강화 학습 연구들은 인접 행렬을 형성하는데 있어 에이전트들간의 거리만을 고려하였다면[1], 본 연구에서 제안하는 방법은 환경 안에서 받아오는 정보를 모델을 통해 인접 행렬을 구성하여 학습을 진행한다. 실험 결과 제안하는 모델의 성능은 기존의 그래프 네트워크의 방법과 비교하였을 때 더 높은 성능을 보여주었다.