DRL Methods and GA based Experience-Reputation Network for UAV Optimal Path Planning

Abstract

본 연구는 셀룰러 네트워크와 UAV 고유 식별 번호 부여와 같은 차세대 통신 기술을 고려하여, 분산 운용 환경에서 UAV 간 협력이 창발할 가능성을 탐구하였다. DRL을 활용하여 UAV의 경로 계획을 최적화할 수 있으며, 이때 SARL 환경 또는 MARL 환경 을 사용한다. SARL 모델은 개별 UAV 입장에서 최대 이득을 제공하지만, 양측 UAV 가 MARL 모델을 활용할 경우 더 나은 결과를 얻을 수 있다. 이는 UAV 운용이 반복적 죄수의딜레마게임과일치함을시사한다. 이와같은운용환경에서팃포탯과같은경험 기반 전략이 제안될 수 있지만, 상호작용 횟수가 적거나 실수가 존재하는 환경에서는 단 순히 팃포탯 전략으로만 문제를 해결하기 어렵다. 팃포탯의 대체 전략으로 뒤늦은 보복 전략과 팃포투탯 전략이 우수함을 입증했으며, 경험 기반 전략과 평판 기반 전략을 결 합한 하이브리드 전략을 개발하였다. 하이브리드 전략은 상대의 전략에 적응할 수 있는 강인한 전략으로, 높은 생존 확률을 보이며 운용 환경에서 협력을 효과적으로 창발시킬 수 있었다.