Decentralized Path Planning and Collision Avoidance for Multiple UAVs using Imitation Learning in Simulated 3D Dynamic Environments

Abstract

무인항공기（UAV）는 3차원 동적 환경에서 충돌 없는 궤적을 실시간으로 계획해야 합니다. 각 무인항공기의 행동은 인접한 무인항공기들의 가능한 행동과 안전 마진을 변화시키므로, 같은 공역에서 함께 비행하는 무인항공기 간 협응（coordination）이 필요합니다. 이러한 다중 에이전트 문제에 강화학습을 적용하려면 목표 도달, 충돌 회피, 무인항공기 간 협응이라는 목적들을 각각 수치 보상 항으로 정의하고 이를 가중합한 하나의 스칼라 보상 함수를 설계해야 합니다. 그러나 이렇게 정의한 보상을 최적화하더라도 의도한 거동이 보장되지는 않으며, 이를 유도하도록 각 항의 형태와 항들 간 가중치를 정하기가 어렵습니다. 모방학습은 이러한 보상 설계 부담을 덜지만, 전문가 데이터의 양과 질에 종속되며, 실행 중 학습된 정책의 오차가 누적되어 전문가 데이터에 없는 상태에 도달하는 분포 이탈（covariate shift）로 성능이 저하됩니다. 이러한 한계를 해소하기 위해 본 논문은 중앙집중식 학습 및 분산 실행（Centralized Training and Decentralized Execution, CTDE） 패러다임을 적용한 적대적 역강화학습（Adversarial Inverse Reinforcement Learning, AIRL） 프레임워크인 CTDE-AIRL을 제안합니다. AIRL은 전문가 데이터로부터 보상을 복원하여 보상 설계 부담을 덜고, 복원된 보상을 강화학습으로 최적화하여 행동을 직접 모방하는 방식의 성능 상한과 분포 이탈을 완화합니다.

전문가 데이터는 A* 전역 경로 계획, 모델 예측 경로 적분（Model Predictive Path Integral, MPPI） 지역 경로 계획, 장애물과의 여유 간격에 따라 변화하는 가중치 스케줄러를 통해 생성됩니다. 스케줄러의 구역별 매개변수를 다르게 하여 보수적, 공격적 두 가지 프로파일의 전문가 데이터를 생성하며, 두 프로파일은 각각 장애물과의 여유 간격이 더 큰 궤적과 더 직접적인 궤적을 만듭니다. 각 프로파일에 대해 두 가지 데이터셋 크기（10,000과 60,000 에피소드）로 전문가 데이터를 수집합니다. CTDE-AIRL에서는 단일 중앙 판별자와 중앙 비평자가 모든 무인항공기의 관측과 행동을 입력으로 사용하므로, 복원된 보상과 가치 추정을 통해 분산 행동자는 각 무인항공기의 국소 관측만으로 협응적 거동을 발현합니다. 적대적 학습은 행동 복제（Behavior Cloning, BC） 사전학습, 혼합 보상, 판별자 갱신 빈도 축소를 통해 안정화됩니다. CTDE-AIRL을 동일한 전문가 데이터로 학습한 다른 모방학습 기법들인 BC, DAgger（Dataset Aggregation）, 확산 모델 기반 궤적 생성기와 비교합니다.

각 방법은 시작점과 목표점이 교차하도록 고정되고 장애물이 무작위로 배치된 환경에서 두 전문가와 두 데이터셋 크기에 대해 평가됩니다. 에피소드 성공률은 CTDE-AIRL이 88.7--92.4%, 확산 생성기가 최대 40.3%, BC와 DAgger가 8.2% 이하입니다. CTDE-AIRL은 무인항공기 간 충돌률을 공격적 전문가보다 낮게 유지하며, 데이터셋 크기와 전문가 거동 모두에 강건합니다. 분산 행동자는 온라인 MPPI 전문가보다 스텝당 약 49배 빠르게 동작하여 실시간 분산 실행에 적합합니다. 이 결과는 보상을 복원하고 그 보상으로 정책을 학습하는 방식이 전문가의 거동을 재현하는 방식을 능가함을 보입니다. 모든 방법이 동일한 전문가 데이터로 학습되었으므로, 방법 간 성능 차이는 데이터 자체가 아니라 각 방법이 이를 활용하는 방식에서 비롯됩니다. 본 연구는 제안한 CTDE-AIRL이 3차원 동적 환경에서 다중 무인항공기의 분산 실시간 경로 계획에 효과적인 방법임을 확인했습니다.|Multiple unmanned aerial vehicles （UAVs） operating in a three-dimensional dynamic environment need to plan collision-free trajectories in real time. Because each UAV's action alters the feasible actions and safety margins of its neighbors, concurrently acting UAVs must coordinate their motions. Applying reinforcement learning to this multi-agent setting requires combining multiple objectives into a single scalar reward function. The functional form and weighting of each term are difficult to design manually. Although imitation learning reduces the reward-design burden, it depends on the quantity and quality of the expert demonstrations. The learner's errors accumulate during execution and lead it into states absent from the demonstrations, a covariate shift that degrades performance. To address these limitations, this thesis proposes CTDE-AIRL, an Adversarial Inverse Reinforcement Learning （AIRL） framework under the Centralized Training and Decentralized Execution （CTDE） paradigm. AIRL recovers a reward from the expert demonstrations to ease the reward-design burden, and optimizing the recovered reward with reinforcement learning mitigates the performance ceiling and covariate shift of direct imitation.

The demonstrations are generated by an A* global planner, a Model Predictive Path Integral （MPPI） local planner, and a cost-weight scheduler that varies with clearance to obstacles. The conservative and aggressive experts differ in the scheduler's zone-specific parameters and generate higher-clearance and more direct trajectories, respectively. For each expert, demonstrations are collected at two sizes, 10,000 and 60,000 episodes. In CTDE-AIRL, a single centralized discriminator and centralized critics take all UAVs' observations and actions as input, so the recovered reward and value estimate let the decentralized actor produce coordinated behavior from local observations. Adversarial training is stabilized by Behavior Cloning （BC） pretraining, a mixed reward, and reduced-frequency discriminator updates. CTDE-AIRL is compared with BC, Dataset Aggregation （DAgger）, and a diffusion-based trajectory generator trained on the same demonstrations.

Each method is evaluated under a fixed start-goal crossing assignment with randomized obstacles, across the two experts and two demonstration sizes. Episode success rates are 88.7--92.4% for CTDE-AIRL, at most 40.3% for the diffusion generator, and at most 8.2% for BC and DAgger. CTDE-AIRL keeps its inter-UAV collision rate below that of the aggressive expert and is robust to both the demonstration size and the expert's behavior. The decentralized actor runs about 49 times faster per step than the online MPPI expert, supporting real-time decentralized execution. These results show that recovering a reward and training a policy on it outperforms reproducing the demonstrated behavior. This study confirms that the proposed CTDE-AIRL is an effective method for decentralized real-time path planning of multiple UAVs in a three-dimensional dynamic environment.