A Hierarchical Multi-Robot Orchestration Framework for Safety-Critical Maintenance Tasks in Power Plants

Abstract

Power plants and high-voltage substations form the backbone of modern critical infrastructure while simultaneously constituting some of the most hazardous working environments on earth. High-voltage incidents such as arc flash can cause fatal injuries and large-scale equipment failures, and a significant proportion of such accidents are attributable to human error. Against this backdrop, this dissertation proposes a hierarchical multi-robot orchestration framework for realizing the autonomous execution of safety-critical maintenance tasks in power plant facilities. The proposed system comprises three core technical contributions. First, the major operational targets in power plant facilities—such as circuit breaker handles and panel door grips—are fabricated from chrome-plated and polished metallic materials, which causes severe degradation in conventional RGB-D based 6D pose estimation methods. To address this problem, a Mask-Optimized FoundationPose method is proposed that employs a fine-tuned Mask R-CNN to precisely segment the target component at the part level within complex assemblies, and re-ranks FoundationPose pose hypotheses through Mask IoU optimization, replacing unreliable depth consistency scores with a geometrically robust 2D alignment criterion. A geometric consistency filter is further applied to eliminate physically implausible hypotheses, and the proposed method achieves substantially improved pose estimation accuracy on specular industrial components compared to existing approaches. Second, a learning-based robot skill portfolio is constructed to address the data scarcity problem inherent to operational energy facilities. Based on the Energy-Expert-Teleop dataset collected via the GELLO bimanual teleoperation system, an Action Chunking with Transformers (ACT) policy is trained to achieve highly reliable manipulation capability for three contact-rich tasks: panel door opening, voltage measurement, and circuit breaker operation. In addition, a semantic navigation module for an autonomous mobile AGV and a vision-guided tool retrieval module for a UR3 manipulator are developed, constituting the complete skill portfolio for the heterogeneous robot fleet. Third, an LLM-driven hierarchical orchestration framework is proposed that translates abstract natural language maintenance commands into safety-compliant task plans for a heterogeneous multi-robot fleet. A Structured Environmental Representation model 𝓜, which encodes facility topology, entity attributes, and robot capability policies as a JSON graph, is employed as a cognitive scaffold to constrain LLM reasoning within the physical and procedural boundaries of the facility, thereby effectively suppressing planning hallucinations. The three technical contributions are integrated into a high-fidelity testbed that replicates the layout and operational characteristics of an actual power plant, and system-level validation is conducted. Integrated system analysis confirms that the hierarchical decoupling architecture independently isolates the failure modes of each layer, enabling reliable mission execution and principled error recovery. The findings of this dissertation demonstrate that the hierarchical separation of probabilistic reasoning (LLM orchestration) and deterministic execution (specialized skill modules) constitutes a viable technical foundation for autonomous robotic maintenance in safety-critical industrial environments.|발전소 및 고압 변전소는 현대 사회 기반 시설의 핵심을 이루는 동시에, 가장 위험한 작업 환경 중 하나이다. 아크 플래시와 같은 고전압 사고는 치명적인 인명 피해와 대규모 설비 고장을 유발할 수 있으며, 사고 원인의 상당 부분은 인적 오류에 기인한다. 이러한 배경에서 본 논문은 발전소 내 안전 필수 유지보수 작업의 자율화를 실현하기 위한 계층적 다중 로봇 오케스트레이션 프레임워크를 제안한다. 제안된 시스템은 세 가지 핵심 기술 기여로 구성된다. 첫째, 발전소 설비를 구성하는 차단기 핸들, 패널 도어 손잡이 등 주요 조작 대상 부품들은 크롬 도금 및 광택 처리된 금속 재질로 이루어져 있어, 일반적인 RGB-D 기반 6D 포즈 추정 방법이 심각하게 저하되는 문제가 발생한다. 이를 해결하기 위해 파인튜닝된 Mask R-CNN을 활용하여 복잡한 조립체 내 목표 부품을 부품 수준에서 정밀하게 분할하고, 획득된 마스크를 기반으로 한 Mask IoU 최적화를 통해 FoundationPose의 포즈 가설을 재순위화함으로써 신뢰할 수 없는 깊이 일관성 점수를 기하학적으로 강건한 2D 정렬 기준으로 대체하는 방법을 제안한다. 기하학적 일관성 필터를 추가로 적용하여 물리적으로 불가능한 가설을 제거하며, 제안된 방법은 경면 반사 산업 부품에 대해 기존 방법 대비 현저히 향상된 포즈 추정 정확도를 달성하였다. 둘째, 데이터 희소성 문제를 해결하기 위한 학습 기반 로봇 스킬 포트폴리오를 구축한다. GELLO 양팔 원격조작 시스템을 통해 수집한 Energy-Expert-Teleop 데이터셋을 기반으로 Action Chunking with Transformers (ACT) 정책을 학습하여 패널 도어 개방, 전압 측정, 차단기 조작 등 세 가지 접촉 집약적 작업에 대한 높은 신뢰성의 조작 능력을 확보하였다. 아울러 자율 주행 AGV의 의미론적 내비게이션 모듈과 UR3 기반 시각 유도 공구 회수 모듈을 개발하여 이종 플릿의 완전한 스킬 포트폴리오를 구성하였다. 셋째, 추상적인 자연어 유지보수 명령을 이종 다중 로봇 플릿에 대한 안전 준수 작업 계획으로 변환하는 LLM 기반 계층적 오케스트레이션 프레임워크를 제안한다. 시설 위상, 개체 속성, 로봇 역량 정책을 JSON 그래프로 인코딩한 구조화 환경 표현 모델 𝓜을 인지적 발판으로 활용하여 LLM의 추론을 시설의 물리적·절차적 경계 내로 제한함으로써 계획 환각을 효과적으로 억제한다. 제안된 세 가지 기술 기여를 실제 발전소의 배치 및 운영 특성을 재현하는 고충실도 테스트베드에 통합하여 시스템 수준 검증을 수행하였다. 통합 시스템 분석을 통해 계층적 분리 아키텍처가 각 계층의 고장 모드를 독립적으로 격리함으로써 안정적인 임무 수행과 원칙에 기반한 오류 복구를 가능하게 함을 확인하였다. 본 논문의 연구 결과는 확률적 추론(LLM 오케스트레이션)과 결정론적 실행(특화 스킬 모듈)의 계층적 분리가 안전 필수 산업 환경에서의 자율 로봇 유지보수를 위한 실행 가능한 기술적 토대임을 입증한다.