Lightweight Multimodal LLM-Driven Frameworks for Context-Aware Path Planning and Dynamic Parameter Adjustment in Mobile Robot Navigation Systems

Abstract

This thesis proposes the unified lightweight multimodal large language model(LLM)- Path Planning frameworks that integrate LLMs with both classical search-based and sampling- based path-planning algorithms for autonomous mobile robots. The first framework intro- duces the LLM-assisted reasoning system capable of interpreting user instructions, ana- lyzing environmental properties, and dynamically selecting the most suitable global plan- ner among A*, Theta*, PRM, RRT*, RRT*-Smart. The second framework presents the advanced system in which the LLM generates terrain-aware semantic costmaps and adap- tively adjusts key parameters (α, β, γ) for a kinematically feasible Hybrid A* planner. These two systems collectively demonstrate how lightweight multimodal LLMs (Gemma3 4B and 12B) can perform high-level control and influence algorithmic decision-making processes within the navigation pipeline. By enabling dynamic algorithm selection, semantic cost con- struction, and parameter adjustment, the proposed frameworks achieve enhanced flexibility, context-awareness, and mission-dependent optimization compared to traditional rule-based or single-planner navigation systems. Experimental evaluations conducted in Gazebo 3D simulator with semi-real environments further verify the framework’s ability to generate safer, smoother, and more efficient trajectories under diverse terrain and mission constraints. Ultimately, this thesis establishes LLM-Path Planning as a promising research direction that bridges the gap between modern lightweight multimodal LLM reasoning capabilities and classical path planning algorithms for intelligent autonomous robot systems.|본 논문은 자율주행 이동로봇을 위해 고전적 탐색 기반 및 샘플링 기반 경로계획 알고리즘을 대형 언어 모델과 통합한 통합 경량 멀티모달 LLM-Path Planning 프레임워 크를 제안한다. 첫 번째 프레임워크는 사용자 명령을 해석하고 환경적 특성을 분석하며, A*, Theta*, PRM, RRT*, RRT*-Smart 중 가장 적합한 전역 플래너를 동적으로 선택할 수 있는 LLM 기반 추론 시스템을 포함한다. 두 번째 프레임워크는 LLM이 지형 정보를 반 영한 semantic costmap을 생성하고, 차량의 물리적 운동학 제약을 반영한 Hybrid A* path planner 내부의 핵심 파라미터(α, β, γ)를 적응적으로 조정하는 고도화된 시스템을 제시 한다. 이 두 시스템은 경량 멀티모달 LLM (Gemma3 4B 및 12B)이 상위 제어를 수행하고 내비게이션 파이프라인 내의 알고리즘적 의사결정 과정에 직접 영향을 미칠 수 있음을 보 여준다. 제안된 프레임워크들은 동적 알고리즘 선택, 의미 기반 비용 생성, 파라미터 조정 을 가능하게 함으로써 기존의 규칙 기반 또는 단일 플래너 내비게이션 시스템보다 향상된 유연성, 상황 인지성, 임무 기반 최적화를 달성한다. Gazebo 3D 시뮬레이터에서 준실환 경 기반 실험을 수행한 결과, 다양한 지형 및 임무 조건에서 보다 안전하고 부드러우며 효율적인 경로를 생성하는 능력을 추가로 검증하였다. 궁극적으로 본 논문은 LLM-Path Planning 분야가 경량 멀티모달 LLM의 추론 능력과 고전적 경로계획 알고리즘을 연결하 는 유망한 연구 방향임을 제시하며, 이러한 다양한 접근법은 관련한 후속 연구에 기여할 것으로 기대된다.