Plastic and Expressive Neural Networks for Compute Efficient Reinforcement Learning

Abstract

Recent advances in high-throughput simulators have enabled reinforcement learning agents to collect experience at an unprecedented scale. Yet as data generation becomes cheaper, the main bottleneck shifts to the computational cost of learning effectively from that data. Thus, reinforcement learning algorithms must be not only sample-efficient, but also efficient in training time, model capac- ity, and update budgets. This dissertation studies compute-efficient reinforcement learning through two central tradeoffs: stability–plasticity and expressivity–computation. To address these challenges, this dissertation introduces Frobenius–Isometry Reinitialization (FIRE) and Normalized Gated Linear Unit (N-GLU). FIRE restores well-conditioned representations while preserving useful learned structure, improving the balance between stability and plasticity. N-GLU enhances the expressivity of compact networks through normalized multiplicative gating. Experiments on Atari, HumanoidBench, and MuJoCo Playground show that these methods improve both compute efficiency and final performance under practical computational constraints.|최근 고처리량 시뮬레이터의 발전으로 강화학습 에이전트는 전례 없는 규모의 경험을 수집할 수 있게 되었다. 그러나 데이터 생성 비용이 낮아질수록, 주요 병목은 해당 데이터로부터 효과적으로 학습하는 데 필요한 계산 비용으로 이동하고있다. 따라서 강화학습 알고리즘은 샘플효율성뿐만 아니라 학습시간, 모델 용량, 업데이트 예산 측면에서도 효율적이어야 한다. 본 학위논문은 안정성–가소성 트레이드오프와 표현력–계산량 트레이드오프라는 두 가지 핵심 관점을 통해 계산 효율적인 강화학습을 연구한다. 이러한 문제를 해결하기 위해 본 논문은 Frobenius–Isometry Reinitialization(FIRE)과 Normalized Gated Linear Unit(N-GLU)을 제안한다. FIRE는 유용하게 학습된 구조를 보존하면서 잘 조건화된 표 현을 회복함으로써 안정성과 가소성 사이의 균형을 개선한다. N-GLU는 정규화된 곱셈적 게이팅을 통해 작은 네트워크의 표현력을 향상시킨다. Atari, HumanoidBench, MuJoCo Playground에서의 실험은 제 안한 방법들이 실제적인 계산 제약 하에서도 계산 효율성과 최종 성능을 모두 향상시킴을 보여준다.