Bandwidth Optimization with Trainable Denoiser for Progressive Photon Mapping

Abstract

Physically based rendering generates photorealistic images using Monte Carlo methods such as path tracing. While path tracing is unbiased and consistent, it struggles with complex light paths due to random sampling, leading to high variance. Progressive photon mapping (PPM) addresses this by tracing photons through the scene and using kernel density estimation to estimate radiance. PPM achieves bounded memory usage through iterative rendering with bandwidth reduction. However, PPM is sensitive to kernel bandwidth selection, which controls the bias-variance tradeo!, and exhibits high variance on glossy and textured surfaces due to narrow reflection lobes. Current bandwidth optimization methods balance bias and variance but cannot address spa- tial variance from material properties. Post-processing methods reduce residual noise but operate on already-rendered output with fixed bias. Existing approaches treat bandwidth optimization and filtering as independent steps, although they are coupled. The optimal bandwidth depends on the filter denoising strength, while the optimal filter parameters depend on the input bias level. We propose the first denoising-aware bandwidth optimization framework for PPM that jointly optimizes kernel bandwidth and filter parameters during rendering. Our self-supervised framework uses a dual-bu!er strategy to generate training and target images from independent camera samples. Moreover, we propose joint training of kernel bandwidth and filter parameters. Both bandwidth and filter parameters are optimized via gradient descent. Our results demonstrate that the proposed post-processing-aware framework has an advantage in preserving image edges but incurs a sample-count tradeo! in glossy and textured materials. An ablation study demonstrates that filter optimization dominates performance, suggesting neural network- based filters with photon-related features as a promising future direction.|물리 기반 렌더링은 경로 추적법과 같은 몬테카를로 기법을 사용하여 사실적인 이미지를 생성한다. 경로 추적법은 편향되지 않고 정답 이미지로 수렴하지만, 경로의 무작위 샘플링으로 인해 복잡한 빛 경로를 처리하는 데 어려움을 겪어 픽셀값 추정에 높은 분산(잡음)를 유발한다. 점진적 광자 매핑(PPM)은 장면 전체에서 광자를 추적하고 커널 밀도 추정을 사용하여 픽셀값을 추청함으로써 이 문제를 해결한다. PPM은 대역폭 감소를 통한 반복 렌더링을 통해 제한된 메모리 사용량과 정답 이미지로의 수렴을 달성한다. 그러나 PPM은 편향-분산 트레이드오프를 제어하는 커널 대역폭 선택에 민감하며, 광택이 있거나 질감이 있는 표면에서 높은 분산을 보인다. 현재의 대역폭 최적화 방법은 편향과 분산의 균형을 맞추지만, 재질에 의해 발생하는 공간적 분산은 처리할 수 없다. 이미지 후처리 방법은 잔여 잡음를 줄이지만, 이미 편향된 렌더링 이미지를 처리한다. 기존 방식은 대역폭 최적화와 필터링을 독립적인 단계로 처리한다. 하지만 최적의 대역폭은 필터의 잡음 제거 강도에 따라 달라지고, 최적의 필터 매개변수는 입력 이미지의 편향 정도에 따라 달라진다. 본 연구에서는 렌더링 과정에서 커널 대역폭과 필터 매개변수를 공동으로 최적화하는 최초의 PPM용 잡음 제거를 고려한 대역폭 최적화 프레임워크를 제안한다. 본 연구의 자기 지도 프레임워크는 이중 버퍼를 사용하여 훈련 이미지와 타겟 이미지를 독립적인 카메라 샘플로부터 생성한다. 대역폭과 필터 매개변수는 모두 경사 하강법을 통해 최적화한다. 연구 결과는 제안된 프레임워크가 이미지 디테일을 보존하는 데 유리하지만, 광택 및 질감이 있는 재질에서는 이중 버퍼에 의한 샘플 수 감소로 인한 트레이드오프가 발생함을 보여준다. 절제 연구는 필터 최적화가 대역폭 최적화에 비해 성능에 큰 영향을 미친다는 것을 보여주며, 광자 관련 특징을 사용하는 신경망 기반 필터를 적용하는 것을 향후 연구 방향으로 제안한다.