Post-Processing Techniques for Forward and Inverse Monte Carlo Rendering

Abstract

물리 기반 렌더링은 사실적인 이미지를 생성하기 위해 널리 연구되어 왔으며, 최근에는 목표 이미지로부터 장면 매개변수를 기울기 기반 최적화 알고리즘을 기반으로 추정하는 역방향 렌더링 프레임워크에도 적용되고 있다. 이러한 프레임워크에서는 물리 기반 미분 가능한 렌더링을 통해 기울기를 계산한다. 이 방법들은 픽셀 색상과 그 도함수를 편향 없이 계산하기 위해 몬테카를로 기법을 사용하지만, 이로 인해 렌더링된 이미지와 기울기 모두에 노이즈(즉,몬테카를로분산)가 발생하게 된다.이러한 노이즈는 시각적으로 거슬리는 아티팩트를 유발할 수 있으며, 역방향 렌더링에서는 장면 매개변 수 최적화 알고리즘의 수렴을 방해할 수 있다. 정방향 렌더링의 노이즈를 줄이기 위해 다양한 이미지 디노이징 및 사후 보정 기술과 같은 후처리 기술들이 제안되어 왔다. 역방향 렌더링에서는 기존에 순방향 렌더링에서 제안된 이미지 디노이징 방식을적용하여 기울기의 노이즈를 줄이고, 이를 통해 최적화 성능을 개선하기 위한 연구가 수행되었다. 하지만, 이러한 접근법은 다양한 렌더링 상황에서 항상 이미지 품질을 개선하지 못하며, 역방향 렌더링에서는 디노이징 편향(bias)으로 인해 최적화가 정의되지 않은 국소 최소 값에 수렴하는 문제를 야기할 수 있다. 이러한 문제를 완화하기 위해 본 학위논문에서는 다양한 테스트 장면에서도 안정적으로 이미지 품질을 향상시키고, 디노이징 편향을 줄이며 역방향 렌더링의 최적화 수렴을 개선할 수 있는 후처리 기법들을 제안한다. 먼저, 제임스-스타인 추정기를 활용하여 편향이 없는 잡음(노이즈) 이미지와 편향이 있는 이미지(디노이징 결과)를 결합 함으로써 렌더링된 이미지의 품질을 향상시키는 사후 보정 기법을 제안한다. 이는 렌더링 분야에 제임스-스타인 추정기를 적용한 첫번째 연구이다. 역방향 몬테카를로 렌더링 에서는, 기존에 개발된 이미지 디노이징 기법의 직접적인 적용 대신 역방향 렌더링 특화 정보(즉, 목표 이미지)를 활용하여 더 강건하게 장면 매개변수 최적화를 개선할 수 있는 새로운 이미지 디노이징 방법을 제안한다. 마지막으로, 매개변수 공간에서 편향 없는 기울기와 편향된 기울기(예: 필터링된 기울기)를 제임스-스타인 추정기에 기반하여 국소적으로 결합하는 역방향 렌더링을 위한 사후 보정 기법을 제안 한다. 결합된 기울기는 최적화 알고리즘의 입력으로 사용되며 단일 유형의 기울기만을 사용하는 경우보다 더 빠른 수렴을 유도하는 것을 목표로 한다. 제안한 기법들의 결과로,정방향 렌더링을 위한 후처리 방법은 다양한 테스트 장면에서 일관되게 이미지 품질을 향상시키며, 최신 후처리 기법들보다 우수한 성능을 보였다. 또한, 역방향 렌더링을 위한 이미지 디노이징 및 사후 보정 기법은 최적화 알고리즘의 수렴을 개선함으로써 기존 기술들 보다 장면 매개변수를 더욱 정확하게 추정할 수 있음을 입증하였다.|Physically based rendering has been widely studied for generating photorealistic images and has recently been integrated into inverse rendering frameworks that estimate scene parameters from target images via gradient-based optimization. In these frameworks, gradients are computed through physically based differentiable rendering. These methods use Monte Carlo methods to compute pixel colors and their derivatives in an unbiased manner, but they introduce noise (i.e., Monte Carlo variance) in both rendered images and gradients. This noise can introduce visually distracting artifacts in rendered images and lead to slow convergence of scene parameter optimization in inverse rendering. In forward rendering, various image denoising and post-correction techniques have been proposed to reduce errors in rendered images. In inverse rendering, some of these denoisers have been directly adapted to generate less noisy gradients and improve the convergence of optimization. However, these approaches often struggle to consistently improve image quality across diverse rendering scenarios in forward rendering. In inverse rendering, these drive the optimization convergence to undesirable local minima due to denoising bias. To alleviate these issues, we propose post-processing techniques that robustly improve image quality across diverse test scenes and improve inverse rendering convergence with reduced denoising bias. First, we propose a post-correction technique that improves the quality of rendered images by combining unbiased and biased rendering estimates (e.g., a noisy image and its denoised output) using the James-Stein estimator. To the best of our knowledge, this is the first application of the James-Stein estimator in rendering. In inverse Monte Carlo rendering, we present a new image denoising method using inverse rendering-specific information (i.e., target images) to robustly improve the inverse rendering optimization compared to the direct adaptation of existing image denoising techniques. Finally, we propose a post-correction method that locally fuses unbiased and biased gradients (e.g., filtered gradients) in the parameter space, based on the James–Stein estimator. The combined gradients are then used as input to a gradient-based optimizer, leading to faster convergence compared to using either unbiased or biased gradients alone. Our results demonstrate that the proposed post-correction method for forward rendering consistently improves image quality across a wide range of test scenes, outperforming recent post-processing techniques. In addition, the proposed post-processing methods (image denoising and post-correction methods) enable more accurate inference of scene parameters through inverse rendering optimization than existing techniques.