Uncertainty-Driven Solution Space Exploration for Single-Image Super-Resolution

Abstract

Single image super-resolution (SISR) is inherently ill-posed: a single low-resolution observation is consistent with many distinct high-resolution reconstructions. Geometrically, the plausible reconstructions form a solution space, the intersection of the feasible set defined by the degradation operator and the manifold of natural images, whose width varies dramatically across the image. Smooth regions correspond to a near-point in this space, while edges and textures correspond to a much wider set of admissible alternatives. Existing generative SISR methods explore this space without guidance: they draw stochasticity from isotropic priors that treat all pixels as equally ambiguous.

This dissertation argues that such guidance can be estimated directly from the low-resolution input. A theoretical analysis identifies the aleatoric uncertainty of the SISR problem with the magnitude of the residual between the ground truth and the prediction of a pixel-wise-trained baseline. Geometrically, this identity says that the uncertainty map is the local width of the solution space. A frozen baseline together with a learned uncertainty estimator therefore yields a residual parametrization in which the centroid of the space and stochastic displacements around it are explicitly separated.

Two frameworks exploit this parametrization. The first explores the solution space at inference time, using the uncertainty map as the covariance of an anisotropic prior over residuals so that different forward passes produce different points in the space. The second explores it at training time: a learned synthesizer generates probe samples at calibrated distances from the natural image manifold, and these probes drive a contrastive minimax game in which the discriminator learns the geometry of the solution space directly. Together, the two frameworks demonstrate that aleatoric uncertainty is the natural coordinate system for the solution space, and that exploring this space along its native coordinates yields a more favorable perception-distortion trade-off across standard benchmarks.|단일 영상 초해상도(Single Image Super-Resolution, SISR)는 본질적으로 잘못 설정된 문제(ill-posed problem)이다. 하나의 저해상도 입력은 다수의 서로 다른 고해상도 복원 결과와 부합할 수 있기 때문이다. 이러한 가능한 복원 결과들은 기하학적으로 해 공간(solution space)을 이룬다. 해 공간이란, 열화 연산자에 의해 정의되는 가능 집합과 자연 영상 다양체의 교집합으로서, 그 폭은 영상 내 위치에 따라 크게 달라진다. 평탄한 영역은 해 공간이 거의 한 점으로 수렴하는 반면, 윤곽선이나 질감 영역은 훨씬 더 넓은 후보 집합을 갖는다. 그러나 기존의 생성 모델 기반 초해상도 기법들은 이러한 해 공간의 구조를 인지하지 못한 채 탐색을 수행한다. 모든 픽셀을 동일한 정도로 모호하다고 가정한 등방성(isotropic) 사전 분포로부터 무작위성을 도입하여 학습할 뿐이다.

본 학위논문은 이러한 해 공간을 탐색하기 위한 단서를 저해상도 입력으로부터 직접 추정할 수 있음을 주장한다. 이론적 분석을 통해, 초해상도 문제의 우연적(aleatoric) 불확실성이 픽셀 단위 손실로 학습된 기준 모델의 출력과 정답 영상 간 잔차의 크기와 정확히 일치함을 확인하였다. 이를 기하학적으로 해석하면, 추정된 불확실성 맵은 해 공간의 국소적 폭을 의미한다. 따라서 사전 학습된 기준 모델과 학습 가능한 불확실성 추정 모델을 결합하면, 해 공간의 중심과 그 주변에서의 확률적 변위를 명시적으로 분리하는 잔차 매개변수화(residual parametrization) 방법을 활용할 수 있다.

본 연구에서는 이러한 매개변수화를 활용하는 두 가지 프레임워크를 제안한다. 첫 번째 프레임워크는 추론 단계에서 해 공간을 탐색한다. 불확실성 맵을 잔차에 대한 비등방성(anisotropic) 사전 분포의 공분산으로 사용함으로써, 매 추론마다 해 공간 내 서로 다른 지점이 생성되도록 한다. 두 번째 프레임워크는 탐색을 학습 단계에서 진행한다. 학습된 합성 모델이 자연 영상 다양체로부터 일정 거리에 위치한 탐색용 표본(probe sample)을 생성하고, 이 표본들을 활용한 대조적(contrastive) 미니맥스 게임을 통해 판별자가 해 공간의 기하 구조를 직접 학습하도록 유도한다. 두 프레임워크는 우연적 불확실성이 초해상도 해 공간의 자연스러운 좌표계임을 보이며, 이를 따라 해 공간을 탐색하는 것이 다양한 표준 벤치마크에서 더 유리한 화질-왜곡 절충을 달성함을 입증한다.