Practical Projection Mapping Method using Color Mixing Matrix for Colored Planar Surface

Abstract

When an image is projected with a projector, the image looks different from the existing image as it is deformed by various causes such as the effect of the camera or projector, ambient lightings or color or shape of the projection surface. Usually, cameras and projectors have non-linear response functions, so the modulated image and the desired image also have a non-linear conversion relationship. The method of estimating the non-linear conversion relationship itself as a non-linear function requires a large number of samples, so fast calculation is impossible. Therefore, this paper performs pre-calibration of projector and camera, and estimates the linearized conversion relationship based on Nayar's Color mixing matrix [1]. In this case, in order to obtain an accurate color conversion relationship, a geometric pixel mapping step must be performed first. This paper uses a feature matching-based algorithm to perform pixel mapping with only two calibration images. After that, 24 colors belonging to the Color Checker were projected, and the Color Mixing matrix was estimated using 24 correspondences per pixel. As a result of compensating for the image to be projected using this conversion relationship, the results were improved compared to the existing Nayar’s method for gray scale images. In addition, Projector non-linearity was estimated with a smaller number of samples using Bézier Interpolation, and the results of applying it to the compensation process were obtained.|프로젝터로 어떠한 이미지를 투사하였을 때, 이미지는 카메라나 프로젝터 혹은 주변 조명이나 투사면의 색상, 모양 등 다양한 원인에 의해 변형되어 기존의 이미지와는 다르게 보인다. 보통 카메라와 프로젝터는 비선형적인 응답 함수를 가지므로, 변형된 이미지와 기존의 이미지 역시 비선형적인 변환 관계를 가진다. 이러한 비선형적인 변환 관계 자체를 비선형 함수로서 추정하는 방식은 많은 sample 수를 필요로 하기 때문에 빠른 계산이 불가능하다. 때문에 본 논문은 프로젝터와 카메라의 사전 보상을 수행하고, 이로 인해 선형화 된 변환 관계를 Nayar[1]의 Color mixing matrix를 기반으로 추정한다. 이 때, 정확한 색상 변환 관계를 얻기 위해서는 우선 기하적 픽셀 맵핑 단계가 우선시 되어야 한다. 본 논문은 Feature matching 기반의 알고리즘을 사용하여, 2장의 이미지만으로 픽셀 맵핑을 수행한다. 이후, Color Checker에 속하는 24개의 색상을 투사하여, 픽셀 당 24개의 대응 관계를 이용해 Color mixing matrix를 추정하였다. 이러한 변환 관계를 이용하여 투사할 이미지를 보상한 결과, 흑백 이미지를 대상으로 기존의 Nayar 방식보다 개선된 결과를 보였다. 추가적으로 Bézier Interpolation을 사용하여 보다 적은 수의sample을 사용하여, 프로젝터의 비선형성을 추정하고, 이를 보상 과정에 적용한 결과를 얻었다.