비지도 특징학습을 위한 커널 기반 제한된 볼츠만 머신

Abstract

본 논문은 비지도 특징학습을 위한 커널 기법에 근거한 제한된 볼츠만 머신 (RBM)을 제시한다. 커널 기반RBM의 핵심 아이디어는 입력 데이터를 비선형 함수를 이용하여 고차원의 특징공간으로 맵핑하고, 이 공간에서가시유닛과 은닉유닛에 대한 에너지 함수를 정의한다. 딥러닝에서 많이 쓰이고 있는 rectified linear unit을 커널RBM을 위한 커널 함수로 사용한다. 커널 RBM을 학습하기 위해 경사기반 contrastive divergence 알고리즘을 유도하고, 학습에 필요한 파라메터의 갱신법을 제시한다. MNIST와 STL-10 데이터를