On Feedback Alignment in Deep Neural Networks

Abstract

역전파 알고리즘은 역전파를 진행하는 동안 가중치 전치가 필요로 한다. 그로인해 역전파 알고리즘은 생물학적 불확정성을 갖게 되었고 피드백 정렬은 이 문제를 해결하기 위해 제안되었습니다. 이 아이디어는 고정된 임의의 가중치 행렬을 사용하여 출력 계층에서 역방향으로 각 숨겨진 계층으로 오류를 직접 전파하는 직접 피드백 정렬(Direct Feedback Alignment)로 발전되었습니다. 직접 피드백 정렬은 피드백 연결을 사용하여 역방향 경로의 전파를 병렬화하는 중요한 기여를 했습니다. 그러나 피드백 정렬과 마찬가지로 직접 피드백 정렬은 심층 합성곱 네트워크(Deep Convolutional Neural Network)에서 제대로 작동하지 않습니다. 이에 본 저자는 직접 피드백 정렬에서 역방향 가중치 행렬을 학습하고 Kolen-Pollack learning의 방법론을 채택하여 순방향 경로를 추정 할 수 있도록 직접 피드백 연결을 업데이트하여 심층 합성곱 신경망에서 훈련 및 추론 정확도를 향상시킬 것을 제안합니다. 본 저자가 제안한 방법은 직접 피드백 연결을 통해 학습의 정확도를 높이고 역전파를 통한 병렬 학습과 직렬 학습 간의 격차를 줄입니다.|Feedback alignment was proposed to address the biological implausibility of the backpropagation algorithm which requires the transportation of the weight transpose during the backwards pass. The idea was later built upon with the proposal of direct feedback alignment (DFA), which propagates the error directly from the output layer to each hidden layer in the backward path using a fixed random weight matrix. This contribution was significant because it allowed for the parallelization of the backwards pass by the use of these feedback connections. However, just as feedback alignment, DFA does not perform well in deep convolutional networks. We propose to learn the backward weight matrices in DFA, adopting the methodology of \emph{Kolen-Pollack learning}, to improve training and inference accuracy in deep convolutional neural networks by updating the direct feedback connections such that they come to estimate the forward path. The proposed method improves the accuracy of learning by direct feedback connections and reduces the gap between parallel training to serial training by means of backpropagation.