인지 및 추론 연구를 위한 테스트베드

Abstract

프랑소와 숄레(François Chollet)가 제안한 Abstraction and Reasoning Corpus (ARC)는 특정 문제에 매몰되지 않고, 일반화가 가능한 지능의 개발을 위해 디자인된 아이큐 테스트 형태의 벤치마크로, 인간과 컴퓨터 모두의 인지 능력을 측정하기에 적합하다. 대부분의 문제를 풀 수 있는 사람에 반해, 30% 이상의 문제를 풀 수 있는 컴퓨팅 기반 ARC-Solver는 알려지지 않았다. 이 연구에서는 기존 RC의 난이도를 유지하면서도 모델의 복잡도를 간소화하기 위해 탐색 공간을 최소화한 벤치마크 데이터 Mini-ARC를 소개한다. Mini-ARC의 수집을 위해, 인간의 풀이 과정을 추적할 수 있는 인터페이스인 O2ARC를 고안하였으며, 이를 통해 25명에게 총 3,000여 개의 풀이를 수집하는 데 성공했다. 이 연구는 간소화된 인간의 인지 과정과 그 풀이 과정을 대량으로 확보하는 시스템을 구축하여, 컴퓨팅 기반 ARC-Solver 개발의 새로운 접근법을 제시한다.