ARC 문제 해결을 위한 프롬프트 엔지니어링의 가능성

Abstract

ARC(Abstraction and Reasoning Corpus)[1]는 범용인공지능을 평가하는 중요한 벤치마크 데이터셋이다. 하지만 ARC 벤치마크 데이터셋에서 좋은 성능을 보여주는 연구가 지금까지 나오지 못하고 있다. 이 와중에 대규모 언어 모델이 다양한 분야에서 좋은 성능을 보여주고 있고 이를 프롬프트 엔지니어링으로 활용하는 방식이 주목받고 있다. 그래서 본 연구에서는 ARC 문제 해결을 위한 프롬프트 엔지니어링의 가능성을 확인해보는 것이다. 이를 위해, 페르소나 프롬프트 및 생각의 사슬 등의 다양한 프롬프트를 활용하여 실험 및 심층 분석을 진행하였다. 실험 결과, 객체를 활용하는 문제에 대해서 어려움을 보이는 것을 확인할 수 있었다. 그러나 단순한 패턴 문제 및 객체를 찾는 문제에 대해서는 잘 푸는 것을 알 수 있었으며 적절한 프롬프트 엔지니어링 방법을 적용했을 때 정확도가 향상되었다. 이를 통해 프롬프트 엔지니어링의 가능성을 확인해 볼 수 있었다.