BDH-CQ: 말로 풀지 않는 반복 latent 추론
BDH-CQ: In-Context Learning with Recurrent Latent Reasoning
ReasoningRecurrent memoryARC-AGI논문 개요
추론 시점에 들어오는 예시가 recurrent memory를 계속 갱신하고, 모델은 중간 사고 과정을 텍스트로 드러내지 않은 채 고차원 latent space에서 반복 계산해 답을 낸다. in-context learning과 latent reasoning을 하나의 모델 안에서 연결한 접근이다.
arXiv 원문 보기 ↗연구 목표
- 작은 모델로 ARC류 규칙 추론의 비용-정확도 균형을 개선한다.
핵심 방법
- 데모 입력을 recurrent memory에 축적하고, verbalized reasoning 없이 iterative latent computation을 수행한다.
주요 결과
- ARC-AGI-1에서 기존 cost-accuracy Pareto frontier를 넘는 운용점을 보고했다.
핵심 지표
- 150M parameters, ARC-AGI-1 pass@2 29.5%, task당 계산 추정 비용 US$0.0007.