01
개방형 프런티어 지능을 겨냥한 Kimi K3
Kimi K3: Open Frontier Intelligence
논문 개요
Kimi K3는 긴 문맥·시각·에이전트 작업을 한 모델에서 다루려는 대규모 MoE 모델이다. Delta Attention과 Attention Residuals로 길이와 깊이에 따른 정보 흐름을 개선하고, Stable LatentMoE로 토큰마다 일부 전문가를 활성화한다. 사후학습은 일반·에이전트·코딩 영역의 강화학습과 여러 추론 노력 수준을 포함한다. 논문은 장기 코딩·지식·추론·시각 평가에서의 결과를 보고하며 가중치를 공개한다.