오늘 연구 흐름은 실시간 영상 생성, 월드 모델, 터미널 에이전트처럼 모델이 긴 상호작용을 수행·평가하는 기반으로 모인다. HF의 최근 논문은 음성 제어 영상, 물리 지능용 비디오 사전학습, 연구 아이디어 검증 도구와 통합 비전 생성까지 생성·에이전트·공간 인지를 함께 확장한다. 제품과 산업 쪽에서는 OpenAI의 GPT-Red 자동 레드팀, 산업 플랜트용 AI 투자, 공개 모델과 Codex 주변 하드웨어 소식이 이어졌다. 국내에서는 비전 AI 경량화, 로봇 그리퍼 교육, AI 스마트글래스 연구 참여가 확인됐다. 결론적으로 오늘은 더 긴 시간축에서 동작하는 모델과 이를 실제 환경에 배치하기 위한 안전성·효율성·도구화가 동시에 관찰되는 날이다.
Vidu S1: A Real-Time Interactive Video Generation Model
음성 지시로 디지털 캐릭터가 나오는 영상을 실시간 제어하는 생성 모델을 제안한다. 사용자는 생성 도중에도 음성으로 내용을 바꿀 수 있으며, 저자들은 장시간 생성에서 흐림·드리프트·시각 왜곡을 줄이는 것을 목표로 둔다. TurboDiffusion과 TurboServe를 결합해 일반 소비자 GPU에서의 실시간 출력을 겨냥했다.
Long-Horizon-Terminal-Bench: Testing the Limits of Agents on Long-Horizon Terminal Tasks with Dense Reward-Based Grading
이 벤치마크는 수 분 내 끝나는 단순 터미널 과제와 최종 결과만 보는 평가의 한계를 다룬다. 재현 실험, 소프트웨어 공학, 멀티모달 분석, 게임, 과학 과제처럼 더 긴 작업을 포함한다. 과정의 부분 진전도 반영하는 밀집 보상 채점을 통해 에이전트의 중간 수행을 관찰하도록 설계했다.
원문 링크 ↗Scaling Mixture-of-Experts Video Pretraining for Embodied Intelligence
이 연구는 콘텐츠 생성에 치우친 비디오 생성 모델을 물리 지능용 사전학습으로 전환하려 한다. LingBot-Video는 DiT 기반 비디오 사전학습 패러다임에 Mixture-of-Experts 구조를 적용한다. 저자들은 모델 용량과 추론 효율의 절충, 그리고 물리적 현실성의 개선을 문제로 둔다.
ResearchStudio-Idea: An Evidence-Grounded Research-Ideation Skill Suite from ML Conference Outcomes
ResearchStudio-Idea는 연구 아이디어를 즉시 생성하는 대신 문헌 근거와 병목 검토를 앞단에 두는 스킬 모음이다. Paper-Search로 여러 출처를 탐색하고, Scoop-Check로 선행 연구와의 충돌을 점검한다. 후보 방향을 구현 전에 차별성 및 위험과 함께 검토하도록 구성했다.
Vision as Unified Multimodal Generation
이 연구는 서로 다른 컴퓨터 비전 과제를 통합 멀티모달 모델의 텍스트·이미지 생성 공간에서 표현한다. SenseNova-Vision은 자연어 지시와 선택적 시각 프롬프트로 과제, 목표 영역·시점, 디코딩 규칙을 지정한다. 출력은 기호적 과제에는 텍스트, 조밀한 공간 예측에는 이미지, 복합 과제에는 혼합 형식이 될 수 있다.
Vision Pretraining for Dense Spatial Perception
물리 지능에서는 픽셀에서 구조적이고 거리감 있는 실행 가능한 표현을 얻는 일이 중요하다. 저자들은 기존 시각 파운데이션 모델이 의미적 불변성에 집중하면서 세부 공간 이해를 놓칠 수 있다고 본다. 이에 경계와 형태 불연속을 기하 단서로 활용하는 masked boundary modeling을 자기지도 사전학습 방식으로 제안한다.
원문 링크 ↗Infinite Worlds with Versatile Interactions
LingBot-World 2.0은 장시간 상호작용에서도 출력 일관성을 유지하는 월드 모델을 제시한다. 저자들은 인과적 사전학습으로 상호작용 지평을 확장하고, 기반 모델에서 실시간 변형을 증류한다. 다양한 상호작용 요소를 추가해 인터랙티브 영상 스트림 구동을 목표로 한다.
Multiplayer Interactive World Models with Representation Autoencoders
이 논문은 복잡한 물리 상호작용이 있는 환경을 위한 다중 플레이어 월드 모델을 제안한다. 다른 에이전트를 환경의 일부로 처리하는 단일 플레이어 설정과 달리, 여러 플레이어의 행동 스트림을 조건으로 사용한다. Rocket League에서 각 플레이어에게 장면 변화를 귀속하고 조합된 행동에서도 일관성을 유지하는지를 다룬다.
VideoRAE: Taming Video Foundation Models for Generative Modeling via Representation Autoencoders
VideoRAE는 비디오 파운데이션 모델의 고정 표현을 생성 가능한 압축 잠재공간으로 바꿀 수 있는지 묻는다. 기존 3D-VAE는 픽셀 복원에 최적화돼 의미·시공간 구조를 충분히 담지 못할 수 있다는 문제에서 출발한다. V-JEPA 2와 VideoMAEv2 같은 표현을 representation autoencoder로 연결해 복원과 생성을 함께 겨냥한다.
From Pixels to States: Rethinking Interactive World Models as Game Engines
이 연구는 사용자 행동에 따라 일관되게 반응하는 상호작용 세계를 게임 엔진 관점에서 다시 본다. 비디오 생성 모델이 행동 조건부 미래 관측을 예측하는 방식은 가능성을 보이지만, 게임 세계에는 규칙·지속 결과·실시간 생성 루프가 필요하다고 지적한다. 저자들은 픽셀 예측만이 아니라 상태와 조건 변화에 맞춘 상호작용을 문제의 중심에 둔다.
Do Agent Optimizers Compound? A Continual-Learning Evaluation on Terminal-Bench 2.0
이 논문은 에이전트 최적화의 일회성 향상이 새 과제에서도 누적되는지 평가한다. 고정 벤치마크에서 한 번 최적화한 결과를 안정적 성질로 간주하는 관행이 실제 배치 환경을 충분히 시험하지 못한다고 본다. 새 실패와 과제가 계속 들어오는 상황에서 재최적화가 기존 향상을 유지하는지를 Terminal-Bench 2.0으로 살핀다.
원문 링크 ↗