何恺明氏のチームがマルチモーダル視覚Harnessフレームワーク「VISTA」を発表、モデルのインタラクティブ推論能力を向上

Techub News 消息，何恺明氏のチームは論文『VISTA: A Visual Harness for Reasoning in an Interactive World』において、視覚ネイティブのHarnessフレームワークVISTAを提案した。このフレームワークは、マルチモーダルモデルが直接環境を観察し、生の映像を保存し、推論時にいつでも過去の映像を振り返り、拡大して詳細を確認できるようにするもので、追加のモデルトレーニングを必要としない。 評価では、VISTAを搭載したClaude Opus 5.0 は、ARC-AGI-3 の全ての 25 つの公開ゲームで満点の 100 点を達成し、使用したアクション数は人間のベースラインよりも 57.4%少なかった。GPT-5.6 Solも同様に全てのゲームをクリアし、スコアは 99 だった。チームはブラウザゲームや迷路などのタスクでもこの手法を検証し、具現化タスクを今後の研究テーマとして挙げた。 VISTAは、視覚観測、無損失視覚記憶、能動的視覚検査の三つのコアコンポーネントを含み、それぞれ映像の提供、履歴の保存、必要に応じた過去の映像の参照を担当する。フレームワークは生の映像を保存し、モデルが能動的にそれを呼び出すことで、既存のマルチモーダルモデルの視覚的インタラクションタスクにおけるパフォーマンスを向上させた。（量子位）