Pasukan He Kaiming melancarkan rangka kerja multimodal visual Harness VISTA, meningkatkan keupayaan penaakulan interaktif model.

Techub News 消息, pasukan He Kaiming dalam kertas kerja "VISTA: A Visual Harness for Reasoning in an Interactive World" telah mencadangkan rangka kerja Harness berasaskan visual VISTA. Rangka kerja ini membolehkan model multimodal memerhati persekitaran secara langsung, menyimpan rakaman asal, dan boleh melihat semula, membesarkan serta memeriksa butiran pada bila-bila masa semasa membuat inferens, tanpa perlu melatih model tambahan. Dalam penilaian, Claude Opus 5.0 yang dipasangkan dengan VISTA mencapai markah penuh 100 dalam kesemua 25 permainan awam ARC-AGI-3, dengan bilangan tindakan yang digunakan adalah 57.4% kurang daripada garis dasar manusia; GPT-5.6 Sol juga berjaya melengkapkan semua permainan dengan markah 99. Pasukan juga telah mengesahkan kaedah ini dalam tugas seperti permainan pelayar dan labirin, serta menyenaraikan tugas berbadan sebagai arah penyelidikan selanjutnya. VISTA mengandungi tiga komponen teras: pemerhatian visual, ingatan visual tanpa kehilangan, dan pemeriksaan visual aktif, yang masing-masing bertanggungjawab untuk menyediakan rakaman, menyimpan sejarah, dan melihat semula mengikut keperluan. Rangka kerja ini meningkatkan prestasi model multimodal sedia ada dalam tugas interaksi visual dengan menyimpan rakaman asal dan membolehkan model mengaksesnya secara aktif. (Qubit)