人工智能研究机构艾伦研究所(AI2)近日发布新一代多模态人工智能模型"Molmo 2",为开源AI视频理解技术竞争树立了新标杆。该机构以图像识别技术为起点持续发展,此次通过新模型实现了AI识别视频对象并依据时间顺序进行理解的能力。
Molmo 2是2024年发布的Molmo的后续模型,在上一版本确立图像理解与标注行业标准的基础上,此次新增了分析视频元素运动与互动的能力。特别值得注意的是,本次发布的Molmo 2包含8B、4B以及Molmo 2-O 7B三个版本,分别针对不同层级的运算性能与应用目标进行设计。
8B与4B模型基于阿里巴巴的开源模型"Qwen 3"开发,而Molmo 2-O则基于AI2自主研发的"Olmo"模型,针对高阶认知能力进行了优化。AI2特别强调Molmo 2的小型模型在计算量与数据使用量方面展现出卓越性能。例如,4B模型仅用919万个视频进行训练,数据量远少于Meta平台的PerceptronLM,却在视频推理性能上超越了竞争产品。
Molmo 2的核心功能代表了视频理解技术的进阶形态,不仅能进行简单复现,更能执行分时段事件检测、多对象追踪、帧级时间线分析等任务。该技术被视为实现自动驾驶、物流管理、工业机器人、安防监控等领域物理AI应用的关键要素。因为识别物体、理解属性与轨迹、预测未来的能力将直接影响机器的行为决策。
为支持Molmo 2主要功能的实现,AI2同步发布了9个包含900多万个多模态示例的新数据集。其中标注数据集包含超过10万个视频及平均900词以上的描述语句,可实现精细化的时间轴分析。系统还针对多对象追踪、复杂场景问答、长视频理解等任务进行了专项训练。
Molmo 2模型、数据集及评估工具目前已通过GitHub、Hugging Face、AI2 Playground等平台向公众开放下载,训练代码也即将公布。
AI2首席执行官阿里·法哈迪表示:"我们通过Olmo建立了真正开放AI的标准,通过Molmo开启了指向型AI时代,如今凭借Molmo 2成功将能力拓展至视频与时间领域。"在视频AI研究即将迎来大规模商业化应用的背景下,Molmo 2正成为提供技术基石的强大开源工具集。


