总部位于美国西雅图的人工智能研究机构 Ai2，艾伦人工智能研究所，公开了面向在现实世界中运行的机器人的开源基础模型“MolmoAct 2”。该公司表示，新模型处理各种任务的速度比其现有模型最快可达 37 倍，并且性能也优于市面上的非公开机器人模型。
Ai2 于去年 8 月推出了其首个行为推理模型“MolmoAct”。该模型的特点是，设计使机器在采取行动前，先理解并推理三维环境。当时，该模型通过三个月学习了 22 小时的自有精炼数据，证明了其可以在行业标准评估中超越更大的封闭模型。此次的 MolmoAct 2 是基于这一结构、进一步提升现实环境应对能力的后续模型。
从零开始重新设计的结构……结合 3D 推理与行动
Ai2 说明，此次模型并非现有视频理解模型“Molmo 2”的简单扩展版。相反，以其基础模型的特化版本“Molmo 2‑ER”为基础，从零开始重新设计了架构。训练中投入了超过 300 万个示例，包括基于图像的指向、物体检测、抽象空间推理、多图像推理、以及基于图像/视频的空间问答等。
得益于此，MolmoAct 2 能够结合内部特化的“行为专家”模块，基于 3D 推理生成机器人动作。简单来说，这是一种让机器人在观察物体、识别其位置和关系后，能更精确地判断应该以何种顺序移动的结构。
公开 720 小时规模的双臂机器人数据
Ai2 同步公开了数据集“MolmoAct 2‑Bimanual YAM”。该公司称，这是迄今为止已开源的人工作业数据中规模最大的“双臂机器人”演示数据集。总训练时长超过 720 小时。
“双臂”指的是两个机器人手臂协同工作的任务。其中包括了实际生活或工业现场经常需要的动作，如叠毛巾、扫描购物物品、给智能手机充电、整理桌面等。公司说明，这里还额外混合了其他机器人数据集，以学习各种机器人手臂结构、摄像头配置、控制方式以及作业风格。
语言数据的质量也经过了改进。减少了重复或质量低下的指令，并对机器人库进行了重新注释，将唯一标签的数量从 71,000 个增加到约 146,000 个。这是为了使机器人即使对同一任务也能更好地理解各种不同的表述。
在斯坦福医学院基因编辑实验室进行测试
机器人人工智能的真正竞争力不在于实验室，而在于现实环境。Ai2 表示，与斯坦福大学医学院的 Le Cong 教授研究团队合作，在真实的“湿实验室”环境中对 MolmoAct 2 进行了测试。该实验室正在进行基因编辑技术“CRISPR”相关的实验。
基因实验包含许多重复性操作，如转移样本、用移液器分注液体、精确操作设备等。微小的失误累积起来可能导致整个实验失败，因此被认为是自动化难度较高的领域。研究团队在将多种通用 AI 模型针对相应工作流程进行微调并对比后评价称，MolmoAct 2 展现了支持湿实验室运营的强烈可能性。
仍旧存在局限……通过开源加快弥补速度
Ai2 表示，他们另外检查了 MolmoAct 2 在面对重新组织的指令、物体位置变化、干扰物、替代物投入等条件下是否能保持稳定。这是假设实际现场工作条件持续变化的测试。
不过，他们也承认存在明显的局限。与其他机器人系统一样，当夹爪遮挡摄像头视野、机器人手臂的物理速度跟不上控制系统、或者需要更精密操作的任务中，可能会出现性能下降。
Ai2 认为，将这些问题公开，并将数据集与模型一同发布的方式，有助于整个机器人领域的发展。未来还计划公开能够针对新机器和环境进行调整的学习代码。在曾以封闭模型为主的机器人 AI 市场中，“开源”能否同时证明其性能和可扩展性，值得关注。
TP AI 注意事项 本文使用基于 TokenPost.ai 的语言模型进行了摘要。内容可能与原文存在偏差或遗漏主要信息。