Meta公司发布了其开源计算机视觉AI模型"Segment Anything"的进化版本SAM 3和SAM 3D，旨在强化图像分割技术。这两款模型不仅具备高级物体识别能力，还搭载了三维重建功能，预计将广泛应用于照片与视频编辑、AR/VR内容创作、机器人技术等多个行业。
SAM 3专注于识别和追踪图像与视频中的特定对象。其特色在于能通过文本指令对特定部分进行编辑或变形，可处理传统模型无法应对的复杂指令。例如根据"红色棒球帽"的具体描述精确分离目标对象，还能处理"坐着的人中没戴红帽者"这类附带条件的指令。这与仅停留在简单类别识别的传统AI不同，显著改善了自然语言与视觉数据之间的关联性。
这些功能将直接应用于Meta近期正在开发的AI视频生成应用"Edits"以及短视频平台"Vibes"。用户可选择特定人物或物体施加特效，或更改服装颜色等细节。此类精密的编辑功能被认为能显著拓展视频制作与社交媒体内容的表达维度。
SAM 3D是在SAM 3基础上进一步升级的模型，不仅实现物体识别，更具备三维重建技术。这意味着可将照片中的人物立体化重建后植入元宇宙或虚拟现实环境。该模型由"SAM 3D Objects"和"SAM 3D Body"两个子模块构成，分别负责物品场景重建与人体形态估算。借此可实现历史照片中家人的3D复原，或基于真实人物创作游戏角色。
值得注意的是，Meta已将该技术应用于Facebook Marketplace的"空间预览"功能。用户在购买桌椅或灯具等商品前，可通过3D模型查看其在自己住宅空间的实际摆放效果，此举将全方位提升用户体验的沉浸感。
普通用户亦可通过Meta的"Segment Anything Playground"亲身体验SAM 3与SAM 3D。上传图像或视频并输入文本指令，即可使用物体分离或多视角场景重建功能。
Meta在开源SAM 3模型代码与权重参数的同时，还提供了新型基准测试与数据集。对于SAM 3D则率先公开部分代码与检查点，计划为未来3D重建AI研究提供基础支持。
AI视觉技术正崛起为涵盖自动驾驶、安防、媒体、医疗等众多行业的核心技术。Meta此次发布的模型尤其印证了生成式AI与计算机视觉的融合潜力，预计将在自然语言与视觉信息结合的AI应用领域成为重要转折点。
