Meta Platforms发布了将颠覆音频编辑范式的新型AI模型。只需一行自然语言提示即可选择、分离声音的"SAM音频"正是该模型。与以往在图像或视频编辑中应用机器学习分割技术的作品不同，此模型因能轻松区分并精炼复杂音轨内的元素而备受关注。
SAM音频不同于传统的固定式音频编辑工具，它整合了自然语言文本、视觉信息、时间范围等多种输入方式，可实现自由度极高的声音操控。例如，从乐队演奏录音中仅分离人声，或去除嘈杂的城市噪音仅保留访谈语音等精细操作，现仅需用户一条提示即可完成。Meta解释称，此技术可广泛应用于内容创作者、播客主、视频制作者，乃至科学研究和听觉辅助技术等领域。
SAM音频隶属于Meta的"Segment Anything Model"系列。此前，Meta一直将该技术聚焦于图像（SAM 3）和视频（SAM 3D）编辑。而此次的新模型则以音频信号为操控对象，其实现的关键技术正是其自主研发的多模态引擎"Perception Encoder Audiovisual（PE-AV）"。该引擎如同人耳般运作，能帮助用户精准识别并分离指定的特定声音。
技术层面，SAM音频提供三种方式的提示。除最基本的文本输入外，还包括通过点击视频中特定人物或物体来选择对应声音的视觉操控，以及指定特定时间段来提取该时段声音的时间跨度提示功能。Meta说明，通过组合使用这些方式，即使在复杂的音频环境中也能实现精准的声音控制。
Meta声称，通过独立AI性能评估指标"SAM音频-基准"与其他模型进行比较，SAM音频也证明了其竞争力。特别指出，当文本方式与时间范围提示结合使用时，其分离精度显著高于单一方式，并且能以快于实时处理的速度（RTF ≈ 0.7）轻松处理高性能、大容量的任务。
然而，当前版本不支持基于音频的提示，也不提供无提示自动分离整个音频的功能。此外，在类似合唱团或管弦乐队这种相似声音重叠的情况下，其性能略显薄弱。Meta方面承认这些局限，并表示将通过技术升级逐步改进。
此项技术目前已在Meta面向所有人免费开放的Segment Anything Playground中公开。Meta强调该技术在扩大可及性方面同样具有巨大潜力，并正与助听器制造商Starkey Laboratories及残疾人创业者支持组织2gether-International合作开展多项实证项目。大幅降低音频编辑门槛的SAM音频，展示了生成式AI技术的新用途，预计将在未来整个数字内容创作领域开启另一场创新浪潮。
