「像电影《Her》里的AI助手。」
文｜孙小雯 海若镜
访谈、编辑｜海若镜
人的喜怒哀乐忧惧，对AI来说，重要吗？
与人交谈时，我们会留意他的语气、停顿、表情，边听边想对方的真实所思。但当交流被整理成提示词文本，很多情绪信息会被过滤掉。
模思智能，这家由邱锡鹏教授（复旦大学特聘教授、上海创智学院副院长）创办的模型公司，一直在意AI的情绪感知能力。
在模思智能CEO李世民看来：AI要理解用户的意图，需要把用户说了什么、周围发生了什么，以及此前的交互联系起来。情绪也是其中的一种情境信号。比如用户突然结束了与AI的对话，可能因为任务已经完成，也可能因为AI答错了、让人不耐烦。这种反馈，藏在语音里、语气中，及更广泛的情境中。
他们想实现的“情境智能”，是让AI能够持续理解现场：谁在场，之前发生了什么，现在是什么环境，人正在做什么，接下来可能要做什么。但完整实现这种智能感知和预测，仍有很多难题待解。所以，模思智能选择先把交互模型作为工程化入口——让模型能理解、生成语音和视频等多模态，并可实时交互。他们把这套系统命名为MOSS Live。
「暗涌Waves」独家获悉，模思智能近日完成超10亿元Pre-A轮融资，由华控基金领投，主要投资方包括国开科创、上海科创基金、新微资本、徐汇资本、追光硬科技创投、临港策源基金等，元禾控股、上海国投旗下上海科创集团、星连资本等老股东持续投资。本轮资金将用于全模态实时交互系统研发与全球商业化落地。
早在2023年初，邱锡鹏带领团队推出了类ChatGPT的语言模型MOSS，迅速登上热搜被广泛关注。当时就有投资机构邀请他们创业，但团队没有立即出来。
同年，这支团队研发了端到端语音大模型SpeechGPT，尝试让模型理解和生成语音，并保留声音中的情绪、语速、音色等信息。2024年，其开发的AnyGPT，探索让模型能处理更多不同类型的模态信息。
沿着这条研究路径，情境智能的目标渐渐清晰。要实现这一目标，模型就必须进入到现实情境中去，在现场获得客户的真实反馈，反哺模型。2024年底，这支团队终于孵化创业，成立模思智能，由SpeechGPT核心作者、年轻的复旦博士李世民担任CEO。
李世民告诉我们，过去半年多，模思智能团队发布迭代了20多个模型版本，包括语音生成、音频理解、视觉理解等。他讲了与B端客户一起打磨交互模型的经历，真实情境的需求不同于学术指标，客户要准、快，还要便宜。这些约束，也改变着模型架构和推理框架。
至于当下热门的AI for AI，他认为这不是新事物、也不是壁垒，过去许多团队都用AI加速模型研发。如今，单点模型的领先可能很快被追上，但如果模型能快速进入产品，真实场景反馈又能变成下一轮训练材料，系统迭代速度可能拉开差距。
他们在做的实时交互模型，与日常已用的语音助手有哪些不同？如今距离情境智能，还缺着哪些能力？智能座舱等终端客户到底想要怎样的AI模型？这家成立两年的公司为什么能融到10亿元？
以下是「暗涌Waves」与模思智能CEO李世民的对话，经编辑整理：
Part01
让AI理解“现场”
「暗涌」：模思一直强调“情境智能”，这里的“情境”到底怎么理解？
李世民：我们理解的情境，英文也是context，但它比大模型里常说的“上下文”更泛化。
真实物理环境里的信息，其实是持续不断流入的。这里有什么人、有什么东西、刚才发生过什么、人与物时空关系如何，这些我们都认为属于情境。
有个很简单的例子，大家都有过找钥匙的经历。如果你突然问AI：“我的钥匙放哪儿了？”假如AI只能看到你当下的这一帧，它自然不知道答案；但如果它一直在持续接受环境的视频流，就可能看到你进门后把钥匙放到了哪里，后面人离开了、东西有没有移动。
拥有情境智能的AI回答问题，依赖的是此前持续积累下来的情境感知能力，而不是提问那一刻获取到的信息。
「暗涌」：听起来，像一个随行的AI助理。现在大家期待的不止是拟人对话，还希望AI像人一样，能在物理世界更自主。
李世民：我们选择面向智能终端提供交互能力，底层逻辑就是要AI像人一样和物理世界交互。在真实环境中，人会停顿、改口；周围的声音、画面和环境状态也会一直变化。
最终AI一定会进入眼镜、车、玩具、机器人等终端，在这些地方，人不会每次都先整理好一个Prompt，完整告诉AI自己要什么。
真正的情境智能，需要双工交互，输入和输出是并行的，模型能够边看、边听，接收信息的同时也能给出反馈。所以，下一代AI会从“回答问题”走向“持续在场”，能持续理解人和环境，并在合适的时候回应、行动。我们现在做全模态实时交互，就是在解决这件事。
「暗涌」：可以举例讲讲，全模态实时交互，跟大家熟悉的AI语音助手有哪些不同吗？
李世民：真正的交互系统，要解决的是信息怎么同时进来、怎么互相影响、怎么在场景变化时持续更新。
比如一个人在车里说了句“有点冷”，只做语音识别，识别出这三个字就结束了。但真正的交互智能，要知道现在车里多少度、谁在说话、车辆是什么状态、说话人过去的偏好是什么，最后判断这句话只是描述感受，还是希望AI调一下空调。
我们真正关心的是AI能不能理解现场。
「暗涌」：邱锡鹏教授团队最早走红网络是2023年的语言模型MOSS，后面转向“语音理解和生成模型”，再后来又加入视频。这些都是为了接近“情境智能”的目标吗？
李世民：在创立模思之初，我们对情境智能有这样的描述：AI能够充分感知、理解复杂的物理情境，并在交互过程中持续提升模型能力。
最初我们更强调前半句。AI与物理世界最自然的交互方式是语音，所以我们先从语音入手，先让模型听懂用户的语气和情绪。用户打字、用文本表达的话，语气情绪等信息都会丢失。
2025年，我们的语音模型能力已经做到相对领先，就开始把“视觉理解”集成进来，让模型既能听懂，也能看清物理世界。
现在，我们会更多地强调后半句，“在交互中持续提升模型能力”。随着基础大语言模型、多模态模型逐渐成熟，我们也正往更加全面的多模态交互推进。
交互智能，是重要的工程入口。如果AI没有理解情境，会在交互里暴露错误。做交互模型，是在把情境智能做进系统里。
「暗涌」：那么目前的多模态交互模型，做到哪一步了？你们最近提出了MOSS Live，具体怎么理解？
李世民：过去半年左右，我们陆续发布、迭代了20多个模型版本，覆盖语音生成、音频理解、语音识别、视觉理解和内容生成等环节，也在持续开源。
一些模型在特定任务上已经取得了比较好的效果。比如MOSS-Audio除了理解用户说了什么，也能分析他说话时的情绪、语速和状态，甚至声音里细微的抖动；
多说话人语音识别模型MOSS-Transcribe-Diarize-0.9B，在一些特定任务上的效果可以超过参数量更大的模型。
现在正处在把过去诸多单点能力接成系统的阶段。我们更愿意把MOSS Live理解成一套实时交互系统。这套系统里，有交互模型，也有能动性模型。交互模型持续看、听、说，理解当前的人和环境；能动性模型负责更复杂的推理、工具调用和任务执行。
「暗涌」：模思为什么还要做视频生成模型？这个赛道也很卷。
李世民：这要和视频理解放在一起看。在我们的技术体系里，理解和生成是相互促进的。
比如训练视频生成模型，需要先把视频里的内容准确地描述、标注出来，这就依赖理解模型的能力。理解模型还可以帮助评判生成内容的质量；反过来，生成模型的效果，又能帮助我们验证理解模型的能力。这两件事在底层有很多共通的积累，包括音视频数据、数据处理管线，以及训练和推理的基础设施。我们做视频生成，也复用了此前在语音和音视频理解上积累的能力。
所以我们会把理解和生成放在一起迭代，最终服务于全模态交互这个目标。
「暗涌」：要实现理想中的AI情境智能，难点主要是哪些？
李世民：核心主要有几点。第一，对音视频流的持续理解能力和双工交互。让模型在信息输入侧跟输出侧并行，能边看、边听、边说。
第二，记忆能力，不仅包括历史画面，还要能够在交互过程中对长时间信息进行编码，并在交互中更新。
获得这些信息之后，还要理解用户的意图，在输出动作之前做规划和目标拆解。这部分目前的语言模型和agent已经做得不错。
最后，还要考虑怎么从真实交互的反馈中改进。这跟coding任务不同。coding任务可以直接从代码是否运行正确来判断结果，但在现实生活中，反馈其实没有那么明确。用户不一定会直接说“你错了”，而是生气，或是直接沉默了。这个时候模型就需要结合更多的情境信息分辨。
这些问题在当前的交互模型里，都还没有被很好地解决。
Part02
用户需求，改变AI模型
「暗涌」：早在2023年你们就做了端到端语音模型SpeechGPT，当时外界的反馈主要是怎样的？
李世民：大家觉得范式很新，但也有质疑。
当时，端到端语音最明显的优势是降低时延，能保留更多语音里的非文本信息。但真正到用户场景里，它的代价也很明显：模型参数量大，部署成本高；为了降低时延，在一些特定任务上的效果反而不理想。所以有些客户反而希望我们做一套更智能的三段式方案，先把他们的实际问题解决好。
直到2024年GPT-4o出来，大家才理解端到端语音的价值，是让交互更自然。这件事对我启发比较大，我们可以靠技术和认知去做出新的模型范式，但最后还是要和真实的用户场景结合，才能产生更大的用户价值。所以我们决定在2024年底出来创业。
2025年我们做了很多单点模型，包括多说话人的语音识别、音频生成、单独的音频理解，很多技术选型，都会根据实际市场反馈去调整。
「暗涌」：现阶段，你们也在和一些B端用户做联合开发。主要有哪些用户需要全模态的能力？
李世民：我们目前主要接触的是智能终端客户，包括智能座舱、AI智能硬件等。它们的使用场景不同，但对模型有一些共通的要求：
理解用户说话的内容，也要结合语气、周围环境和之前的交流，判断用户的意图；在拟人度、流畅度上表现更好；以及具备Always-on的体验，用户可以随时唤醒AI、跟它交互。
这些需求在不同终端上表现不同，但底层需要解决的理解和交互问题有相通之处，所以模型能力可以在不同场景复用。
「暗涌」：目前的智能座舱大多都有语音交互，已经能即时响应一些需求。但座舱内的多模态交互，会是刚需么？
李世民：要看客户希望座舱里的AI做到什么程度。像开空调、调音量这样的明确指令，现有语音交互已经能解决不少问题。但我们看到的一些客户需求，已经涉及更连续、更复杂的交流。比如车里多人交谈时，用户跟其他人说话，不希望触发语音助手；跟语音助手实时交互时，用户话说到一半，可能正在思考，不希望被AI打断；打开车窗后，风声、鸣笛声等，如何避免背景音误触发。这些都是我们当前正在做、一些现有座舱语音助手还没有解决的问题。
打磨这些具体的细节，让模型知道什么时候应回复用户、什么时候该沉默，做到这些，用户能感觉到AI突然聪明了很多。
在此基础上，一些客户也希望模型能够同步理解视觉和音频信号。因为单靠声音，AI获得的现场信息仍然有限；加入视觉，可以补充对周围环境的理解，帮助模型判断用户的意图。对于想提供持续交互体验的座舱，多模态就有了具体的用途。
「暗涌」：终端的算力能支撑得住么？
李世民：我们会根据不同场景设计不同大小的模型。
比如端到端的语音转录模型，如果是用于具身机器人、小型AI硬件、手机等，对时延要求高，且端侧芯片的算力有限，可以用0.9B的轻量级模型，提供本地服务。
同系列我们也有旗舰版模型，可以完成长音频多人转写、说话人分离和时间戳标注，主要通过云端提供服务。这个版本更适合对时延要求没那么高、但希望获得更强模型能力的场景。比如内容生产、线上模态交互，或是客服、医患交流的内容和质量分析。
「暗涌」：来自用户侧的需求那么多，你会怎样判断哪些值得投入研发？
李世民：现在判断一个技术是否要深度投入，首先还是需求导向；第二个标准是有没有可复用性，是只有一个客户有需求，还是很多场景底层解决的是同一个问题；第三，它是不是还在情境交互智能的目标主线上。
我们会看这个项目除了收入以外，对模型能力有没有帮助，做完以后这个方案能不能迁移到其他客户。比如一个AI硬件或者终端场景，如果它能帮助我们迭代交互模型、双工模型，这种项目我们会优先做。
「暗涌」：做语音模型的老牌厂商，已经积累了不少客户。这个赛道会不会太拥挤？
李世民：我们认为，语音赛道还有很大的机会。大家对市场规模的判断，往往基于当前已经看到的模型能力，但新技术能力提升，会解锁新的需求和使用场景。
比如我们的多说话人语音识别模型MOSS-Transcribe-Diarize，可以分析谁在什么时间说了什么。发布之后，就有一些AI语音硬件公司主动联系我们，希望能够接入API，增强产品多说话人分离、内容识别的能力。
语音生成，也还有很大提升空间。比如让模型在一次生成中，统一控制情绪、语速和说话人身份；生成玻璃破碎、踩雪等背景音。这套统一的声音生成范式成熟之后，也能够用在AI短剧等内容生产中。
「暗涌」：会担心从研发走到商业化，难度反而更大吗？
李世民：我自己还是比较有信心。AI时代，模型能力是最大的竞争力，模型效果足够好，再加上我们的infra能力能够把成本压下来，客户会选择一个效果更好、成本更低的方案。
目前B端业务逐渐成熟，我们已经做了一些交付。这轮融资完成后，C端业务预计也会有比较大的起色。
Part03
AI for AI，能否放大迭代速度
「暗涌」：你们很早就用到AI for AI技术么，具体发生在模型训练的哪一步？
李世民：AI for AI是一个很常见的概念，很多顶尖团队都会用到。像数据处理、标注、质量评估这些环节，现在都需要大量借助模型来完成。
比如我们训练多说话人对话语音生成模型MOSS-TTSD的时候，需要一个能够标注多说话人语音内容的模型。但市面上的模型在这个场景里做得不太好，所以我们自己训练了轻量级端到端语音转录模型MOSS-Transcribe-Diarize-0.9B，再用它标注MOSS-TTSD的训练数据。
理解模型不仅可以为生成模型标注数据，也可以评判生成内容的质量，作为奖励模型帮助生成模型训练。生成模型的结果，又可以反过来验证理解模型的能力。
「暗涌」：具体标注时，人和模型分别做什么？
李世民：我们会先找很多相似场景的源数据，用初步的AI模型把数据整体标注一遍，再在模型标注的基础上做人工质量核对，得到质量更高的训练数据。
这套数据管线，我们从2023年开始迭代和积累。除了上述模型，整套数据标注管线里还会用到许多音频理解和多模态理解模型，分别处理不同的数据任务。模型之间怎么编排，数据管线先处理哪些任务、后处理哪些任务，都需要经过精细的实验。
「暗涌」：让AI进入数据生产、标注、和模型训练，对效率的提升是怎样的？
李世民：效率方面，我们比市面上常见的多模态或音频数据处理管线提高了两到三倍，这里面也包括对数据处理算子的工程优化。靠这套共通的数据处理管线和研发infra，我们的模型迭代速度也很快。近半年，我们陆续发布了二十多版模型。
图源：模思智能
「暗涌」：现在很多团队都在用AI辅助研发。你们希望建立哪些壁垒？
李世民：AI for AI，机器学习里其实研究了很多年。我觉得，这个词本身不是壁垒。
我们更关心的是，能不能把AI真正放进多模态数据、模型迭代的生产流程里。比如音频、视频、图像和交互数据进来以后，过去很多事情要靠人做，现在这些环节都可以逐步训练模型来处理。
单点模型今天领先，过一段时间很可能就会被追上。实时多模态交互不一样，它需要语音、视觉、视频、理解、生成、推理系统、真实场景和数据管线一起往前走。
模型能不能快速接进系统、真实场景里的数据能不能回来，数据回来以后能不能很快变成下一轮训练材料，这几个环节如果能持续转起来，最后能放大整个系统迭代的速度。
下一步真正要证明的，是产品和客户场景产生的数据，能不能持续回到模型训练。
「暗涌」：从团队角度来看，模思智能现在200多人，大概3/4是研发人员，你会觉得整个组织更像Lab么？
李世民：从人才密度上看，我们确实有一些实验室的特征，差不多一半是纯算法研究；剩下的人里又有一半是开发侧研发。但模思不是一个Lab，我们是一家要走通商业闭环的公司。
研发占比高，是因为我们要把研究、模型、产品一路打通，每一环都离不开研发。模思的模型能力，要变成用户真正用得上的产品和服务；用户和市场会反过来影响我们的模型。
以前做语音模型，可能更关注词错率、语音相似度这些学术指标；但客户会提需求：不光要准、低时延，价格也不能太贵。这些约束最后会反过来改变模型架构、推理框架，甚至我们的基础设施，逼着我们去做更加细致化的优化，提供更低成本、高利用率的模型。
「暗涌」：你们希望，模思最终会成为一家怎样的公司？
李世民：我们想做的，还是AI和真实物理世界交互的基础设施。
往理想的方向讲，就像电影《Her》里的AI助手。AI能够充分获得用户所处的情境，理解人，能跟人进行智能、实时、连贯的交互。
