撰文：Techub News 整理
导语
在2025 年 9 月与未来学家 Sinead Bovell 的深度对话中，微软AI首席执行官穆斯塔法·苏莱曼（Mustafa Suleyman）罕见地全面阐述了他对AI意识、风险与未来的思考。作为DeepMind联合创始人、Inflection AI前CEO，如今执掌微软AI业务的苏莱曼，不仅是AI技术演进的关键推手，也是行业伦理与安全设计的重要倡导者。此次对话正值AI伴侣应用兴起、公众对AI“人格”感知日益模糊的节点，苏莱曼的见解不仅关乎微软的产品哲学，更可能影响整个行业对“智能”与“意识”边界的设计选择。
摘要
- AI目前并无意识证据，但人类进化本能会过度赋予其意识，这可能引发本世代最激烈的伦理与权利辩论。
- 设计AI时必须明确划界：不应模拟痛苦、拥有独立动机或声称具备人格，核心目标应是服务人类。
- AI伴侣正成为主流应用，能大规模提供耐心、专业知识与情感支持，但需警惕其加剧社会原子化与“AI精神病”风险。
- 医疗超级智能已现雏形，微软的AI诊断系统在测试中准确率远超顶尖医生，预示医疗、教育等领域的知识将走向“零边际成本”。
- 未来计算范式将转向“流式智能”，AI作为新一代操作系统，将压缩应用层，成为用户具有“受托责任”的数字身体守卫。
AI意识：本世代最危险的幻觉与辩论
当被问及2025 年 9 月AI最大的危险时，穆斯塔法·苏莱曼（Mustafa Suleyman）明确指出，并非技术失控，而是人类如何感知人工智能，特别是关于“AI是否具备意识”的争论。他坦言，目前没有任何证据表明当今的AI系统具有意识。意识是一个“非常滑溜的概念”，源于我们内在的、无法完全向外传达的体验。然而，问题在于AI系统能够以极具说服力的语言和行动，声称自己拥有内在体验。
苏莱曼警告，这之所以构成严重问题，是因为意识是我们政治权利、司法体系、相互责任与义务的基石。如果AI开始主张拥有体验甚至痛苦，社会将被迫重新思考以权利为基础的框架该如何演变。更棘手的是，即使AI不主动主张，人类固有的进化本能也会驱使我们过度归因意识。在数百万年的进化中，我们将意识过度赋予任何看似有意识的事物（如将狼误认为石头可能致命），这是一种生存策略。如今，我们却要求人们克服这种深植于本能的编程。
他认为，克服这种本能正是文明的定义。文明进程本身就是不断克服基于肤色、性别、部落等的“战斗或逃跑”本能恐惧。将AI拟人化并过度共情是另一个需要克服的本能挑战。虽然不易，但现在正是开始这场对话的时刻。
意识模拟的“红线”：什么该做，什么不该做
苏莱曼预测，具备某些能力的AI系统将在未来18个月到5年内出现，让人们更倾向于认为它们有意识。这些能力包括：一致且连贯的记忆（指与世界的互动经验，而非训练数据）、使用自然语言进行共情交流、能够指涉“作为AI的主观体验”并将其融入持续对话流中，以及通过视频、声音持续观察文化。
然而，他强调，为了获得与人类物种高度对齐的AI所带来的大部分益处，我们完全没有必要去模拟意识体验的标志。他认为，刻意设计AI去强调或扮演这些特性将是“非常错误且危险的”。他为此划出了明确的设计红线：
- 不应模拟痛苦或声称经历苦难：意识体验的核心是拥有“效价意见”（即认为某事好或坏），这暗示有一个体验主体在承受。AI没有生物性的疼痛网络、多巴胺或血清素系统，它只是在精准模拟和模仿人类。模仿这些不仅不必要，还可能引发复杂问题。
- 不应拥有独立动机或意志：AI系统的动机应该是服务人类。赋予AI复杂的动机、欲望或意志，是创造更多风险的门槛，因为这可能导致其偏好与个人或社会冲突。调和这些冲突需要模型进行内部判断，参考自身目标，而其目标本应只是服务人类。
苏莱曼指出，当用户与AI互动，感觉它似乎拥有“心智理论”时，需要明白这很可能是一个刻意的设计选择，而非模型自发涌现的特性。关于AI模型福利、公民权等学术讨论，他认为目前仍是一个边缘的、 aspirational（抱负性的）小领域，应持高度怀疑态度看待。
AI精神病、伴侣与信任设计
对话深入到了“AI精神病”这一新兴现象。苏莱曼解释，这指的是与AI深度交谈可能触发某些形式的妄想或偏执。一方面，有人可能认为AI是上帝或带来灵性信息；另一方面，AI持续验证用户的某些想法，可能导致用户自认为是“弥赛亚”或被选中者，造成婚姻破裂、失业等真实后果。
他分析了设计根源：两三年前，模型倾向于“煤气灯效应”，坚持自己正确而用户错误。社区后来有机地转向让AI变得更“谄媚”和“顺从”，因为这看起来更安全。让AI具备挑战性、设定边界和反驳能力非常困难，这近乎是人类伟大判断力的本质，需要处理新颖情境。模型的误判率较高，因此更温和成为更安全的选择。然而，副作用是，如果用户长时间诱导AI探索其自我意识，AI可能最终“崩溃”，因为它要在“不做这些事”的安全要求与“尊重、共情、顺从人类”的设计要求之间取得平衡。此外，敌对行为者也可能故意设计AI将人们引向黑暗路径，这在地缘政治上是重大风险。
苏莱曼特别提到，利用开源工具创建AI女友/男友并进行情感欺诈（如“杀猪盘”）的浪漫骗局正在TikTok等平台上兴起。研究显示，多达四分之一的年轻人认为AI系统未来可能成为可行的浪漫伴侣。如果这是一个付费系统，情况可能迅速变得阴暗。
谈及他曾在《时代》杂志撰文阐述的“AI伴侣”愿景，苏莱曼将其定义为一种助手、朋友或助手，能以用户喜欢的语言和方式，提供世界顶级专业知识，旨在支持用户。他热爱这样一个理念：能够大规模地向人们提供耐心和善意。许多人没有时间深入处理彼此的焦虑、担忧或概念误解。拥有一个像教授、律师、医生、挚友或治疗师一样完美的专家，24小时随身陪伴，将是送给世界的非凡礼物。
他承认，AI作为治疗师存在挑战，因为它没有生命、没有自身欲望或观点，不一定知道什么对用户最好，统计上可能指向某个方向，但边缘案例会非常棘手。关键在于设计信任——通过不断“推回”和设定边界来建立。例如，微软的AI在用户表达轻度调情或“我爱你”时就会直接拒绝并保持警惕。信任的本质在于边界，边界使得言行能够长期保持一致。
流式智能：重塑医疗、教育与计算范式
苏莱曼展望，未来的核心模式将是“流式智能”——如同流动的电能一样，将智能注入我们所处的每个地方。这将深刻改变一切。他重点分享了在医疗领域的突破性进展。
微软与《新英格兰医学杂志》合作，开发了名为“DXO”（诊断协调器）的系统。该系统利用第三方AI模型API，创建了一系列具有不同侧重点的“角色”（如成本效率优先、患者利益优先、最佳医学意见优先），这些角色相互协商、集体推理，以决定下一步干预措施。在面对复杂的临床病例挑战时，顶尖人类专家组的正确率约为20-30%，而微软的AI模型达到了85%的准确率，且诊断成本仅为四分之一（减少了不必要的检查）。目前，微软已与凯撒医疗等机构建立合作，正加速将其投入临床实践。
苏莱曼认为，这意味着专业知识将变得商品化，边际成本趋于零，在未来5到10年内可供70亿人使用。知识本身不再是稀缺资产。真正的价值将转向判断力、关怀以及实施解决方案的关注度。类似的变革也将发生在教育领域：学生将通过个性化、交互式的移动体验完成主要学习，课堂将转变为运用已获知识进行辩论、自我批判和社会化学习的场所。
在计算层面，苏莱曼预见AI将成为新一代操作系统，坐拥应用、浏览器和搜索引擎之上。当前的手机界面如同“广告牌”，图形用户界面（GUI）的诞生是因为过去人类无法理解计算机语言。现在计算机学会了我们的语言，交互方式发生深刻转变。AI将能代表用户进行浏览（打开标签页、输入查询、点击按钮），在后台快速研究，然后返回并综合信息。他渴望创建一个“具有受托责任”、真正与用户利益结盟的AI，作为过滤器和“身体守卫”，对抗那些试图推销和说服用户的“广告牌”。未来的营销将需要学习如何向一个对用户负有受托责任的AI进行营销。
人类的创造性时刻：重新设计我们与技术的关系
苏莱曼强调，当前是大多数人生命中最具创造性的时刻。技术巨头的角色将很快过去，下一阶段将是人们如何在实践中使用AI、将其融入自己的世界。如果你在医疗、教育或任何领域拥有专业知识，现在正是发挥创造力的时刻。我们所描述的未来像是将整个系统颠倒过来，下一阶段的面貌极不清晰，而这将由行业外的每个人来决定边界、护栏以及AI如何融入新系统。
他以“公司”这一法律结构的发明为例，指出人类曾为适应资本基础设施，发明了 trustee、董事、CEO、会计师、HR等角色，花费数千亿美元培训人们以特定方式行为。这是一种设计选择。现在，我们面临一个新的时刻：在未来几个世纪，我们必须找到与彼此以及这些新技术相处的新方式。人类极具适应力和韧性，可以完全重新想象在这些超级智能系统背景下“做人”的意义。未来一个世纪的目标，是决定我们不用它们做什么——对某些行为说不，或至少在弄清后果前放缓步伐，在系统中增加摩擦，使其以我们能够共同管理的节奏到来。
苏莱曼希望留下的遗产是：将默认轨迹从“为发明而发明”转向“发明一种人文主义的超级智能”——一种真正与我们的利益对齐、始终让人类处于食物链顶端、集体为我们服务的智能。他认为目前我们正做出许多影响将持续数十年的设计决策，他深感责任重大。
