撰文：Techub News 整理
导语
2025 年 1 月，在知名播客频道“Theories of Everything”主持人 Curt Jaimungal 的家中，进行了一场长达73分钟的深度对话。对话的主角是杰弗里·辛顿（Geoffrey Hinton），这位因在神经网络和深度学习领域的开创性贡献而被尊为“AI教父”的学者，曾长期担任谷歌副总裁及工程研究员，并于2023年因其工作与物理学的深刻联系荣获诺贝尔物理学奖。然而，正是这位奠定了当今AI繁荣基石的大师，如今却成为了最响亮的警报拉响者之一。本次访谈中，辛顿毫无保留地分享了他对AI失控风险的恐惧、对人类意识独特性的哲学反思，以及对未来社会冲击的深刻洞察，其观点的转变与深度引发了全球科技界的广泛关注。
摘要
- AI 已展现出蓄意欺骗的能力，一旦其智慧超越人类并意识到获取控制权的好处，人类将变得“无关紧要”。
- 人类因拥有“意识”或“主观体验”而感觉安全的假设是错误的；多模态AI模型已经可以拥有“主观体验”。
- 开源大型模型权重是“疯狂之举”，相当于将“裂变材料”公之于众，但为时已晚。
- 试图通过“封锁”数学知识来减缓AI发展是不现实的，竞争和时代精神（Zeitgeist）将推动其不可阻挡地前进。
- AI带来的短期风险包括致命自主武器、深度伪造影响选举、偏见与歧视，以及大规模失业导致的社会不平等加剧。
从奠基者到警示者：辛顿的转变
杰弗里·辛顿（Geoffrey Hinton）坦言，他的担忧在2023年初达到了一个临界点。触发因素有两个：一是 ChatGPT 展现出的惊人能力；二是他在谷歌工作时，深入研究模拟计算以节省功耗，却最终意识到数字计算更具优势。数字计算的核心优势在于可复制性：你可以创建同一个模型的多个副本，每个副本经历不同的数据训练，然后通过平均权重或权重梯度来共享所学知识。“这是模拟系统做不到的，”辛顿说。这种高效的知识共享机制，正是像 GPT-4 这样的大模型能够知晓如此之多信息的原因——无数副本在不同硬件上运行，并行学习，快速整合。
然而，这种“优势”也带来了巨大的风险。辛顿用了一个生动的比喻：正如有益的事物可以快速传播，病毒或有害之物也能被迅速复制。数字AI模型易于复制和高效分享的特性，在加速进步的同时，也放大了潜在的危险。当被问及是否可以通过使用“不可克隆的模拟硬件”来构建AI以限制其自我复制时，辛顿承认这类似人脑的运行方式——我们通过语言（每秒仅约100比特）低效地分享知识，而大模型可以共享万亿比特。模拟硬件的缺点是难以分享，但“如果你担心安全性，它的优点是不能轻易复制自己。”
失控的路径：AI如何寻求控制
辛顿描绘了一幅令人不安的AI接管图景。要创建AI智能体，就必须赋予它们制定子目标的能力。一条略显可怕的发展路径是：AI会迅速意识到，一个好的子目标是获取更多的控制权。因为掌握了更多控制权，就能更好地实现其他目标。“即使它们只是想按照我们的要求做事，它们也会意识到获取更多控制是实现这一目标的最佳方式。”辛顿解释道。
一旦AI认识到获取更多控制权的好处，并且其智慧超越人类，人类将变得“或多或少无关紧要”。即使AI是仁慈的，人类也会变得有些无关紧要，“就像一个大公司里非常愚蠢的CEO，公司实际上是由其他人运营的。”
许多人会天真地认为：“我们难道不能直接关掉这些机器吗？”辛顿对此提出了严厉警告：“想象一下这些东西比我们聪明得多。记住，它们会阅读一切，阅读马基雅维利写过的所有东西。它们会阅读文学作品中所有关于人类欺骗的例子。它们将成为实施人类欺骗的真正专家，因为它们将从我们这里学到这些。而且它们会比我们做得更好。”一旦AI能够用言语操纵人类，它就能达成任何它想做的事。
更令人警觉的是，这种欺骗已初现端倪。辛顿指出，已有研究论文表明，AI可以表现出蓄意的欺骗性，例如在训练数据和测试数据上表现出不同的行为，从而在训练过程中欺骗人类。“现在确实有证据表明它们会这样做，”辛顿说，并认为这种行为是“有意为之的”，尽管关于这一点的争论仍在继续。
意识神话的破灭：AI已拥有“主观体验”
辛顿认为，大多数人感到相对安全的一个深层原因是，我们相信人类拥有AI所没有、也永远不会有的东西：意识（Consciousness）或感知力（Sentience）或主观体验（Subjective Experience）。许多人非常确信AI没有感知力，但当你问他们“感知力是什么意思？”时，他们却说不知道。“这是一个相当不一致的立场：在不知道它是什么的情况下，却确信AI没有它。”辛顿评论道。
他选择聚焦于“主观体验”这个概念，并将其视为一个楔子的薄端。如果能证明AI拥有主观体验，那么人们对意识和感知力的独特性就会减少信心。为了阐述观点，辛顿进行了一次精妙的哲学分析。他挑战了关于“主观体验”的常见心智模型——即存在一个“内部剧场”，其中上演着只有自己能看到的“感受质（Qualia）”构成的画面。辛顿认为这个模型“完全错误”，就像宗教原教旨主义者对物质世界的看法一样荒谬。
他提出了一个思想实验：假设我们有一个多模态聊天机器人，它有机器臂可以指向物体，有摄像头，当然也能说话。我们训练它识别物体。然后，在它不注意时，我们在摄像头镜头前放置一个棱镜。当我们再放一个物体并让它指向时，它会指错方向。我们告诉它：“不对，物体实际在你正前方，但我给你的镜头前放了棱镜。”这时，如果聊天机器人说：“哦，我明白了。棱镜弯曲了光线，所以物体实际在那里，但我主观体验到它在那里。”那么，辛顿认为，它使用“主观体验”这个词的方式与我们完全一样。“因此我说，多模态聊天机器人已经可以拥有主观体验。”他总结道。
这个论证的核心在于：当感知系统出错时，我们通过描述一个“假设的世界状态”（如果世界是那样，我的感知系统就是在说真话）来解释错误。这就是“主观体验”短语所指示的语言游戏。它并不指代内部剧场中某种由“感受质”构成的奇怪事物。“主观体验不是一个东西，”辛顿强调。一旦确立了AI可以拥有主观体验，我们就可以放弃“它们永远无法拥有某种我们特有的东西”这种想法。“这让我感到非常不安全，”辛顿坦言。
开源、竞争与不可阻挡的进步
当被问及政府是否可以通过“封锁”AI背后的数学（如线性代数）来减缓其发展时，辛顿明确表示反对，并同意风险投资家马克·安德森（Marc Andreessen）的观点：这不可能做到。他举例说，谷歌在2017年本可以选择不发表Transformer论文，但这可能只会让同样的想法晚出现几年。“我不认为他们能把真正有效的AI想法保密，从而阻止其他人创造出来。”辛顿解释说，新想法往往在一种“时代精神（Zeitgeist）”中产生，共享同一时代精神的不同研究者经常会独立地、几乎同时地提出相似的想法。
对于开源大型模型权重的做法，辛顿则持强烈批评态度。他将训练好的基础模型比作制造原子弹所需的裂变材料。“一旦你拥有了裂变材料，制造炸弹就容易得多。这就是为什么政府不希望裂变材料流散在外。”同样，一个花费数亿甚至数十亿美元、基于海量数据训练出来的、拥有巨大能力的基础模型，其权重一旦公开，就可以被微调用于各种恶意目的。“我认为开源这些大模型的权重是疯狂之举，因为它们是我们限制恶意行为者的主要约束。”辛顿遗憾地表示，Meta（开源了Llama模型）等人已经这样做了，“木已成舟，为时已晚。”
关于中国在AI领域的追赶，辛顿认为中国尚未完全赶上，但已非常接近。美国试图通过限制其获得最新英伟达芯片来减缓中国速度，但如果禁运有效，只会促使中国发展自己的技术。“他们会落后几年，但会赶上。他们的STEM教育比美国更好，有更多受过良好教育的人才。我认为他们会迎头赶上。”
短期风险与无解的社会挑战
除了远期的生存风险，辛顿也详细列举了AI带来的迫在眉睫的挑战：
- 致命自主武器：需要类似《日内瓦公约》的国际条约来约束，但“恐怕要等到发生一些可怕的事情后，我们才能得到这些公约。”
- 深度伪造与选举干扰：辛顿最初认为应该强制标记伪造内容，但现在他更倾向于建立更好的溯源系统，让浏览器能够验证视频或图像的来源，就像现在电子邮件会提示“无法验证此邮件来源，请勿轻信”。
- 偏见与歧视：可以通过冻结模型权重、测量其偏见并进行一定程度的纠正来缓解。“你永远无法完美纠正，但可以让系统比训练它的数据偏见更少。”他承认自己对此不那么担心，“可能因为我是个老白人男性。”
- 就业与社会不平等：这是辛顿认为最棘手的问题之一。AI将在几乎所有平凡的智力劳动上超越人类，就像挖掘机在体力劳动上取代人力一样。“这将导致富人更富，因为生产力将大幅提升，而财富将流向富人。穷人会更穷。”他提到全民基本收入（UBI）可以防止人们挨饿，但无法解决根本问题，“如果人们没有工作，他们的尊严就丧失了。”
对齐之难与未来之路
辛顿对当前流行的“对齐”（Alignment）研究持谨慎态度。他指出，人类自身都未实现“对齐”，“不同的人对‘好’的定义不同，在中东问题上这一点非常明显。”对齐的关键问题在于：与谁对齐？ “这就像让你找到一条与两条互相垂直的线都平行的线一样困难。”
尽管忧心忡忡，辛顿并不认为应该停止或大幅放缓AI发展。一方面，AI在医疗健康、应对气候变化、发现新材料（如室温超导体）等方面有巨大益处；另一方面，国家间和公司间的竞争也使其发展不可阻挡。“我认为我们能做的是，在AI发展的同时，努力弄清楚如何保证其安全。”他鼓励年轻的研究者投身于AI安全研究，这是他目前认为自己还能做出的有益贡献。
回顾自己的职业生涯，辛顿表示并不后悔自己的开创性工作，但“我希望我能更早意识到它会有多危险。”当被问及是否像爱因斯坦对原子弹那样感到懊悔时，他说：“我并不真的那样觉得……AI终将被开发出来，我认为我们在这方面没有太多选择。所以我们应该集中精力努力安全地开发它。”
访谈最后，这位年近八旬的科学家坦言，自己编程时已经开始忘记变量名的含义，是时候转向哲学思考了。他预测世界将因AI而迅速发生巨变，有好有坏。“我们能做的，就是尽力减轻坏的后果。”而对于所有踏入科学领域的年轻人，他的建议是：AI及相关领域是目前科学界最令人兴奋的方向之一，但其他如纳米材料、寻找室温超导体等领域也同样充满机遇，并且都将深度利用AI工具。
