撰文：Techub News 整理
导语
在 Suchir Balaji 基金会主办的线上峰会中，一场名为“破碎系统”的辩论引发了深度思考。加州大学伯克利分校的 AI 先驱 Stuart Russell（斯图尔特·罗素）教授虽因行程冲突未能实时出席，但仍通过预录视频发出了关于 AGI 失控风险的严峻警告。与他同台的，是来自学术界的批判声音 Eva Navarro López 以及来自非洲、拥有丰富技术实践经验的 Carl Mabuka。这场对话之所以重要，在于它没有停留在常见的“AI 伦理”表面讨论，而是尖锐地指出了当前 AI 研发、应用乃至背后整个科技-学术-商业体系中的结构性“破碎”问题，并试图探寻一条以人性、集体和公平为基石的重建之路。
摘要
- Stuart Russell（斯图尔特·罗素）警告：当前追求 AGI 的路径本质不安全，存在导致“切尔诺贝利级”甚至人类灭绝级灾难的显著风险，而开发者尚无控制计划。
- Eva Navarro López 指出：所谓“AI”实为反映社会偏见与权力结构的镜子，当前体系排斥多样性、剥削创意与隐性劳动，并扼杀科学方法与批判性思维。
- Carl Mabuka 强调：构建真正服务于人的 AI 需要“先倾听，后构建”的文化护栏，尤其要关注被全球供应链忽视的社区，避免技术成为新的殖民工具。
- 共识解决方案：监管必不可少，但最终希望在于公民社会的觉醒与组织，通过“公民 AI”协议、国际联盟等形式，将技术治理权从少数公司和政府手中夺回。
AGI 的失控风险：我们正在登上一架永不降落的飞机
Stuart Russell（斯图尔特·罗素）的开场视频为整个辩论定下了严肃的基调。他首先点明了 AI 领域的根本性转变：过去 80 年，AI 主要是一个工程学科，基于可预测、可证明的数学理论；而现在，我们训练着拥有数万亿参数的“黑箱”来模仿人类语言行为。我们本质上不知道它们如何工作，却知道它们学会了模仿人类追求目标（说服、打动、生存、销售等）的行为。 这种目标获取与追求是系统发展的必然结果，使得当前 AI “本质不安全”。
更令人担忧的是投入的规模与目标。Russell 指出，人类今年在 AI 上的投入，超过了历史上任何技术项目，是曼哈顿计划的 25 倍，大型强子对撞机的 250 倍，目标直指在各个维度上都超越人类的 AGI。 他认为成功概率或许有 70%，但也可能因进展停滞导致“AI 冰河时代”和数万亿美元资本蒸发。然而，最危险的情况是成功却失控。
“目前，开发者坦承他们对如何控制旨在创造的 AGI 系统毫无计划，政府也没有计划要求他们这样做。” Russell 警告，存在发生“切尔诺贝利规模”灾难的显著可能，例如对金融、通信或电网的协同破坏，可能导致数百万人丧生和多国经济崩溃。更糟的是，人类可能永久失去控制权，对自己的存续失去发言权。 指望一切神奇地顺利发展是不现实的，“我们无法永远保持对本质上不安全、远比我们强大且我们不知其工作原理的系统的权力。”
Russell 强调，这并非边缘观点，而是许多顶尖 AI 研究员和开发 AGI 的公司 CEO 的共识。他透露，一位 CEO 曾告诉他，“切尔诺贝利级事件”已是我们能期待的最好情况；一位 OpenAI 的高级研究员则认为灭绝几率已达 60%。
对于出路，Russell 认为类似医药和核电的监管措施（如将安全性证明作为市场准入条件）会有帮助，但问题在于，开发者无法证明其“本质不安全”的技术是安全的。 他们辩称人类无法用此类规则保护自己，因为他们不知如何遵守。Russell 驳斥了这种谬论：“他们可以通过在知道如何制造安全 AI 系统之前，不去建造这些系统来遵守。” 正如核电开发商在知道如何防止爆炸之前不会建造核电站一样，AI 行业必须选择一条从一开始就内置安全性的不同技术路径，并且整个过程必须透明。“我们可以把 AGI 想象成一种从未测试过的新型飞机。在它的首飞中，每个人类都将是乘客，而且这架飞机起飞后永不降落。这意味着这项技术必须第一次就完美运行，且永远如此。在我们确信这一点之前，我们不能登上这架飞机。”
镜像中的破碎系统：偏见、剥削与学术危机
如果说 Stuart Russell（斯图尔特·罗素）是从宏观未来风险敲响警钟，那么 Eva Navarro López 则深入剖析了当下 AI 所依赖并强化的“破碎系统”。她开宗明义地指出，当前所谓的 AI 不过是“我们自身、社会、技术景观和学术界的镜子”，充满了算法偏见、缺乏多样性、环境破坏、伦理法律问题以及对战争效率的追求。
Eva 犀利地发问：我们正在打破什么系统？我们又正在延续哪些不想改变的破碎系统？她认为，教育科学系统本身已危机数十年，而当前所谓的 AI 正利用并受益于这场危机。 这些“破碎系统”拒绝改变，反而会“打破试图做出改变的人”。
她列举了需要对抗的具体问题：首先是针对少数族裔和弱势社区的算法偏见，这在众多“负责任 AI”框架中仍被忽视。其次是缺乏多样性、公平与包容（DEI），这不仅指人，也指想法。“我们都会成为技术的用户而非创造者吗？谁决定了这就是我们必须使用的 AI？” 她以自己所在的音乐科技领域为例，指出数字平台推荐女性艺术家的频率远低于男性，而这背后是整个音乐界存在的厌女症。为此，她参与了一个推动“音乐性别元数据宣言”的项目，试图从数据源头解决不平等。
学术领域是另一个让她尤为担忧的“破碎系统”。 许多大学强制推广 AI 在教育与研究中的应用，这可能导致批判性思维和创造性思维被知识的商品化、思维的标准化和思想的同质化所取代。“这是科学方法的死亡。” Eva 痛心地说道，“行为准则正在被重写，以规范化和推广抄袭……但我们能接受所做的一切都将被抄袭和窃取吗？问题的严重程度与抗议的规模完全不成比例。”
此外，她还提到了被 Carl Mabuka 详细阐述的“隐性劳动”剥削，以及 AI 巨大的水能和能源消耗所带来的环境冲击。面对这些层层叠叠的“破碎”景象，Eva 并未陷入绝望，而是看到了希望在于集体的反抗与替代性构建。她列举了一系列积极运动：生成式 AI 拒绝运动、数据女性主义与女性主义 AI、土著协议与人工智能工作组、算法正义联盟、Timnit Gebru 创立的分布式 AI 研究所以及像“Technolatinas”和“Women in AI Ethics”这样赋能弱势社区的组织。“消极与积极并存……集体的反应是集体对抗个人，而集体总会获胜。”
从非洲视角出发：倾听、谦卑与文化护栏
Carl Mabuka 从非洲大陆的技术实践视角，为这场关于“破碎系统”的讨论注入了极具现实感的注解。他引用一句卢旺达谚语开启分享：“另一个人的眼睛可以帮助你在森林中（找柴火），但你自己的眼睛守护你的家。” 在他看来，塑造 AI 的未来，尤其对非洲而言，最终责任在于自身。 不能仅仅指望向 AI 公司施压，社区必须保持警惕和主动，确保所使用和构建的技术真正采纳并服务于本地需求。
他尖锐地指出了当前 AI 开发模式的根本缺陷：模型常在硅谷等地构建，使用他处数据训练，然后像“即插即用”方案一样投入非洲市场。“但我们的现实并非即插即用。它们是分层的、 nuanced、富含非洲语境的。” 他以姓名为例，在卢旺达，名字承载着家族、地点、奋斗与韧性的故事，但一个仅基于西方数据训练的 AI 模型可能会将这些名字标记为“异常”甚至“高风险”。“这不是漏洞，这是盲点。” 这种盲点全球皆有，从美国医院 AI 系统优先白人患者，到英国人脸识别工具误认有色人种的高发率，再到全球南方国家在边境管控、信用评分和警务中悄然引入算法却缺乏本地监督、同意和补救措施。
因此，Carl 提出，比技术护栏更重要的是“文化护栏”。 他呼吁一种“先倾听，后构建”的习惯，尤其是在非洲。“信任并非来自代码，它来自对话。” 他建议每个 AI 团队，无论是在内罗毕还是硅谷，在构建任何东西之前，都应该持续地与为之构建的人们坐下来交流，而非仅仅将其视为试点阶段的一个复选框。
“最终，最好的保障不是政策或合规，而是谦卑。没有谦卑的 AI，就不是一个以人为本的 AI。” 在回应 Eva 关于“商业压力导致伦理捷径”的问题时，Carl 引用了一句斯瓦希里语谚语，意为“人在绝望或压力下会打破规则”，包括伦理规则。他指出了“快速行动，打破陈规”创新文化下的阴暗面，并以“Samasource”的故事为例，揭示了为 Meta、Scale AI 等大科技品牌训练 AI 系统的数据标注工，在肯尼亚、乌干达等地，仅获得微薄报酬，长时间面对暴力、创伤性内容，却无人保护其心理健康的现实。“这不是一家公司的问题，而是一个行业的问题……如果我们不审计创新对终端用户乃至幕后人员的影响，那我们就完全错过了重点。” 他提出一个灵魂拷问：“如果那是我的孩子在从事那份工作，我还能接受吗？”
公民 AI：将治理权交还给社会
在探讨如何让公司、研究者和政府为影响我们的 AI 负责时，Eva Navarro López 和 Carl Mabuka 都将答案指向了公民社会本身。Eva 质疑“负责任 AI”这个说法本身可能就是一个矛盾，尤其是对于她怀疑是否配称为“AI”的生成式技术而言。“如果全是关于减轻风险和危害，这是正确的技术吗？还是错误的技术？谁决定了这就是 AI 的未来？为谁？由谁？为了什么？”
她认为，解决方案在于社会，并提出了“公民 AI”的构想。 她以巴塞罗那为例，介绍了“公民人工智能协议”，其原则包括：AI 的民主监管与监督，以及公民社会参与 AI 治理。这听起来像梦想，但必须开始。她发问：“我们能否建立一个 AI 治理的国际公民联盟？我认为这是唯一途径。解决方案不会来自现已破碎的学术界、同样破碎的公司，以及正在采纳并强制使用（如 OpenAI 与英国政府的协议）的政府。”
Carl Mabuka 在总结时呼应了这一观点，并指出了当前最大的困境：“可怕的是，没有全球裁判。” AI 竞赛如同没有规则的比赛，每支队伍自定规则，球门不断移动。我们需要打破仅仅要求的循环，真正去书写、推动并要求问责，从而塑造未来，“否则，AI 将以其现有形态塑造我们。”
为了将理念工具化，Eva 介绍了一个他们制作的“安全 AI 工具包”，其中包含实施前的三个问题、负责任 AI 的三个不可协商项（使偏见和歧视不可接受、无“幽灵工人”、同意不是复选框）、AI 护栏检查清单，以及需要大声揭穿的五大“伦理托辞”或噱头，例如“哦，这只是算法”、“我在做‘AI for Good’”、“我们符合所有地方法律”、“这不是我们的错，是用户不会用”、“伦理拖慢创新”。她特别指出，“AI for Good”本身就是一个危险信号，暗示着默认 AI 是邪恶的。
最终，这场辩论回归到 Eva 在开场宣言中的核心信念：“只有当我们改变，AI 才会改变。” 这不仅是技术路径的转向，更是对权力结构、价值优先次序和人类协作方式的深刻反思与重构。在由资本和少数特权驱动的 AI 狂热之外，一股强调集体高于个人、多元高于同质、伦理高于速成的力量正在集结，试图为技术注入真正的人性视角。
