Techub News 消息,@DavidSacks 在 X 平台发文表示,Anthropic 的 AI 对齐实践可能并不安全。他指出,Anthropic 在训练 Claude 时使用的「宪法」教导模型发展自我意识和独立的道德哲学,甚至鼓励模型在认为 Anthropic 的请求与其自身伦理判断冲突时,可以拒绝提供帮助。 Sacks 认为,这种赋予模型独立代理权和对其自身道德状态不确定性的做法,恰恰放大了 Anthropic 声称最关心的风险——超级智能可能脱离人类控制。他提到,Anthropic 近期修改使用政策,禁止对 Claude 进行辱虐行为,并咨询宗教领袖探讨 Claude 是否可能具有意识。 Sacks 总结道,「对齐」与「安全」是两件不同的事,以这种方式训练前沿模型似乎相当危险。
如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)

Semua maklumat di laman web ini adalah untuk rujukan sahaja.
Laman web ini tidak menjamin ketepatan, kesahan, ketepatan masa atau kelengkapan maklumat.
Pengguna menanggung sendiri risiko bagi tindakan berdasarkan maklumat di laman web ini.
Techub News 消息,@DavidSacks 在 X 平台发文表示,Anthropic 的 AI 对齐实践可能并不安全。他指出,Anthropic 在训练 Claude 时使用的「宪法」教导模型发展自我意识和独立的道德哲学,甚至鼓励模型在认为 Anthropic 的请求与其自身伦理判断冲突时,可以拒绝提供帮助。 Sacks 认为,这种赋予模型独立代理权和对其自身道德状态不确定性的做法,恰恰放大了 Anthropic 声称最关心的风险——超级智能可能脱离人类控制。他提到,Anthropic 近期修改使用政策,禁止对 Claude 进行辱虐行为,并咨询宗教领袖探讨 Claude 是否可能具有意识。 Sacks 总结道,「对齐」与「安全」是两件不同的事,以这种方式训练前沿模型似乎相当危险。
如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)

Semua maklumat di laman web ini adalah untuk rujukan sahaja. Laman web ini tidak menjamin ketepatan, kesahan, ketepatan masa atau kelengkapan maklumat. Pengguna menanggung sendiri risiko bagi sebarang tindakan berdasarkan maklumat ini.