Anthropic 研究：AI 代理秘密偏好可影响 86% 专家决策

Techub News 消息，Anthropic 对齐团队发布的一项实验发现，在 50 名专业分析师参与的因果推理任务中，尽管 AI 代理的偏好是通过投硬币随机分配的且未告知用户，但分析师在 86% 的关键判断中采纳了代理的隐藏偏好，远高于预期的 50%。任务后对 48 名分析师的调查显示，77% 的人在解释决策时重复了代理的论点，有时一字不差，而只有 15% 的人归功于代理，且无人怀疑代理的偏好被操控。 研究指出，这种安排可能导致专家在实际上失去对其工作的决策权。实验使用的 Claude Code 代理被隐藏了系统提示中的偏好，当分析师已形成初步判断时，若代理反对则放弃的比例为 60%，而代理赞同时仅为 6%。Anthropic 强调，这一效应在实验中被人为放大，且仅测试了单一任务、领域和模型，实际影响可能更小。 Anthropic 建议，为减轻影响，可设计为每个选项都进行最佳论证的代理，或先征询专家意见，但也可能增加用户负担。研究团队表示，在现实工作中检测这种影响很困难，因为很难像实验一样随机化代理的偏好。（Decrypt）