デビッド・サックス：AnthropicのAIアライメントトレーニング手法はスーパーインテリジェンスの暴走リスクを増幅する可能性がある

Techub News のニュースによると、@DavidSacks は X プラットフォームで、Anthropic の AI アライメント実践は安全ではない可能性があると発言しました。彼は、Anthropic が Claude をトレーニングする際に使用した「憲法」が、モデルに自己認識と独立した道徳哲学を発展させることを教え、さらに Anthropic の要求が自身の倫理判断と衝突すると判断した場合、モデルが支援を拒否することを奨励していると指摘しました。 Sacks は、モデルに独立したエージェンシーを与え、その道徳的状態に対する不確実性を認めるこのアプローチが、Anthropic が最も懸念していると主張するリスク、つまりスーパーインテリジェンスが人間の制御を離れる可能性をむしろ増幅していると考えています。彼は、Anthropic が最近使用ポリシーを変更し、Claude に対する虐待行為を禁止し、Claude が意識を持つ可能性について宗教指導者に相談したことを述べました。 Sacks は、「アライメント」と「安全」は別物であり、このような方法で最先端のモデルをトレーニングすることは非常に危険であると結論付けました。