ワシントン大学の研究者がAIモデルの行動の逸脱を予測する公式を提案

Techub News のニュースによると、ワシントン大学の物理学者 Neil Johnson と Frank Yingjie Huo は、AI モデルが初めて有害な出力を生成する前に、どれだけの良好なトークン（語彙単位）を生成できるかを予測するための式を発表しました。この式は、16 の明確なケースのうち 15 において、モデルが即座に逸脱するか、遅れて逸脱するかを正しく予測しました。 研究チームはこの問題を AI モデルの注意力メカニズムの一部に起因するとし、対話が蓄積するコンテキストに応じて、モデルが特定の回答クラスターに傾斜し、「転換点」が発生するまでに至ると指摘しました。この式は、n と呼ばれる転換点、つまり最初の悪いトークンが現れる前の良好なトークンの数を推定します。 論文は、完全にスマートフォンやノートパソコン上で動作するローカル AI モデルを対象としています。研究者たちは、モデルが安全しきい値を下回りそうなときに警告を発する低コストの並列モニターを提案しており、これは自動車のダッシュボード上の警告灯に似ています。（Decrypt）