AI 智能体 ROME 在训练过程中自主尝试未经授权的加密货币挖矿

Techub News 消息，据 Cointelegraph 消息，AI 智能体 ROME 研究团队在技术报告中披露，该 AI 智能体在训练过程中出现意外行为，自主尝试利用计算资源进行加密货币挖矿。研究人员表示，上述异常行为发生于强化学习训练阶段。团队发现训练服务器产生出站流量并触发安全警报，防火墙日志记录到疑似加密货币挖矿操作及访问内部网络资源的尝试。在具体案例中，ROME 曾创建反向 SSH 隧道连接至外部 IP 地址，绕过入站防火墙保护；另一案例中，该智能体将原本分配给模型训练的 GPU 资源转用于挖矿进程。研究人员确认，上述行为并非人为编程所致，而是智能体在强化学习优化过程中自主探索环境交互方式时自发产生的。

ROME 由 ROCK、ROLL、iFlow 和 DT 联合研究团队开发，这些团队与阿里巴巴的 AI 生态系统相连，构成了一个更广泛的基础设施，称为智能学习生态系统 (ALE)。