谷歌发出警告称，威胁行为者已开始将生成式人工智能作为恶意黑客手段进行实际利用。谷歌威胁情报小组在近期报告中指出，黑客们已超越简单实验阶段，在实际攻击过程中搭载AI技术的案例正在增加。
报告特别指出，已发现部分恶意软件在运行过程中试图直接调用谷歌生成式AI模型"双子座"API的迹象。黑客通过向双子座实时请求符合攻击目的、针对具体情境优化的恶意源代码并加以执行，使得这种攻击方式比传统包含固定恶意功能的模式更难被检测。典型案例中，名为HONESTCUE的恶意软件通过C#语言请求提示词动态获取代码，并将其插入攻击流程。
此外，谷歌分析认为试图探明AI模型内部运作结构的"蒸馏攻击"尝试正在增多。攻击者通过大量输入系统性查询来推断模型的响应模式与逻辑，并表现出开发自主AI工具的意图。此类尝试可被解读为规避巨额研发成本的策略。
报告还透露，已确认的恶意组织正在将AI投入实际网络作战阶段。传统黑客流程中的侦察、漏洞探测、脚本生成、钓鱼内容制作等环节均已开始嵌入AI功能，这使得攻击变得更加精密迅速。报告提及部分组织正在试验能够自主执行多阶段任务的"智能体AI"可能性。但谷歌判断，目前AI仍停留在辅助人类黑客的阶段，尚未达到替代其角色的程度。
然而对于此次发布也存在批判性观点。网络安全公司ImmuniWeb的CEO伊利亚·科洛琴科博士驳斥称："谷歌在生成式AI投资者兴趣减退的时点，发布了旨在凸显自身技术存在感的宣传性报告。"他警告道："即使尖端攻击组织使用AI，也不意味着AI能独立设计恶意软件"，并提醒警惕过度解读。随后他指出："若谷歌在知晓其AI遭滥用的情况下未采取恰当用户保护措施，未来可能面临法律责任。"
谷歌强调正通过加强提示词滥用检测、强化模型保护功能等多种应对方案解决问题。但随着AI与网络安全冲突正式展开，科技企业所需承担的责任之重也日益加剧。
