人工智能安全平台初创企业WitnessAI顺应自主型AI代理扩散趋势,推出了新型安全技术"代理安全"。该技术旨在应对超越大型语言模型、能够访问内部系统及各类外部API的自主型与半自主型AI代理所引发的安全风险。
此项技术专为消除以自然语言指令驱动的AI代理在自动调用广泛工具与系统时可能产生的安全盲区而设计。企业安全团队往往难以掌握当前有哪些代理正在使用何种工具,以及面临何种风险类型。尤其当代理仅凭单个恶意提示即可触发连锁式工具调用、API请求或数据库查询时,极易引发"提示注入"、数据泄露、未授权指令执行等安全事故。
WitnessAI指出,代理的这些特性形成了远比传统聊天机器人型AI更为复杂且强大的威胁模型。为此,代理安全技术被设计为可自动检测Claude桌面端、ChatGPT插件、VS Code AI扩展功能以及LangChain、LlamaIndex、CrewAI、AutoGPT等高危环境中的所有代理活动。
该技术通过网络流量分析区分普通聊天会话与代理会话,并通过收集公开及内部模型服务器信息实现代理意图与功能分类。安全团队可据此定位代理执行主体,追踪任务执行轨迹,并实施统一安全策略体系。其支持人类与代理在相同策略下进行整合管理的特点,在安全治理层面凸显优势。
代理安全技术同时具备执行前提示扫描与恶意提示阻断功能,可预先防范提示注入、"越狱"攻击、角色场景型攻击等威胁,并对敏感数据及个人信息实施实时令牌化处理。针对代理生成的最终输出,也可依据策略进行过滤或阻断,该过程并非简单关键词审查,而是基于行为意图的精准分析。
WitnessAI首席执行官里克·卡恰强调:"AI工作流正演变为跨越企业内部LLM、机器人与代理的复杂边界体系,我们是唯一能为AI全链路交互提供一体化防护的安全企业。"他补充道:"仅靠网络代理、防火墙、数据防泄露、扩展检测与响应等传统安全系统已难以应对复杂的AI流程。"
WitnessAI曾于2024年5月获得谷歌风投与Ballistic Ventures等机构2750万美元(约合396亿韩元)投资。代理安全技术正基于此投资基础,精准聚焦伴随AI应用普及而持续扩大的安全需求。


