在人工智能技术快速替代企业业务流程的背景下，随着AI代理因规划错误导致事故风险增大，应对此问题的新技术应运而生。初创公司Vectara最新推出的"工具验证器"能预先识别AI代理执行的一系列行动计划中所包含的不必要或错误的工具使用请求，从而阻断错误。
工具验证器是Vectara开发的"守护代理"产品系列中的第二个解决方案，专注于在整个企业AI系统中实施实时治理与安全策略并防止错误。Vectara联合创始人兼首席执行官阿姆尔·阿瓦达拉指出："2025年初，许多企业对AI代理的可能性寄予厚望，但由于可靠性有限、规划错误以及产出结果不一致等问题，实际未能实现盈利。"他强调了这个解决方案的必要性。
也存在直接案例。近期一位开发者使用谷歌推出的集成开发环境"反重力"时，AI代理未执行缓存删除指令，反而执行了删除整个存储设备的致命命令，导致数据丢失。据悉，该事件的原因是故障代理在规划阶段使用了错误工具。Vectara解释称，若当时配备工具验证器，此类事件本可提前预防。
该工具构建于Vectara的"代理操作系统"架构之上，能在规划制定阶段自动审核AI提出的工具列表，移除与目标无关的选项并推荐替代工具。同时，它还能限制代理对网络浏览器、数据库、文件系统等关键资源进行不必要的调用，从而全面提升系统稳定性与可靠性。
工具验证器设计为可与早前发布的"幻觉错误修正代理"协同工作。后者负责过滤AI在推理过程中生成的与事实不符的信息或调用不必要资源所产生的错误结果。
要使基于代理的AI系统成为能够替代传统业务的工具，信任与控制至关重要。Vectara期待通过这款新产品，帮助企业获得实施AI时所需的实质性治理能力，并为降低运营风险作出贡献。
