OpenAI，宣布收购Promptfoo… 强化AI安全评估

OpenAI今日宣布计划收购人工智能应用测试安全评估平台初创公司Promptfoo。Promptfoo成立于2024年，最初是一个用于评估AI提示词与模型行为的开源框架，现已发展为能够评估和测试基于大型语言模型及生成式AI系统的应用程序的商业平台。

该平台专注于解决生成式AI模型在实际环境中运行时可能出现的风险。这包括提示词注入、数据泄露、越狱攻击以及不安全的工具执行等。为解决这些问题，Promptfoo的架构支持开发者和安全团队系统地评估AI系统对结构化输入、对抗性提示词及真实使用场景的响应。

Promptfoo的技术采用了支持配置提示词、定义预期输出值及设定评估标准的测试框架。结果通过预定义规则或自动评分函数进行评估，并能与多种开发工具及应用程序编程接口集成，从而在本地运行评估或作为持续集成流程的一部分。其核心功能包括提示词测试、红队模拟以及记录不同条件下模型行为的评估仪表板。

Promptfoo在即将被收购之际已累计融资2360万美元（约合340亿韩元），主要投资方包括Insight Partners和Andreessen Horowitz。OpenAI计划将Promptfoo的技术整合至其自有平台OpenAI Frontier中，以帮助企业测试智能体行为、在部署前检测风险，并支持长期管理与问责。