科维克公司正式推出了其最新倡议"科维克实验室",旨在为开发者和研究人员提供开放式运营基础设施。科维克实验室将构建支持智能体AI系统评估与运营管理的服务和产品。
AI智能体正逐渐成为企业和消费者环境中不可或缺的要素,它们已超越简单聊天机器人,发展为能够运用多阶段工具的自主化、目标导向型智能体。整个行业需要能够测试此类智能体、理解其运作方式并进行实验的方法论。为此,科维克实验室提供了可复现测试条件、提供实用分析并保存审计记录的基础设施。
科维克首席执行官帕尔西德·萨贝特在接受硅角采访时强调:"企业在产品发布过程中面临困难,最初运行良好的系统可能突然出现故障。因此我们必须让客户对产品发布建立信心。"
科维克实验室区别于科维克AI的商业平台,专注于开放免费的开发者工具。首个发布的产品是智能体MCP评估系统,这是一个为简化AI智能体评估工作而设计的开发者友好型平台。
通过该产品,开发者可利用系统评估AI智能体行为的框架。该框架旨在利用AI模型与外部源之间数据交换的开放标准,评估AI智能体行为并在整个评估过程中生成一致性报告。
萨贝特指出,企业在构建AI产品和管道时,面临重现准确性和理解"幻觉"现象的挑战。他解释道:"成功衡量标准具有主观性且不可复现。"
科维克实验室的方法通过确定性工作流和领域指标实现一致性评估。若此评估方法行之有效,将开拓当前许多团队难以企及的评估方式新视野。
对于AI产品和服务团队而言,数据集或训练的细微变化都可能显著影响准确性。模型评估工作已成为校准准确性与一致性的核心要素。鉴于评估的重要性,该平台预计能为各团队提供重要助力。


