Fastino Labs 发布 3.4 亿参数开源决策模型 GLiNER2.5-Decide，可在 CPU 运行

Techub News 消息，Fastino Labs 发布 GLiNER2.5-Decide，这是一个拥有 3.4 亿参数的开源权重决策模型。该模型接收文本和一组类型化问题模式，并返回结构化答案，每个答案附带概率分布、置信度分数和约束可行性元数据。其目标是为智能体流程中的路由、分类、工具选择和护栏等常见判断环节提供支持。 该模型权重采用 Apache 2.0 许可，可通过 pip install gliner2 安装，可在 CPU、GPU 或隔离环境中运行。Fastino 团队还通过其 GLiNER API 提供托管推理和微调服务。 在 Fastino 内部生成的 Fast Decisions 基准测试套件上，GLiNER2.5-Decide 在 17 个数据集中的 9 个上领先，在意图路由任务上表现最强。在 64 个令牌的输入下，其在 48 核 Intel Xeon Platinum 8581C CPU 上的 P50 延迟为 167.3 毫秒。（MarkTechPost）