Together AI 发布 Together Compiler，AI 推理速度最高提升 2.6 倍

Techub News 消息，Together AI 发布 Together Compiler（TKCC），这是一个由智能体驱动的系统，可在生产流量变化时持续重新优化 AI 模型推理。该系统已在 Together 的多个无服务器端点上运行。其核心主张是，一次调优的引擎会过时，因此调优应永不停止。 在 SemiAnalysis InferenceX 的 AgentX 工作负载基准测试中，Together Compiler 在单次设置运行不超过 24 小时、最多使用 2 个节点的条件下，其每秒事务处理量（TPS）比已发布的最佳 InferenceX 配置高出最多 2.6 倍。例如，在 NVIDIA B200 上运行 MiniMax M3.1 Flash 模型时，其 P90 TPS 达到每用户 1,111，比 633 的基线提升了 1.8 倍。（MarkTechPost）