专注于人工智能推理的云计算企业 DeepInfra 通过B轮融资获得1.07亿美元，将推进全球设备扩展。以韩元计算，规模约为1581亿9250万韩元。在生成式AI超越实验阶段、向"代理型AI"过渡之际，DeepInfra计划突破现有通用云计算的局限。
本轮投资由500 Global和谷歌云前工程师George Harrick主导。此外，英伟达、三星电子投资部门Samsung Next、超微电脑、A.Capital Ventures、Crescent Cove、Peliciis、Peak6、Upper90等也参与其中。引人注目的是，主要投资者同时关注到了AI基础设施市场的增长潜力。
DeepInfra是一家专注于AI工作负载中"推理"环节的企业。推理是指完成训练的AI模型在实际服务环境中处理用户请求的阶段。该公司认为，现有的云平台并非以这种需求为前提而设计。他们解释说，尤其是代理型AI，为完成一次任务需要数十到数百次模型调用，可能导致延迟和成本急剧不稳定。
为解决这一问题，DeepInfra表示正在打造一种将推理视为核心工序而非附加服务的"令牌工厂"。这家公司由创建即时通讯应用"imo"的工程师团队创立，imo曾扩展到全球超过2亿用户。其战略是将大规模分布式系统的运营经验迁移到AI推理基础设施上。
与现有运营商依赖借用外部闲置服务器"Spot"容量的方式不同，DeepInfra在美国8个数据中心运营自有硬件。他们描述称，从GPU到API，通过控制整个堆栈来提升效率。该公司声称，利用英伟达的分布式推理平台"Dynamo"以及Blackwell、Vera Rubin GPU，可以提供高达20倍的推理成本效率。
特别是，DeepInfra认为代理型AI比现有生成式AI聊天机器人消耗的资源要多得多。目前，其平台上产生的全部令牌流量中，超过30%已来自自主代理，这也印证了这一点。这表明AI推理需求正超越简单的聊天机器人响应，迅速转向自动化业务处理。
目前，DeepInfra平台支持包括英伟达Nemotron系列在内的190多个开源AI模型。同时，针对将敏感信息发送到外部云端感到负担的企业客户，还提供"零数据保留"政策。这被解读为在同时考量安全、成本和速度的企业AI市场中打造差异化优势的意图。
联合创始人兼首席执行官Nikolai Borisov表示，从四年前创办公司时，他就认为AI推理将成为企业AI工作负载的核心，如今这一判断已成现实。他分析称，开源模型正迅速追赶闭源模型，以更低成本传播创新，而基于代理的系统正在创造持续且大规模的需求。他进而强调，AI推理不再是一个薄薄的处理层，而是将成为定义未来大多数AI工作负载的"瓶颈"。
500 Global的Tony Wang也评价称，在AI推理需求激增的情况下，开发者和工程师需要更快、更灵活、更稳定的基础设施。他表示，DeepInfra团队已经证明了构建和运营全球规模分布式系统的能力，并认为目的型AI推理基础设施将成为支撑AI产业下一阶段的核心基础。
此次融资不仅仅是简单的资金筹集，更显示出AI基础设施竞争的焦点正从训练转向推理。特别是随着代理型AI的扩散正式化，如何快速且低成本地处理AI推理，正日益成为云计算市场新的胜负手。
TP AI注意事项 本文基于TokenPost.ai语言模型进行摘要。可能遗漏原文主要内容或与事实不符。