在AI运算性能急剧增长、正面临传统内存结构局限性的背景下，数据平台企业WekaIO推出了新的内存扩展解决方案。WekaIO的战略是，通过其自主研发的基于'NeuralMesh'的增强型内存网格技术，大幅提升AI推理的处理速度、效率及扩展性。
WekaIO公司AI推理及数据管理产品负责人科兰·福克斯解释道："我们扩展了传统基于DRAM的内存层次结构的范围，使其在保持相同速度的同时，能够使用容量大得多的内存。""因此，在需要大规模运算的AI推理环境中，能够突破性地解决性能瓶颈问题。"
此外，该技术专门用于提升需要大型上下文窗口的现代AI系统（如多轮对话、基于推理的自主代理等）的实时性能，而非简单的处理模型。实际上，Weka在最新的基准测试中，将首令牌生成时间缩短了6倍，并将整体令牌处理吞吐量提升了4.2倍。
经济效益也相当显著。目前主要用于高性能AI运算的英伟达H100 GPU价格约为3万美元（约合4300万韩元），由100台组成的集群成本高达300万美元（约合43.2亿韩元）。此时，4.2倍的吞吐量提升意味着可以用76台GPU实现同等性能，从而节省约72万美元（约合10.4亿韩元）的成本。
Weka公司AI产品营销负责人贝琪·谢尔诺夫强调："这不仅仅是减少GPU数量的问题，而应被视为'能额外承载多少工作量'的问题。"她指出，增强型内存网格将成为最大化推理吞吐量、减少重新计算负担、并更智能地供应GPU资源的基础。
Weka将该技术与现有DRAM及系统内存集成，将其用作一个高速、持久的内存层级，能够持续存储并重复使用推理过程中生成的KV缓存数据。这在仅靠DRAM难以应对的大规模情境感知运算环境中尤其有用。
在AI应用日趋多元化（从简单的问答转向代码生成、多逻辑推理、自主代理构建等）的今天，Weka准确地瞄准了推理性能的'真正瓶颈'并非在于计算量，而在于内存智能。未来的AI基础设施创新，其格局划分看来将不再取决于配备了多少GPU，而更取决于能否有效地利用GPU资源。
