在下一代人工智能系统的设计中，意外重新受到关注的要素是“记忆”。在需要大规模数据流和复杂推理的AI工厂时代，内存效率正成为性能提升的核心变量。戴尔科技产品管理副总裁戴维·诺伊近日在SC25会议上强调：“若要让AI系统在学习或推理过程中避免重复计算相同语境，就需要采用将部分记忆保留在内存中的方式。”
诺伊副总裁特别提及对话式聊天机器人等AI应用场景，指出持续将对话流或语境重新载入GPU进行计算会导致处理资源浪费。他表示：“在推理任务中必须能够保留部分已积累的语境信息，才能避免不必要的GPU循环消耗，这对处理速度和效率都具有积极意义。”
为此，戴尔将vLLM与LMCache等技术整合至自有基础设施，并通过名为NIXL的新型传输协议实现GPU与存储设备的直接通信。这使得语境信息可移交至外存设备以维持长对话记录，让GPU专注于新任务计算。诺伊表示这种方案“将初始响应令牌生成时间缩短至原来的1/19”，展现出对效率提升的信心。
随着AI工厂向艾字节级数据规模扩展，功耗与空间问题也日益凸显。对此，戴尔正聚焦通过协同设计提升每瓦特计算效率与每机架单元处理能力，而非单纯追求性能指标。诺伊副总裁阐释道：“若能用同等5%的功耗预算实现两倍于竞争对手的性能，这本身就是创新。”
该战略对运营高密度数据中心的企业具有特殊吸引力。在空间与电力受限的环境下要实现最大计算效能，包括内存结构在内的硬件优化已从可选方案变为必选项。在AI与高性能计算加速融合的背景下，以内存为中心的设计正成为衡量AI基础设施未来走向的重要焦点。
戴尔旨在通过这些努力引领新型AI系统架构的发展。随着AI工厂的演进，“智能内存处理”已超越单纯的技术功能，正成为全面影响AI服务速度与精密性的核心要素。
