MemT 1.0 开源记忆原生模型，参数规模达 288B 并完成工程验证

Techub News 消息，记忆原生模型 MemT 1.0 系列已开源发布，包括 36B 参数的 Nano 型号与 288B 参数的 Flash 型号。该系列模型在 Transformer 模块中增加并行记忆计算通路，将经验编码为内部动态状态并通过训练学习读写，首次实现了近 300B 参数规模的记忆原生工程验证。 在 SWE-bench Verified 等基准测试中，MemT-1.0-Nano 的关键断点平均成功率达 69.73%，三次全部成功的任务比例从无经验基线的 54.00% 提升至 62.80%。在迷宫探索等任务中，模型能借助上一轮经验优化后续行动。 MemT 1.0 采用 Gated DeltaNet-2 进行逐 Token 记忆更新，并基于 MoE 架构提出 Mixture-of-Storage 方案以扩展记忆容量。团队使用 340 亿 Token 的语料进行记忆训练，包括继续预训练与后训练阶段。（量子位）