岩山科技联合港科大 CMU 开源 EdgeRock-4B，KV Cache 减少 99%

Techub News 消息，岩山科技旗下岩芯矩阵联合香港科技大学、卡内基梅隆大学等高校发布并开源 EdgeRock-4B 模型。该模型采用新型记忆机制，在 256K 上下文长度下，KV Cache 占用固定为 72 MiB，相比源模型减少 99.1%。在单张 80GB GPU 上，模型可同时处理 512 路长推理，输出吞吐达 12124 tokens/s，为源模型的 6.42 倍，推理能力基本保留。模型权重与代码已在 GitHub 和 Hugging Face 开源。（量子位）