UC Berkeley 与 UT Austin 研究人员推出边缘原生 MoE 推理引擎 FreeToken

Techub News 消息，来自加州大学伯克利分校和德克萨斯大学奥斯汀分校的研究团队发布边缘原生混合专家模型推理引擎 FreeToken。该系统可将个人计算机作为统一的弹性推理平台，实现在单张工作站 GPU 上运行 753B 参数的 GLM-5.2 模型，在游戏台式机上运行 284B 模型，在 8GB 显存的笔记本 GPU 上以交互速度运行 35B 模型。 FreeToken 已以 Apache-2.0 协议在 GitHub 开源，并发布至 PyPI，同时提供适用于 Windows 和 Linux 的一键桌面应用程序。其 CLI 支持 Linux x86_64 系统及 NVIDIA GPU，通过 ft serve 命令可在端口 1919 上暴露与 OpenAI 和 Anthropic 兼容的 API 端点。 该引擎旨在服务个人开发者、初创公司及中小企业工程团队，尤其适用于医疗、法律、国防、金融及知识产权密集型研发等对数据隐私有严格要求的场景。典型应用包括本地编码智能体、私有代码审查、离线合同分析及合成数据生成。（MarkTechPost）