Fly Language Model 将果蝇全脑连接组接入 12 亿参数大模型，实验显示连接组未提升性能

Techub News 消息，研究人员发布 Fly Language Model（FLM），将完整的雄性果蝇中枢神经系统连接组（166,700 个节点、2558 万条有向边）接入一个冻结的 LiquidAI LFM2.5-1.2B-Instruct 大语言模型主干。该模型仅训练 27.8 万个参数的读出层，占主干参数的约 0.0238%。 在 32 个日常对话数据集上的测试显示，接入果蝇连接组的模型将每个词元的负对数似然降低了 0.0222 纳特，但一个无连接图的直接输入控制模型在所有三次实验种子中表现更优，差异为 0.000488 纳特。研究证明，连接组确实参与了计算，但并未带来特异性增益，且其状态记忆每词元衰减 0.6，未能提供长期记忆。 开发者明确表示不宣称这是首个基于连接组的语言模型，其特点在于使用了完整的连接组图并采用冻结主干设计。模型代码已在 MIT 许可下开源，可在本地 Python 3.12 环境运行。 （MarkTechPost）