Techub News 消息,Sakana AI 研究人员提出了一种名为“增强拉格朗日预测编码”(PC-ALM)的新算法,作为反向传播的替代方案。该算法能在保持层间更新局部化的同时,恢复与反向传播对齐的信用信号。研究团队报告称,使用该算法成功训练了高达1000层的残差MLP网络,在MNIST数据集上的性能与反向传播相比差距在约2个百分点内。 PC-ALM 是一种训练方法,而非模型,目前仅在小型图像基准测试中进行了验证。该团队提供了基于 JAX 的 MIT 许可参考实现代码,可在 CPU 上运行并复现论文中的宽度-深度网格实验结果。(MarkTechPost)