Techub News 消息,腾讯混元团队在 Reddit 社区进行 AMA 时透露,Hy 小模型已在路线图上,并计划推出面向 24GB 显存的模型。团队表示,Hy4 flash 模型可在 96GB 显存、128GB 内存的配置下运行,主要权重和注意力计算置于 GPU,部分专家层和 Engram 查表模块可卸载至系统内存。 团队还分享了训练细节,称后训练阶段最难改善的行为是「过度思考」,并透露正在通过蒸馏和强化学习来缩短 Hy4 flash 的推理链。对于量化问题,团队建议尝试 GPTQ 量化的 NVFP4 版本以提升本地部署的准确率。此外,llama.cpp 适配正在进行中,预计近期将在社区发布。(量子位)
本网站所提供的所有信息仅供参考之用。
本网站不保证信息的准确性、有效性、及时性和完整性。
任何依赖于本网站所提供信息的行为,均由用户自行承担风险。
Techub News 消息,腾讯混元团队在 Reddit 社区进行 AMA 时透露,Hy 小模型已在路线图上,并计划推出面向 24GB 显存的模型。团队表示,Hy4 flash 模型可在 96GB 显存、128GB 内存的配置下运行,主要权重和注意力计算置于 GPU,部分专家层和 Engram 查表模块可卸载至系统内存。 团队还分享了训练细节,称后训练阶段最难改善的行为是「过度思考」,并透露正在通过蒸馏和强化学习来缩短 Hy4 flash 的推理链。对于量化问题,团队建议尝试 GPTQ 量化的 NVFP4 版本以提升本地部署的准确率。此外,llama.cpp 适配正在进行中,预计近期将在社区发布。(量子位)
本网站所提供的所有信息仅供参考之用。本网站不保证信息的准确性、有效性、及时性和完整性。任何依赖于本网站所提供信息的行为,均由用户自行承担风险。
如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)

如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)
