Techub News 消息,IBM 在 Granite 4.1 3B 与 8B 模型中引入 LLMON,一种面向大语言模型的标记语言。该语言定义六个分隔符,支持嵌套与锚定,并作为保留单 token 安装到 tokenizer。 团队将常规指令微调语料重序列化为 LLMON,使每个 prompt 组件成为可寻址块,每轮包含执行块,说明运行指令、输入与输出位置。数据还加入未被绑定的诱饵指令与数据块,使模型学习遵循执行块依赖并忽略无关内容。 后续训练包含五个 GRPO 阶段,覆盖多领域推理、RLHF、知识校准与数学,并以一千组模型自身生成的偏好对进行 DPO。(Hugging Face)
本网站所提供的所有信息仅供参考之用。
本网站不保证信息的准确性、有效性、及时性和完整性。
任何依赖于本网站所提供信息的行为,均由用户自行承担风险。
Techub News 消息,IBM 在 Granite 4.1 3B 与 8B 模型中引入 LLMON,一种面向大语言模型的标记语言。该语言定义六个分隔符,支持嵌套与锚定,并作为保留单 token 安装到 tokenizer。 团队将常规指令微调语料重序列化为 LLMON,使每个 prompt 组件成为可寻址块,每轮包含执行块,说明运行指令、输入与输出位置。数据还加入未被绑定的诱饵指令与数据块,使模型学习遵循执行块依赖并忽略无关内容。 后续训练包含五个 GRPO 阶段,覆盖多领域推理、RLHF、知识校准与数学,并以一千组模型自身生成的偏好对进行 DPO。(Hugging Face)
本网站所提供的所有信息仅供参考之用。本网站不保证信息的准确性、有效性、及时性和完整性。任何依赖于本网站所提供信息的行为,均由用户自行承担风险。
如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)

如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)
