Techub News 消息,NVIDIA 相关研究发现,少量误导文本会显著降低大模型回答准确率。该效应被命名为「第一滴墨」,指少量高相似干扰即可造成大部分性能损失。 研究显示,在 12.8 万 token 上下文中,高相似干扰文本占比仅 10% 时,模型准确率明显下降。测试对象包括 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct。 研究称,遮蔽少数处理无关文本的注意力头可恢复部分准确率;在干扰占比 10% 的案例中,正确段落获得的注意力下降 76%。研究建议优先提升检索上游精度。(Crypto Briefing)
本网站所提供的所有信息仅供参考之用。
本网站不保证信息的准确性、有效性、及时性和完整性。
任何依赖于本网站所提供信息的行为,均由用户自行承担风险。
Techub News 消息,NVIDIA 相关研究发现,少量误导文本会显著降低大模型回答准确率。该效应被命名为「第一滴墨」,指少量高相似干扰即可造成大部分性能损失。 研究显示,在 12.8 万 token 上下文中,高相似干扰文本占比仅 10% 时,模型准确率明显下降。测试对象包括 Llama-3.1-8B-Instruct 和 Qwen2.5-7B-Instruct。 研究称,遮蔽少数处理无关文本的注意力头可恢复部分准确率;在干扰占比 10% 的案例中,正确段落获得的注意力下降 76%。研究建议优先提升检索上游精度。(Crypto Briefing)
本网站所提供的所有信息仅供参考之用。本网站不保证信息的准确性、有效性、及时性和完整性。任何依赖于本网站所提供信息的行为,均由用户自行承担风险。
如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)

如您认为本页面(或本平台)内容存在侵权或违规情形,请您在发现之日起尽快与我们联系,并提供:权利人姓名/名称及联系方式、被侵权作品名称及权属证明、具体侵权链接及情况说明。我们在核实后将及时处理相关内容。
联系方式:creator@techub.news
商务合作:contacting@techub.news
点击链接下载 Techub News App,获取最新讯息:
https://www.techub.news/download
(或扫描下方二维码下载)
