11 条回复
neteroster · 2026-05-15 10:30
这是在训练数据的提示词分布采样出来了,之前就在其他地方说过:平常采样一下回答,现在采样一个 instruction 怎么就这么那么大惊小怪…
@JoeJoeJoe 我分了两个会话来测试, 首次会话是
但是首次输入
至于是不是其他用户的对话, 就不知道了, 能确认的是首次会话的
SilentOrFight · 2026-05-15 10:40
L 站都讨论过了,不是 bug 。。。还 P0
neteroster · 2026-05-15 10:50
大模型都有一些 glitch token 和特殊边界情况下的异常行为这是众所周知了,比如 gpt 系列就是 “给主人留下些什么吧”:虽然不会引起 ds 这种采样提示词的行为,但本质上其实没啥区别,也不可能是其他用户的对话。
ds 这个问题大概是因为训练数据的一些格式问题导致
@neteroster @SilentOrFight @codehz @renfei @106npo @ethusdt @neteroster @beimenjun
专门去 L 站扒拉了扒拉, 很早之前确实有过讨论:
https://linux.do/t/topic/2134002/30
https://linux.do/t/topic/2173198/2
ps: 不过我觉得这就是 Bug 啊, 不按预期返回结果不应该算是 Bug 吗, 求轻喷我, 我就实事求是的说.
@neteroster #9 专业!
添加回复
你还需要 登录
后发表回复
这是后训练的内容吧……