GoForum › 🌐 V2EX
Qwen3.6 MTP GGUF 发布:本地推理 1.4-2.2 倍加速
Fdyo ·
2026-05-19 11:26 ·
0 次点赞 · 1 条回复
Unsloth 团队为 Qwen3.6 发布了 MTP ( Multi Token Prediction ) GGUF 量化版本,可 Qwen3.6 的本地推理速度提升 1.4-2.2 倍,精度无任何损失。

除 Qwen3.6 外,Unsloth 这次还回溯发布了 Qwen3.5 系列的 MTP GGUF ,覆盖 0.8B 、2B 、4B 、9B 、27B 、35B-A3B 、122B-A10B 、397B-A17B 全家族。这意味着已经在用 Qwen3.5 系列做本地推理的开发者可以直接迁到 MTP 版本而不换模型。
1 条回复
添加回复
你还需要 登录
后发表回复
之前就开了,我看 Unsloth 文档前几天还是 –spec-draft-n-max 2 ,今天就改成 6 了 https://i.imgur.com/NIvxivj.png
刚测了一下,我的配置,6 还不如 2 快了。。 应该是配置不一样,性能也不一样,需要自己测试。