Qwen3.8-27B-Uncensored-GGUF 小白完整指南选文件、部署、提速一篇讲完【免费下载链接】Qwen3.8-27B-Uncensored-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/JonathanColetti/Qwen3.8-27B-Uncensored-GGUFQwen3.8-27B-Uncensored-GGUF 是社区基于 Qwen3.8-27B 做「去审查」后量化成 GGUF 格式的模型保留 MTP 头、支持投机解码提速。读完这篇你能选对文件、一次跑通。去审查改了 Qwen3.8-27B 什么底模 Qwen3.8-27B64 层上下文 262144用 Heretic 从权重里擦掉「拒绝方向」不微调、不加训练数据bf16 处理完再量化。拒绝率100 条有害提示里从拒 98 条降到12条。KL 散度——可以理解成「和原版差多远」的代理指标——只有0.1191200 次搜索里选的是帕累托前沿上的一个点完整数据在 heretic-study 目录。能力几乎无损4 项基准均分只掉 0.5 分、都在误差内4bit 量化 PPL困惑度越低生成越自然约 7.18与同级正常水平相当其余细节见仓库。指标原版 Qwen3.8-27B本仓库版本拒绝率100 条有害提示98/10012/100首 token KL 散度00.1191⚠️ 拒绝行为是「大幅减少」而非消除更不是没有护栏靠近原拒绝边界的行为比底模更不稳定请遵守当地法律使用。按你的显存选 Qwen3.8-27B-Uncensored-GGUF 文件场景一单文件一键跑多数人Fused 文件把 MTP多 token 预测头模型自带的「草稿猜测器」内置一个文件就是主模型加草稿。默认选 Q4_K_M16.8 GB速度、体积、PPL 三者最均衡24G 显存以上可以直接上 Q6_K22.4 GB或 Q8_029.0 GB追质量。场景二两文件分离运行时要显式挂草稿如果你的 llama.cpp 只认--model-draft显式指定就用 noMTP-Q4_K_M16.5 GB加 draft-Q8_03.2 GB合计约 19.7 GB。场景三要喂图片主模型之外再加载 vision-f160.9 GB即可f16 与 bf16 两个视觉文件是同一套 334 个投影张量任选一个。主文件体积文件名规则融合版Qwen3.8-27B-Uncensored-档位.gguf分离版加noMTP-前缀档位单文件版体积内置 MTP分离版体积noMTPIQ2_M10.6 GB10.2 GBIQ4_XS15.3 GB15.1 GBQ4_K_M16.8 GB16.5 GBQ5_K_M19.5 GB19.2 GBQ6_K22.4 GB22.1 GBQ8_029.0 GB28.6 GB草稿与视觉文件用途文件体积投机解码草稿默认已实测draft-Q8_03.2 GB投机解码草稿省 1.5 GB接受率未测draft-Q4_01.7 GB视觉投影图片输入vision-f16 / vision-bf160.9 GB草稿默认保持 Q8_0它本来就小压狠了省不了多少磁盘却会明显拉低草稿接受率。llama.cpp 部署命令一分钟跑起来白拿提速先说一句人话投机解码 草稿先猜、主模型验证猜对的直接收下所以更快且不损质量。克隆仓库后git clone https://gitcode.com/hf_mirrors/JonathanColetti/Qwen3.8-27B-Uncensored-GGUF融合版一键启动llama-server -m Qwen3.8-27B-Uncensored-Q4_K_M.gguf \ --spec-type draft-mtp --spec-draft-n-max 1 \ -ngl 99 -c 8192-ngl 99是全部层放显卡-c 8192开 8k 上下文--spec-draft-n-max 1是实测表里提速最高的取值默认的 3 反而更慢。分离版把草稿文件显式挂上即可llama-server -m Qwen3.8-27B-Uncensored-noMTP-Q4_K_M.gguf \ --spec-type draft-mtp \ --model-draft Qwen3.8-27B-Uncensored-draft-Q8_0.gguf \ -ngl 99 -c 8192实测提速相对无草稿基线tok/s场景无草稿 tok/sn_max1 tok/s相对基线prose74.889.01.19xcode74.795.41.28xchat74.790.61.21x结论直接写--spec-draft-n-max 1最高1.28x提速n_max 加大只会更慢n_max5 时全部跌破 1x。避坑清单与三档速查MTP 投机解码需要 llama.cpp PR #22673 之后的构建旧版本能加载模型但会静默忽略 MTP 张量只是没加速。评估行为拒绝率、稳定性请用 Q6_K 或 Q8_0IQ2_M/IQ4_XS 行为更不稳定且 IQ2_M 的 PPL7.86明显高于其余档位的 7.15~7.18。12/100 的拒绝率是在非思考模式下测的开思考模式表现可能不同100 条提示也只覆盖那一种有害请求分布。本模型定位本地推理实验若要对外提供服务请自行叠加安全层。三档速查默认选融合版 Q4_K_M16.8 GB质量选融合版 Q8_029.0 GB显存紧选融合版 IQ4_XS15.3 GB极限还有 IQ2_M10.6 GB。【免费下载链接】Qwen3.8-27B-Uncensored-GGUF项目地址: https://ai.gitcode.com/hf_mirrors/JonathanColetti/Qwen3.8-27B-Uncensored-GGUF创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考