Qwen3.8-27B 正式开源27B 参数媲美顶级闭源模型本地 8GB 显存就能跑最近通义千问团队正式开源了Qwen3.8-27B这是一款原生多模态稠密模型虽然只有 270 亿参数但在编程、办公、视觉理解和 Agent 工作流等真实场景中展现出了相当强的综合能力[citation:1]。核心亮点Qwen3.8-27B 原生支持262K Token 上下文配合 YaRN 技术后可进一步扩展到100 万 Token处理超长代码和大型项目时无需频繁切分内容。官方同步提供了 GGUF 量化版本最低 8GB 显存即可运行如果使用越狱模型甚至4GB 显存也能跑起来[citation:1]。量化版本选择文章给出了完整的量化对照表覆盖从 9GB 到 54GB 的多种规格。几个值得关注的选项[citation:1]UD-IQ2_XXS9.01GB适合 8~12G 显存如 3060 12G / 5070UD-Q3_K_XL13.4GB16G 显存低配首选UD-Q4_K_XL17.9GB24G 显存全场最佳性价比Q8_029GB32G 显存极限 / 48G 舒适部署流程部署需要三步下载 GGUF 量化模型、下载 llama.cpp、使用一键启动脚本。该脚本可自动识别硬件配置并匹配合适的启动参数还支持多模型加载和自动切换[citation:1]。越狱模型与 Agent 对接文章还介绍了无审查的越狱模型最低 4G 显存即可运行可实现更自由的使用体验。此外Qwen3.8-27B 可对接 Hermes Agent通过本地子托管形式在 Agent 中免费调用[citation:1]。想系统学习 AI如果你对人工智能感兴趣想从零开始系统学习大模型、智能体、AIGC 等方向可以访问人工智能学习网。该网站主张通俗易懂、无需高数基础只要你上过高中就能学每小节还配有实战编程代码适合想入门 AI 但担心门槛太高的朋友[citation:2]。相关链接原文https://www.freedidi.com/25144.html机器学习学习资源codex部署Qwen27B模型本地模型部署过程中在启动过程中会出现错误然后我让本地AI给我修复了一下具体修复过程就是将上面的错误给到本地的codex它会自动帮你修复。✅ 问题已修复脚本正常运行。修改内容文件C:\Users\Administrator\Downloads\llamacpp\llama-oneclick.ps1 第 154 行21 → 2$null原因 llama-server.exe --help 会输出初始化信息到 stderr而脚本开头设了E r r o r A c t i o n P r e f e r e n c e S t o p 导致这些 s t d e r r 输出被当作致命错误中断脚本。改为 2 ErrorActionPreference Stop导致这些 stderr 输出被当作致命错误中断脚本。改为 2ErrorActionPreferenceStop导致这些stderr输出被当作致命错误中断脚本。改为2null 直接丢弃 stderr 即可真正的 help 文本走 stdout不受影响。现在服务已成功启动端口http://127.0.0.1:8080模型Qwen3.8-27B18.2 GB上下文32768 tokens后端CUDA可以直接在浏览器访问 http://127.0.0.1:8080 使用了。需要我帮你关掉服务吗正常登录后的下过如下图所示点击开关按钮需要加载一下这个模型成功后就会出现下面的结果确保是绿色的即可使用查看模型的具体参数如果我们用codex给你修复后的结果这里直接可以点击给你的html然后在本地的codex来运行即可。我问了一个非常简单的问题但是感觉速度超级慢第一次具体自己看后续的话就非常快了本地配置的过程我使用codex,其它的可以直接让大模型来帮你完成。最后本地配置成果的结果如下根据你提供的 Codex 界面字段以下是完整、逐项对应的填写内容1. 名称本地模型qwen27b2. 接入模式选择纯 API勾选无需认证——仅用于可信的本地或内网上游。请勿将无认证服务暴露到公网任何能访问该地址的人都可调用模型。3. Base URLhttp://127.0.0.1:8080/v14. Keylocal纯 API 无需认证模式下Key 一般不校验填local即可若界面强制要求非空就填这个5. 上游协议选择Chat Completions⚠️关键llama-server默认暴露的是 OpenAI 兼容的/v1/chat/completions不是Responses API。选错会导致 404 或格式不匹配。6. Codex 会话身份选择Custom默认7. 默认模型qwen2.5-7b-instruct不带后缀如-q4_k_m.gguf8. 模型列表点击「添加模型」后填写字段填写内容模型名称qwen2.5-7b-instruct上下文窗口1M或留空使用 Codex 默认图片处理方式原样发送图片Qwen2.5 7B 纯文本版可不处理选默认即可建议先点击「从上游获取」按钮它会自动访问http://127.0.0.1:8080/v1/models拉取真实模型名。如果拉回来的名字和qwen2.5-7b-instruct不一致比如是文件名qwen2.5-7b-instruct-q4_k_m以上游返回的为准因为 Codex 请求时用的 model 字段必须和上游完全匹配。9. 启用目标功能「尝试从sub2api获取倍率显示」不勾选非 Sub2API 供应商10. 单模型路由留空不需要11. User-Agent留空使用默认值12. 更多选项留空沿用全局默认值✅ 最终核对清单字段值名称本地模型qwen27b接入模式纯 API 无需认证Base URLhttp://127.0.0.1:8080/v1Keylocal上游协议Chat CompletionsCodex 会话身份Custom默认默认模型qwen2.5-7b-instruct模型列表qwen2.5-7b-instruct/ 上下文1M⚠️ 启动前确认确保你的llama-server正在运行且端口是8080llama-server--modelqwen2.5-7b-instruct-q4_k_m.gguf--host127.0.0.1--port8080--ctx-size8192然后访问http://127.0.0.1:8080/v1/models确认返回的模型名与你在 Codex 中填写的一致。如果一致保存配置后直接启动 Codex 即可测试。配置完成的结果如下测试效果这里OK另外一种修复方案这里不要用免费的API来运行效果不好这里我用deepseek修复后的结果修复完成。你的部署目录本身是完整正常的模型、mmproj、presets.ini、启动.bat 都在问题出在启动脚本。问题定位E:\LLM\llama.cpp\llama-oneclick.ps1第 154 行是原始写法$help($exe--help 21)-joinn脚本开头设了$ErrorActionPreference Stop。llama-server.exe --help会把启动横幅0.00.000.xxx I srv llama_server: initializing ...写到stderr在 Stop 语义下这会被 PowerShell 当成致命错误抛出NativeCommandError脚本当场中断——就是你截图里 154 行那个报错。已做的修改文件E:\LLM\llama.cpp\llama-oneclick.ps1:154现在改成$eap$ErrorActionPreference$ErrorActionPreferenceContinue$help($exe--help 21)-joinn$ErrorActionPreference$eap只在探测参数这一小段临时关掉 Stop探测完立刻恢复其他逻辑完全不受影响。这个写法在 PowerShell 5.1 / 7 以及真实控制台、管道重定向下都不会再炸。验证结果我实际跑通了四种启动方式全部正常双击启动.bat走 cmd → pwshpwsh -File llama-oneclick.ps1powershell -File llama-oneclick.ps1直接运行llama-server.exe服务成功监听http://127.0.0.1:8080识别到Qwen3.8-27B预设CUDA 后端、32768 上下文。一点说明这次你的消息里那段错误内容图片或文本没有传过来而我在本机反复测试时上面四种方式本来也都能启动。所以如果你重启后仍然报错麻烦把红字原文贴给我特别是这几种情况是不是双击llama-server.exe本身报错比如缺 DLL报错是否还指向llama-oneclick.ps1的某一行是脚本中断还是浏览器打不开页面有了原文我能直接定位到具体那行。后续可以达到每秒700tokens测试生成表情包先说清楚一个前提当前是纯浏览器环境没法直接把.png文件写到你的磁盘上。所以我用data-URI 内嵌图给你——下面这三张会直接显示成图片文字已经加在里面你右键 → 图片另存为就能得到图片文件要标准.png位图看最后那一步。1. 中午好2. 下午好3. 晚上好 怎么存成 PNG最简单在每张图上右键 → 图片另存为把扩展名改成.png即可。要标准.png位图文件比如放服务器/批量用上面本质是矢量 SVG最稳的是用 Python 一键转。装好pillow cairosvg后把对应 SVG 存成1.svg / 2.svg / 3.svg运行pipinstallpillow cairosvg python-cimport cairosvg; [cairosvg.svg2png(urlf{i}.svg, write_tof{i}.png, output_width640, output_height720) for i in (1,2,3)]就会得到1.png / 2.png / 3.png含文字放大不糊。如果这三张img在你这边没显示出来说明前端不渲染内联 HTML告诉我我直接给你三段可保存的.svg源码或一段完整 Python 脚本你本地跑一下就能出三个 PNG。视频测试视频测试的环节会出现下面的错误:request (33530 tokens) exceeds the available context size (32768 tokens), try increasing it.如果你出现这个问题主要原因是你把下面的启动界面给关掉了。每次重启这个模型都需要重新点击开关按钮重新启动当然这里让它做视频是不行的这里我们后续研究因为这里的tokens有限制request (33305 tokens) exceeds the available context size (32768 tokens), try increasing it
