OpenCode 换掉 vLLM 那串 Triton 报错TaoToken https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 上创建一把 Key把 provider 从 http://192.168.1.53:8000/v1/ 挪到兼容通道gemma-4-31b-it照样能在 OpenCode 里跑起来。熟悉的那一幕是这样的双卡 A6000 插在机箱里vLLM 的启动日志滚到加载模型那一步停在一行Failed to import Triton kernels进程没完全死透但 8000 端口始终不监听把--tensor-parallel-size从 2 改成 1服务能起来吞吐却掉了一截改回 2 又撞同一串报错。你本来只想让 OpenCode 里那个gemma-4-31b-it能用结果一晚上都在跟 CUDA、Triton、NCCL 和驱动版本互相甩锅。如果你承认自己只是想用 Gemma 4 写代码而不是想维护一套推理集群那这条链路其实可以砍掉一大半。本文只做一件事把 OpenCode 的 provider 从本地 vLLM 换到兼容通道只改opencode.json和auth.json两个文件model里那行gemma-4-31b-it不用动small_model也跟着一起走同一条通道。1. vLLM 起 Gemma 4 卡在 Failed to import Triton kernels先判断要不要继续修1.1 报错现场到底发生在哪一层Failed to import Triton kernels这句话看起来吓人实际含义很朴素vLLM 里那几个写好的 Triton 算子在当前这套 Python、torch、Triton、CUDA 组合下没能被导入。它通常不是模型权重的问题而是运行时依赖之间没对齐。日志里往往还会带一两行ImportError或undefined symbol前者是 Python 层找不到模块后者是编译出来的扩展和当前的库对不上号。在双卡 A6000 上这类问题被放大的原因也很直接只要开了 tensor parallelvLLM 会把通信、算子、显存切分一起拉进来报错栈会比单卡长得多你很难一眼看出是 Triton 导入失败还是 NCCL 初始化时顺手带崩了别的模块。很多人就是在这一步开始怀疑人生。1.2 tensor-parallel 调参为什么像一个无底洞把--tensor-parallel-size 2降成 1 能起来说明模型本身没问题卡也没坏坏的是多卡路径上的某个依赖组合。可一旦降到 131B 这个量级在单卡上能塞下的上下文长度、并发数都会缩水于是你又想调回去。接着就是熟悉的循环换 torch 版本、换 vLLM 版本、重装 Triton、清~/.cache/torch、设置NCCL_P2P_DISABLE每一轮都能让服务往前走一点点但没有人能保证下一台机器上还能复现。如果你只是想让 OpenCode 里的对话跑通这些调参带来的边际收益其实很低。你付出的是整晚的调试时间换回来的是一个跑在自己机房里、还要自己看显存、自己管进程的推理服务。1.3 一个更省事的判断标准判断标准可以粗暴一点如果 OpenCode 已经是你日常写代码的入口而你手上这台机器的主要职责不是「对外提供推理服务」那就没必要把推理这条链路留在本地。把 provider 换成一个统一的 API 通道改两个文件比继续在 Triton 上耗时间划算得多。要注意的是OpenCode 本身不会替你去猜上游是谁它只认你在配置里写的 baseURL 和鉴权信息。所以你真正要改的东西非常明确从哪里取模型、拿什么凭证调用剩下的都交给通道。2. 打开 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 创建 Key顺手核对模型 ID2.1 注册和创建 API Key准备工作只有一步打开 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 注册账号进控制台创建一把 API Key复制出来先放到一个临时文件里。这把 Key 就是后面auth.json里要替换掉sk-local的东西务必用占位符思路对待——本文所有示例里统一写成YOUR_API_KEY你实际填的时候换成自己的那串。顺手提醒一句Key 只在创建时完整可见刷新页面之后通常就只剩前后几位。所以别嫌麻烦创建完立刻粘到密码管理器或者本地临时文件里。2.2 模型广场里认准 gemma-4-31b-it 这个 ID原本文档里本地加载的是 Gemma 4接 OpenCode 时用的是gemma-4-31b-it。换成兼容通道之后OpenCode 依然写这个模型名但上游是否接受这个名字要以模型广场上的列表为准。打开 TaoToken 的模型广场搜一下 Gemma 相关条目把展示出来的模型 ID 原样复制不要凭记忆敲也不要在后面随手加日期或版本后缀。模型 ID 这东西一个字符都不能错。少一个连字符、多一个下划线表现就是 404 或者「模型不存在」而你还以为是 Key 的问题来回折腾半天。2.3 顺便看一眼用量和额度创建完 Key 别急着关页面。控制台里通常有调用记录和用量统计后面验证配置是否生效靠的就是这一页。你发完第一条测试消息之后回来看一眼有没有新增一条调用记录、消耗了多少比在终端里猜要可靠得多。长期写代码的话也可以在这个阶段顺便看看套餐页面估一下每天大概会被 OpenCode 消耗多少。3. 改 opencode.jsonbaseURL 从 192.168.1.53:8000 指向统一通道3.1 先把原来那份本地 vLLM 配置备份掉OpenCode 的 provider 配置一般放在用户配置目录下的opencode.jsonWindows 上位置会不一样以本机实际数据目录为准。动手之前先复制一份因为原来的配置里存着不少你自己调过的参数。原来的那份大概长这样注意那个本地地址和/v1后缀{ $schema: https://opencode.ai/config.json, provider: { vllm: { npm: ai-sdk/openai-compatible, name: Local vLLM, options: { baseURL: http://192.168.1.53:8000/v1 }, models: { gemma-4-31b-it: { name: Gemma 4 31B IT (local) } } } }, model: vllm/gemma-4-31b-it }新的配置只改三处provider 名字、baseURL、以及model前面的前缀。3.2 provider 段落这样写替换后的opencode.json参考如下。关键是baseURL填https://taotoken.net/api末尾不要再接/v1这是最容易多写一笔的地方{ $schema: https://opencode.ai/config.json, provider: { taotoken: { npm: ai-sdk/openai-compatible, name: TaoToken, options: { baseURL: https://taotoken.net/api }, models: { gemma-4-31b-it: { name: Gemma 4 31B IT } } } }, model: taotoken/gemma-4-31b-it }npm那一行沿用原来兼容 OpenAI 协议的适配包即可不用换。models里注册的键名要和模型广场给出的 ID 一致OpenCode 会用这个键名去拼请求里的模型字段。提示官网落地页和接口地址是两回事。注册、创建 Key、看模型列表走 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 而填进工具配置里的 baseURL 用https://taotoken.net/api两者不要混用也不要把查询参数带到接口地址上。3.3 model 和 small_model 一起挂过去OpenCode 除了主模型还有一个small_model通常用来做标题生成、上下文压缩这类轻量任务。原来它多半也指向本地那个地址现在一起改掉{ model: taotoken/gemma-4-31b-it, small_model: taotoken/gemma-4-31b-it }先把两者都指向同一个gemma-4-31b-it是最稳的做法能确认通道本身没问题。等模型广场上出现更轻、更适合做小任务的条目再把small_model换过去。不要在没有验证过的情况下凭感觉编一个模型 ID 塞进去。4. auth.json 里的 keysk-local 该退场了4.1 文件位置和结构OpenCode 的登录凭证一般存在数据目录下的auth.json里常见路径是~/.local/share/opencode/auth.json具体以本机为准。原来接本地 vLLM 时这里大概率是一段写着sk-local的内容{ vllm: { type: api, key: sk-local } }因为 provider 名字从vllm换成了taotoken这个键名也要跟着改值换成你在控制台拿到的那串 Key{ taotoken: { type: api, key: YOUR_API_KEY } }改完之后把文件权限收紧一点chmod 600别让同机器上其他账号读到。如果之前那份vllm条目已经不用了直接删掉留着只会让排查问题时多一个干扰项。4.2 不想把 Key 写在文件里的做法如果团队共用一台开发机或者你习惯把配置放进版本库可以把 Key 留在环境变量里再让配置去引用。OpenCode 的配置支持环境变量替换写法大致是在options里加一行apiKey{ options: { baseURL: https://taotoken.net/api, apiKey: {env:TAOTOKEN_API_KEY} } }然后在 shell 里导出TAOTOKEN_API_KEY。这样一来auth.json可以只保留结构不写明文。两条路选一条就行别同时配两套否则哪天改了一处忘了另一处又得从头查。4.3 改完先自查这三个值在启动之前肉眼过一遍baseURL 是https://taotoken.net/api、没有多余后缀model是taotoken/gemma-4-31b-itauth.json里的键名和 provider 名字完全一致。第三点最容易被忽略两个文件里的名字只要有一个字母对不上表现就是明明填了 Key 却一直提示未授权。5. 启动 OpenCode验证 gemma-4-31b-it 和 small_model 都走通了5.1 先看模型列表再发第一条消息配置存盘后重启 OpenCode在会话里调出模型列表确认taotoken/gemma-4-31b-it出现在可选列表里。如果列表里只有旧的本地条目说明配置文件没被读到先检查路径和 JSON 语法——少一个逗号、多一个尾逗号都会让整份配置静默失效。接着发一条简单消息比如让它解释一段十几行的函数。这一步的目的不是测能力而是确认请求确实发出去了、确实回来了。5.2 把 small_model 也触发一次主模型跑通不代表小模型没问题。让它做一次需要压缩上下文或者生成标题的操作观察是否同样正常返回。如果主模型正常、小模型报错八成是small_model那行还写着旧的 provider 前缀。5.3 回控制台对一下账打开 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_end 的用量页面看看刚才那几次调用有没有被记录。有记录说明从 OpenCode 到通道这条链路完全通了没记录但对话正常那就要怀疑本地是不是还有别的缓存配置在生效。注意不要把模型对话页面里的输出当成唯一的验证依据用量记录能告诉你请求究竟是从哪台机器、哪把 Key 发出去的这对多机开发的人尤其有用。6. 对着这份配置排障401、404 和模型名6.1 一直提示未授权先看auth.json的键名是不是taotoken再看 Key 有没有多余空格或者被换行截断。从控制台复制出来的字符串粘到 JSON 里时前后带空白是很常见的事。如果用的是环境变量方案确认当前 shell 里确实导出了那个变量——很多终端重启之后就没了。6.2 走到 404八成是路径多了后缀原来接本地 vLLM 时写的是http://192.168.1.53:8000/v1习惯性在后面接着写/v1的人换成新地址时会顺手敲成https://taotoken.net/api/v1。这就会 404。把多余的/v1删掉只留https://taotoken.net/api。6.3 模型不存在的几种典型原因一是模型 ID 敲错了二是模型广场上确实还没有你要的那条三是配置文件里models的键名和model字段里斜杠后面的部分不一致。第三种最隐蔽因为两处看起来都像是对的只有对照着看才能发现差了一个字符。拿不准的时候回模型广场复制一遍。6.4 本地那台双卡 A6000 要不要留着可以留但不必强留。把它从 OpenCode 的日常链路里摘出去之后那台机器可以专门用来跑离线任务、做实验或者干脆停机省电。哪天你想再折腾 vLLM 和 Triton也应该是出于兴趣而不是因为 OpenCode 今天必须开工。7. 跑顺之后把这几件事接上配置改完、验证通过这套东西就算落地了。接下来更实际的问题是日常怎么用得舒服先在 TaoToken 模型对话 里用同一把 Key 发一条消息确认模型 ID 和参数没记错如果你打算把 OpenCode 当成主力写代码工具可以去看一眼 Coding Plan 的套餐是否够用需要再开一把 Key 给别的机器用时直接在 控制台 API Keys 创建就行。个人的体会是本地推理值得折腾但不值得在你想写代码的那天折腾。把 provider 指过来之后opencode.json里那行gemma-4-31b-it依旧原样躺在那里只是它背后的机器从机箱里搬到了通道另一端而你省下的是调 Triton 和 NCCL 的那几个晚上。