Weave Router辅助推理三兄弟标题生成、分类器与probe的turn-type硬固定【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/routerWeave Router 是一个面向 Agent 系统的模型路由器把 Claude Code、Codex 等客户端发来的每个 prompt 在 50ms 内路由到最合适的模型只需改一个 endpoint 就能砍掉 40-70% 的推理成本。但 Agent 客户端除了正经对话外还会偷偷发起三类辅助推理小请求——标题生成TitleGen、分类器Classifier、quota 探测Probe。Weave Router 通过turn-type 硬固定hard pin机制把这三兄弟钉死在便宜模型上既省钱又避免污染路由决策。为什么需要辅助推理三兄弟的专门处理Claude Code、Codex 这类 harness 在正常工作之外会额外发起三类机器回合️标题生成TitleGen侧边栏会话标题输出形如{title: ...}️分类器Classifier安全监控等短文本分类调用如 Claude Code 的 security monitorProbe 探测max_tokens1~4的额度/存活检查如果这三类请求走正常路由嵌入打分 会话锚定会发生两个问题浪费成本——这些任务根本不需要旗舰模型用便宜模型绰绰有余污染决策——标题请求和真实对话往往只相隔约 25ms若锚定一个 session pin会把便宜模型的决策泄漏进紧接着的真实对话。所以 Weave Router 在internal/router/turntype/detect.go中把它们定义为独立的 turn type并硬固定到便宜模型、同时跳过 session-pin 创建。turn-type 检测指南如何识别三种机器回合核心入口是DetectFromEnvelope它按信号最具体、影响最大者优先的顺序做保守匹配——漏判回落到MainLoop是安全的误判才危险因此每条规则都刻意收紧1️⃣ Probe 探测max_tokens ≤ 4最直白的信号只要max_tokens落在 1~4 区间就判定为 quota 探测完全绕过路由直发便宜模型见isProbe。2️⃣ 标题生成 TitleGen无工具 标题 JSON Schema判定条件请求不带工具且响应格式要求返回{title: ...}的 JSON SchemaisTitleGen。Claude Code 靠标题 schema 识别Codex 的标题请求仅在 Responses 入口上可信并匹配其标题 schema 或 Conductor 隐藏会话提示词指纹。3️⃣ 分类器 Classifier无工具 小 token 预算 短消息三条同时满足才判定isClassifierHasTools false真实 Claude Code 回合永远带工具注册表max_tokens ≤ 256message_count ≤ 3刻意收紧的阈值确保不会把真实对话误钉死。硬固定hard pin把三兄弟钉死在便宜模型上检测只是第一步硬固定才是省钱的关键。在internal/proxy/turnloop.go的isHardPinnedTurn中Compaction、Probe、TitleGen、Classifier四类 turn type 全部返回true意味着跳过簇评分器不走嵌入打分直接由部署级便宜模型接管跳过 session-pin 创建避免把便宜模型决策锚定到真实会话utilityPurposes映射表 把它们对应到inference.Purpose。三类辅助推理的语义用途常量定义在internal/inference/request.goturn type对应 Purpose典型场景title_genPurposeTitleGenerationClaude Code 侧边栏标题classifierPurposeClassifier安全监控分类probePurposeProbequota/存活探测一个小细节用户的强制模型指令force model优先级高于硬固定。即使用户手动指定了昂贵模型硬固定路径也不会强行覆盖——这在force_model_exclusions_internal_test.go中有明确契约。对普通用户意味着什么零配置省钱三兄弟自动落到便宜模型无需任何环境变量账单不掺水这类 router 主动发起的调用会以router.auxiliary_inferencespan 类型单独记账见internal/proxy/auxiliary_inference.go不会和真实对话混在一起会话成本统计保持准确可观测通过GET /v1/route可以只看不转发地预览路由决策确认硬固定是否生效可分析原始路由决策可通过 Analytics 导出 拉到自己的数仓按span_type区分辅助调用与真实回合。延伸阅读与相关文件术语规范session/round/turn/action/stepdocs/SEMANTICS.md推理边界契约docs/INFERENCE_BOUNDARY.mdturn-type 分类器源码internal/router/turntype/detect.go硬固定与用途映射internal/proxy/turnloop.go辅助推理记账internal/proxy/auxiliary_inference.goWeave Router 用一套极窄的启发式规则 部署级硬固定把 Agent 客户端顺手发起的三类机器回合从昂贵路由中剥离出来——这正是它能做到每个 prompt 路由到对的模型的同时把成本压下去 40-70% 的关键细节之一。【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/router创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
Weave Router辅助推理三兄弟：标题生成、分类器与probe的turn-type硬固定
Weave Router辅助推理三兄弟标题生成、分类器与probe的turn-type硬固定【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/routerWeave Router 是一个面向 Agent 系统的模型路由器把 Claude Code、Codex 等客户端发来的每个 prompt 在 50ms 内路由到最合适的模型只需改一个 endpoint 就能砍掉 40-70% 的推理成本。但 Agent 客户端除了正经对话外还会偷偷发起三类辅助推理小请求——标题生成TitleGen、分类器Classifier、quota 探测Probe。Weave Router 通过turn-type 硬固定hard pin机制把这三兄弟钉死在便宜模型上既省钱又避免污染路由决策。为什么需要辅助推理三兄弟的专门处理Claude Code、Codex 这类 harness 在正常工作之外会额外发起三类机器回合️标题生成TitleGen侧边栏会话标题输出形如{title: ...}️分类器Classifier安全监控等短文本分类调用如 Claude Code 的 security monitorProbe 探测max_tokens1~4的额度/存活检查如果这三类请求走正常路由嵌入打分 会话锚定会发生两个问题浪费成本——这些任务根本不需要旗舰模型用便宜模型绰绰有余污染决策——标题请求和真实对话往往只相隔约 25ms若锚定一个 session pin会把便宜模型的决策泄漏进紧接着的真实对话。所以 Weave Router 在internal/router/turntype/detect.go中把它们定义为独立的 turn type并硬固定到便宜模型、同时跳过 session-pin 创建。turn-type 检测指南如何识别三种机器回合核心入口是DetectFromEnvelope它按信号最具体、影响最大者优先的顺序做保守匹配——漏判回落到MainLoop是安全的误判才危险因此每条规则都刻意收紧1️⃣ Probe 探测max_tokens ≤ 4最直白的信号只要max_tokens落在 1~4 区间就判定为 quota 探测完全绕过路由直发便宜模型见isProbe。2️⃣ 标题生成 TitleGen无工具 标题 JSON Schema判定条件请求不带工具且响应格式要求返回{title: ...}的 JSON SchemaisTitleGen。Claude Code 靠标题 schema 识别Codex 的标题请求仅在 Responses 入口上可信并匹配其标题 schema 或 Conductor 隐藏会话提示词指纹。3️⃣ 分类器 Classifier无工具 小 token 预算 短消息三条同时满足才判定isClassifierHasTools false真实 Claude Code 回合永远带工具注册表max_tokens ≤ 256message_count ≤ 3刻意收紧的阈值确保不会把真实对话误钉死。硬固定hard pin把三兄弟钉死在便宜模型上检测只是第一步硬固定才是省钱的关键。在internal/proxy/turnloop.go的isHardPinnedTurn中Compaction、Probe、TitleGen、Classifier四类 turn type 全部返回true意味着跳过簇评分器不走嵌入打分直接由部署级便宜模型接管跳过 session-pin 创建避免把便宜模型决策锚定到真实会话utilityPurposes映射表 把它们对应到inference.Purpose。三类辅助推理的语义用途常量定义在internal/inference/request.goturn type对应 Purpose典型场景title_genPurposeTitleGenerationClaude Code 侧边栏标题classifierPurposeClassifier安全监控分类probePurposeProbequota/存活探测一个小细节用户的强制模型指令force model优先级高于硬固定。即使用户手动指定了昂贵模型硬固定路径也不会强行覆盖——这在force_model_exclusions_internal_test.go中有明确契约。对普通用户意味着什么零配置省钱三兄弟自动落到便宜模型无需任何环境变量账单不掺水这类 router 主动发起的调用会以router.auxiliary_inferencespan 类型单独记账见internal/proxy/auxiliary_inference.go不会和真实对话混在一起会话成本统计保持准确可观测通过GET /v1/route可以只看不转发地预览路由决策确认硬固定是否生效可分析原始路由决策可通过 Analytics 导出 拉到自己的数仓按span_type区分辅助调用与真实回合。延伸阅读与相关文件术语规范session/round/turn/action/stepdocs/SEMANTICS.md推理边界契约docs/INFERENCE_BOUNDARY.mdturn-type 分类器源码internal/router/turntype/detect.go硬固定与用途映射internal/proxy/turnloop.go辅助推理记账internal/proxy/auxiliary_inference.goWeave Router 用一套极窄的启发式规则 部署级硬固定把 Agent 客户端顺手发起的三类机器回合从昂贵路由中剥离出来——这正是它能做到每个 prompt 路由到对的模型的同时把成本压下去 40-70% 的关键细节之一。【免费下载链接】routerModel router for agentic systems. Routes every prompt to the right model in 50ms. Cut costs 40-70% with just an endpoint change.项目地址: https://gitcode.com/GitHub_Trending/router101/router创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
