1. 先统一模型入口换 Harness 前必须锁定的 Base URL在 Pi、Prime、Deep Agents、Hermes 之间换 Harness 跑同一批 Agentic Tasks 时最先暴露的问题往往不是模型答错而是请求日志里的 token 对不上。为了把变量收敛我先把模型入口统一到 TaoTokenhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentharness-entryBase URL 填 https://taotoken.net/api再去 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentget-key 领取 Key。Composio 早前把 DeepSeek V4 Flash 分别放进 Pi Agent、Prime Agent、Deep Agents 和 Hermes Agent跑了同一批 30 个 Agentic TasksPi 在这组测试里通过率是 66.7%中位任务成本只有 0.012 美元。数字本身不是重点重点是它证明了一件事模型没换Harness 一换模型能看到的上下文、走过的工具路径、循环轮数和停止条件都会跟着变。对做 Harness 选型实验的开发者来说这意味着一开始就要把“模型入口”和“运行时行为”拆开。模型入口负责把请求送到正确的模型、记录 token、返回结构化响应Harness 负责决定每一轮塞多少历史、暴露哪些工具、什么时候压缩上下文、允不允许子 Agent 并行、失败后从哪里恢复。两者混在一起调最后根本说不清是模型能力变化还是 Harness 的上下文装配策略变了。Agent 从一次 LLM 调用长成完整 Harness过程并不神秘。最早只有一个输入到输出的函数模型不记得上一轮说过什么于是应用在前面拼上下文模型不能改文件、不能执行命令于是系统注册工具一次工具调用解决不了长任务于是出现 ReAct 式的 Thought、Action、Observation 循环完整历史塞不进窗口于是分出 Working Memory 和长期记忆循环开始写文件、跑命令、访问网络于是加权限、审批和沙箱一个循环不够并行于是派生拥有独立上下文和生命周期的子 Agent。每一层都是模型撞上边界后补出来的。当这些补丁多到一定程度它们就不会继续散落在应用代码里而是收拢成一个运行时层。Agent 决定下一步做什么Harness 决定这一步在什么上下文、什么权限、什么生命周期和什么持久化规则下发生。Pi、OpenCode、Codex、Hermes 共享 Agent Loop、Tool Calling 和 Context Assembly 这些基本能力但把成本花在了完全不同的位置。所以本节点的实验目标很明确固定模型入口固定任务集只切换 Harness产出多 Harness 请求日志、Token 消耗和通过率对照。入口统一方式就是 TaoToken 的 Key 加 Base URL。你可以在官网完成注册和 Key 领取https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentharness-register 。拿到 Key 后无论后面接 Claude Code、Codex 还是自研 Harness模型侧都走 https://taotoken.net/api 。2. 配置Claude Code、Codex、CC Switch 的模型入口先把三类常见客户端的入口配好后面跑对照实验才不会因为客户端差异污染日志。注意Claude Code 用 ANTHROPIC_* 系列环境变量Codex 用 config.toml两者不要混用尤其不要把 ANTHROPIC_* 塞进 Codex 配置。2.1 Claude Codesettings.json 与 ANTHROPIC_*Claude Code 常见做法是在 ~/.claude/settings.json 里写环境变量或者在 shell 里导出。推荐把配置写进 settings.json便于不同项目之间复制。{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_AUTH_TOKEN: YOUR_API_KEY, ANTHROPIC_MODEL: claude-sonnet-4-5-20250929, ANTHROPIC_SMALL_FAST_MODEL: claude-haiku-4-5-20251001 } }如果客户端版本读取的是 ANTHROPIC_API_KEY可以同时保留{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: YOUR_API_KEY, ANTHROPIC_AUTH_TOKEN: YOUR_API_KEY, ANTHROPIC_MODEL: claude-sonnet-4-5-20250929 } }保存后重启 Claude Code或者新开一个终端。验证时先跑一个最小请求claude --version claude 只回复 ok如果返回 401 或 403先检查 Key 是否复制完整再检查 Base URL 是否被客户端自动追加了多余路径。TaoToken 的 Base URL 是 https://taotoken.net/api 不要手写成带 /v1/chat/completions 的完整端点。模型 ID 如果报 404回到控制台确认当前 Key 可用的模型列表。控制台入口在这里https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentharness-keys 。2.2 Codexconfig.tomlCodex 不要用 ANTHROPIC_*。它读的是 config.toml通常位于 ~/.codex/config.toml。一个可用的供应商配置可以写成下面这样model gpt-5-codex model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY wire_api responses然后在 shell 里导出 Keyexport TAOTOKEN_API_KEYYOUR_API_KEY codex --version codex 只回复 ok如果你的 Codex 版本使用 chat completions 兼容模式把 wire_api 改成 chat 再试。关键点是 base_url 只填 https://taotoken.net/api env_key 指向环境变量名不要把真实 Key 写进仓库里的 config.toml。项目级配置可以放在仓库的 .codex/config.toml但 Key 仍然走环境变量或本地未跟踪文件。2.3 CC Switch 三件套供应商、Base URL、API Key如果你同时切 Claude Code 和 Codex手动改配置文件很容易把 ANTHROPIC_* 和 Codex 的 provider 配置搞混。CC Switch 这类切换工具的核心就是三件套配置项填什么供应商名称TaoTokenBase URLhttps://taotoken.net/apiAPI KeyYOUR_API_KEY切完供应商后重启对应客户端再跑一次最小请求。建议先把 Claude Code 和 Codex 分别验证通过再进入 Harness 对照实验。否则一旦日志里出现 401你分不清是 Harness 的调用方式有问题还是客户端切换后环境变量没生效。配置完成后建议用同一句话做一次冒烟测试例如“只回复 ok”。记录这次请求的耗时和 token作为后续对照的基线。3. 把 Harness 选型做成可复现实验日志字段、Token 统计与通过率Harness 选型最容易变成“感觉 Pi 更省”“感觉 Codex 更稳”。要可复现至少要把任务集、请求日志和统计口径固定下来。任务集可以沿用 Composio 那类 Agentic Tasks 思路选 30 个边界清晰、可自动判定的任务覆盖读文件、改代码、跑测试、查资料、多步修复等类型。每个 Harness 使用独立会话目录和独立 Key 配额避免缓存和会话恢复互相污染。模型侧统一走 TaoTokenBase URL 固定为 https://taotoken.net/api 。每次模型请求写一行 JSONL字段建议如下{harness:pi,task_id:repo-fix-001,turn:3,tool_calls:5,prompt_tokens:8123,completion_tokens:934,total_tokens:9057,elapsed_ms:42110,passed:true,notes:read write edit bash}一行代表一次采样不是整个任务。整个任务结束时再汇总一行{harness:pi,task_id:repo-fix-001,total_turns:7,total_tool_calls:13,total_tokens:28431,elapsed_ms:132400,passed:true}统计脚本可以直接在本地读 JSONL不需要连接任何生产数据库import json from collections import defaultdict from statistics import median runs defaultdict(list) with open(harness_runs.jsonl, encodingutf-8) as f: for line in f: row json.loads(line) runs[row[harness]].append(row) for harness, rows in runs.items(): total_tokens [r[total_tokens] for r in rows] passed [r for r in rows if r.get(passed)] avg_turns sum(r[total_turns] for r in rows) / len(rows) avg_tool_calls sum(r[total_tool_calls] for r in rows) / len(rows) print(harness, { runs: len(rows), pass_rate: round(len(passed) / len(rows), 4), median_tokens: median(total_tokens), avg_turns: round(avg_turns, 2), avg_tool_calls: round(avg_tool_calls, 2), })最终对照表可以长这样Harness通过率中位 Token平均轮数平均工具调用主要成本项Pi以日志为准以日志为准以日志为准以日志为准上下文装配、工具描述OpenCode以日志为准以日志为准以日志为准以日志为准事件投影、压缩、后台 AgentCodex以日志为准以日志为准以日志为准以日志为准审批、沙箱、线程生命周期Hermes以日志为准以日志为准以日志为准以日志为准记忆写入、检索、后台复习这里不要急着编数字。Composio 的数字只说明“换 Harness 会显著改变成本与通过率”Databricks 的内部基准也说明同一模型、同一推理强度换到更紧的 Harness 后质量可能基本不变单任务成本却能差出两倍以上。你自己的 30 个任务跑完日志才是选型依据。为了让日志可对比还要固定这些条件同一模型 ID、同一温度、同一最大步数、同一工具集、同一任务集、同一判定脚本。如果某个 Harness 默认开子 Agent就在日志里单独记录子 Agent 的 token如果它默认开启压缩就在 notes 里标记压缩发生轮次。这样后面分析时才能把 Token 消耗归因到具体机制而不是笼统地说“这个 Harness 贵”。4. 四套 Harness 的成本结构Pi、OpenCode、Codex、Hermes 分别把 Token 花在哪同一模型换 Harness 后Token 差异通常来自四件事每轮 Working Memory 多大、工具 schema 占多少、循环轮数多少、后台辅助调用多少。Pi、OpenCode、Codex、Hermes 正好代表四种取舍。4.1 Pi极简 Harness 把上下文压到最紧Pi 在 Composio 测评里完成得最多、花得最少核心原因是它尽量不让模型反复读无关内容。它默认只暴露 read、write、edit、bash 四个工具工具描述短动作空间窄。Resource Loader 在运行前装配当前会话启用的指令、Skills 和 Prompt TemplatesSession Manager 再用活动分支和 Compaction 把完整会话投影成更紧的 Working Memory。每轮请求携带的上下文更少历史噪声和工具说明也更少模型便能用更少 token、更少循环抵达结果。但极简也有代价。Pi 当前不内置限制文件系统、进程、网络或凭证访问的权限系统默认继承启动它的用户权限。把它放进高风险环境需要外部容器或沙箱补边界。选 Pi 做实验时日志里要重点看每轮 prompt_tokens 是否稳定、Compaction 触发后是否丢关键事实、工具调用失败后循环会不会停。4.2 OpenCode事件驱动让恢复能力变强也增加状态成本OpenCode 把一次 Assistant Message 拆成 Reasoning、Text、Tool、Step Start、Step Finish、Patch、Compaction 等 Part。用户看到的一段回复在存储层是一串有结构和生命周期的轨迹数据。Agent.Info 不只包含 Prompt还把模型、Mode、Permission、步数与生成参数放进同一个配置对象。Build 和 Plan 是主 AgentGeneral 和 Explore 是子 AgentCompaction、Title、Summary 是用户看不见的后台 Agent。这套设计的好处是 Session 可恢复、行为可审计、子 Agent 可隔离。Message 与 Part 更新会驱动 Projector把 Session、Message、Part 分别写进 SQLite。长会话接近上限时隐藏的 Compaction Agent 汇总较早历史旧工具输出可以被裁剪压缩摘要与近期消息再组成下一轮 Working Memory。成本也在这里Compaction、Title、Summary 会引入额外模型调用权限组合、事件顺序、数据库投影、压缩边界都需要维护。跑对照实验时OpenCode 的日志里要把后台 Agent 的 token 单独归集否则总 token 会看起来比前台循环高很多。4.3 Codex用线程生命周期和安全边界换可控性Codex 的模型入口配置走 config.toml运行时则围绕 Thread、Turn、Item 展开。Thread 承载可多轮持续的任务Turn 表示用户推动任务向前的一次过程Item 把模型消息、Reasoning、命令执行、文件修改、工具调用和审批拆成可观察单元。App Server 提供统一协议让不同客户端面对同一套任务生命周期、审批请求和流式事件。Thread Manager 维护活跃任务表按 Thread ID 找到正在跑的任务继续投递 Turn 与操作。任务离开内存后从 Thread Store 或 Rollout 装回历史重建可运行的 CodexThread。每次模型采样还有更短的执行现场源码中的 StepContext 会引用当前 TurnContext并捕获这一刻的环境、Capability Roots、Tool Router 与 AGENTS.md。代价是重。OpenBench 把同一模型放进多套 Coding Agent Harness 比较时Codex 的通过率不错但中位耗时和每个成功任务平均消耗的新 token 都处于偏重一档。线程生命周期、审批、沙箱、事件、持久化和恢复机制在短任务里会被算成额外开销在长任务里它们换来的可监督、可中断、可恢复、可并行才真正体现价值。4.4 Hermes把成本推到下一次任务Pi 关心眼前这次任务如何少花 Harness taxHermes 把问题推到下一次第二次遇到类似任务时能不能少走弯路这要求 Harness 不只保存聊天记录还要判断一次经历里哪些是稳定事实哪些是可复用流程哪些旧知识应该被新修正覆盖。PAST-Bench 用 26 个场景、204 个跨会话 Episode 测试这类能力。早期 Episode 留下偏好、流程或修正后续 Episode 清空当前上下文再测 Memory、Procedural Reuse、Information Gathering 和 Update。Hermes 的架构里前台 Agent Loop 解决当前任务Session Archive 留下原始经历Memory 和 Skills 分别承载稳定事实与可复用流程Background Review 决定哪些经验值得影响未来。短期看Hermes 的记忆写入、检索、整合和后台复习都会消耗模型调用Token 不一定低。长期看如果它真的减少了重复探索单位任务成本可能下降。做选型实验时Hermes 要跑跨会话任务不能只跑单次任务否则它的核心能力根本不会出现在日志里。5. 排障手册同一模型换 Harness 后的常见异常与定位顺序换 Harness 后报错先不要改模型按下面顺序排查。第一401 或 403。优先检查 Key 是否有效、是否复制完整、是否在对应客户端里生效。Claude Code 看 ANTHROPIC_AUTH_TOKEN 或 ANTHROPIC_API_KEYCodex 看 TAOTOKEN_API_KEY 环境变量和 config.toml 里的 env_key。CC Switch 用户确认三件套没有被旧配置覆盖。第二404 或 model not found。检查模型 ID 是否拼错检查当前 Key 是否有该模型权限。不要把一个客户端的模型 ID 直接复制到另一个客户端Claude Code、Codex 和自研 Harness 的模型名映射可能不同。第三工具调用格式漂移。早期 Agent 靠正则解析 Search[Wikipedia] 这类文本现在结构化 Tool Calling 要求工具名、调用 ID、参数都符合 schema。如果 Harness 输出的工具调用被模型包在解释文字里先收窄工具描述再检查 Tool Router 是否严格校验参数。第四上下文爆炸。如果 prompt_tokens 每轮快速上涨说明 Working Memory 没有裁剪或压缩策略不生效。Pi 看 Compaction 和活动分支OpenCode 看隐藏 Compaction Agent 是否触发Codex 看 Rollout 与当前上下文装配Hermes 看记忆检索条数是否过多。第五循环不停止。给每个任务设置最大轮数和最大工具调用数超限就标记失败并保存最后状态。否则一个 Harness 可能因为停止条件模糊把 token 烧在重复工具调用上。第六子 Agent 重复执行。检查父任务和子任务是否共享了同一份历史或者 Fork 后是否重新注入了完整父上下文。子 Agent 应该拥有独立上下文、工具运行时和生命周期只把状态与结果送回父任务。6. 从模型对话到 Coding Plan把实验接回日常开发Harness 选型不是一次性评测。模型会更新Harness 会改默认工具集压缩策略和记忆策略也会变。最稳的做法是保留一套固定任务集和 JSONL 日志每次只换一个变量要么换模型要么换 Harness要么换工具集。模型入口始终走 TaoToken 的 Base URL https://taotoken.net/api Key 从控制台统一管理。如果你想先确认模型在对话入口的表现可以从模型对话进入https://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentharness-chat 。把任务描述、工具路径和期望输出先在这里跑通再放进 Harness 里能减少很多配置噪声。要把实验中的 Harness 切换变成日常开发流先看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentharness-plan 。它适合需要长期在 Claude Code、Codex 或自研 Agent 里切换模型的场景。然后在 API Keys 页面创建或复制 Keyhttps://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentharness-keys 。Key 只放在本地环境变量或未跟踪的配置里不要提交到仓库。Claude Code 的完整环境变量与 settings.json 写法在https://taotoken.net/doc/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_contentharness-claudecode 。配置时记住Claude Code 用 ANTHROPIC_*Codex 用 config.toml两边不要混。最后回官网领取 Key 并开始你的多 Harness 对照https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentharness-final 。先统一模型入口再跑 30 个任务记录每一次请求的轮数、工具调用和 token。Pi 可能把上下文压到最紧OpenCode 把状态工程做厚Codex 用线程与安全边界换可控性Hermes 把成本推到下一次任务。选哪套不取决于谁的宣传更响而取决于你的真实环境更需要低成本、强恢复、强安全还是长期学习。模型决定下一步行动Harness 决定这一步能不能持续、可控、可复现地发生。
Composio 测评换 Harness，TaoToken 作为模型入口
1. 先统一模型入口换 Harness 前必须锁定的 Base URL在 Pi、Prime、Deep Agents、Hermes 之间换 Harness 跑同一批 Agentic Tasks 时最先暴露的问题往往不是模型答错而是请求日志里的 token 对不上。为了把变量收敛我先把模型入口统一到 TaoTokenhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentharness-entryBase URL 填 https://taotoken.net/api再去 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentget-key 领取 Key。Composio 早前把 DeepSeek V4 Flash 分别放进 Pi Agent、Prime Agent、Deep Agents 和 Hermes Agent跑了同一批 30 个 Agentic TasksPi 在这组测试里通过率是 66.7%中位任务成本只有 0.012 美元。数字本身不是重点重点是它证明了一件事模型没换Harness 一换模型能看到的上下文、走过的工具路径、循环轮数和停止条件都会跟着变。对做 Harness 选型实验的开发者来说这意味着一开始就要把“模型入口”和“运行时行为”拆开。模型入口负责把请求送到正确的模型、记录 token、返回结构化响应Harness 负责决定每一轮塞多少历史、暴露哪些工具、什么时候压缩上下文、允不允许子 Agent 并行、失败后从哪里恢复。两者混在一起调最后根本说不清是模型能力变化还是 Harness 的上下文装配策略变了。Agent 从一次 LLM 调用长成完整 Harness过程并不神秘。最早只有一个输入到输出的函数模型不记得上一轮说过什么于是应用在前面拼上下文模型不能改文件、不能执行命令于是系统注册工具一次工具调用解决不了长任务于是出现 ReAct 式的 Thought、Action、Observation 循环完整历史塞不进窗口于是分出 Working Memory 和长期记忆循环开始写文件、跑命令、访问网络于是加权限、审批和沙箱一个循环不够并行于是派生拥有独立上下文和生命周期的子 Agent。每一层都是模型撞上边界后补出来的。当这些补丁多到一定程度它们就不会继续散落在应用代码里而是收拢成一个运行时层。Agent 决定下一步做什么Harness 决定这一步在什么上下文、什么权限、什么生命周期和什么持久化规则下发生。Pi、OpenCode、Codex、Hermes 共享 Agent Loop、Tool Calling 和 Context Assembly 这些基本能力但把成本花在了完全不同的位置。所以本节点的实验目标很明确固定模型入口固定任务集只切换 Harness产出多 Harness 请求日志、Token 消耗和通过率对照。入口统一方式就是 TaoToken 的 Key 加 Base URL。你可以在官网完成注册和 Key 领取https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentharness-register 。拿到 Key 后无论后面接 Claude Code、Codex 还是自研 Harness模型侧都走 https://taotoken.net/api 。2. 配置Claude Code、Codex、CC Switch 的模型入口先把三类常见客户端的入口配好后面跑对照实验才不会因为客户端差异污染日志。注意Claude Code 用 ANTHROPIC_* 系列环境变量Codex 用 config.toml两者不要混用尤其不要把 ANTHROPIC_* 塞进 Codex 配置。2.1 Claude Codesettings.json 与 ANTHROPIC_*Claude Code 常见做法是在 ~/.claude/settings.json 里写环境变量或者在 shell 里导出。推荐把配置写进 settings.json便于不同项目之间复制。{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_AUTH_TOKEN: YOUR_API_KEY, ANTHROPIC_MODEL: claude-sonnet-4-5-20250929, ANTHROPIC_SMALL_FAST_MODEL: claude-haiku-4-5-20251001 } }如果客户端版本读取的是 ANTHROPIC_API_KEY可以同时保留{ env: { ANTHROPIC_BASE_URL: https://taotoken.net/api, ANTHROPIC_API_KEY: YOUR_API_KEY, ANTHROPIC_AUTH_TOKEN: YOUR_API_KEY, ANTHROPIC_MODEL: claude-sonnet-4-5-20250929 } }保存后重启 Claude Code或者新开一个终端。验证时先跑一个最小请求claude --version claude 只回复 ok如果返回 401 或 403先检查 Key 是否复制完整再检查 Base URL 是否被客户端自动追加了多余路径。TaoToken 的 Base URL 是 https://taotoken.net/api 不要手写成带 /v1/chat/completions 的完整端点。模型 ID 如果报 404回到控制台确认当前 Key 可用的模型列表。控制台入口在这里https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentharness-keys 。2.2 Codexconfig.tomlCodex 不要用 ANTHROPIC_*。它读的是 config.toml通常位于 ~/.codex/config.toml。一个可用的供应商配置可以写成下面这样model gpt-5-codex model_provider taotoken [model_providers.taotoken] name TaoToken base_url https://taotoken.net/api env_key TAOTOKEN_API_KEY wire_api responses然后在 shell 里导出 Keyexport TAOTOKEN_API_KEYYOUR_API_KEY codex --version codex 只回复 ok如果你的 Codex 版本使用 chat completions 兼容模式把 wire_api 改成 chat 再试。关键点是 base_url 只填 https://taotoken.net/api env_key 指向环境变量名不要把真实 Key 写进仓库里的 config.toml。项目级配置可以放在仓库的 .codex/config.toml但 Key 仍然走环境变量或本地未跟踪文件。2.3 CC Switch 三件套供应商、Base URL、API Key如果你同时切 Claude Code 和 Codex手动改配置文件很容易把 ANTHROPIC_* 和 Codex 的 provider 配置搞混。CC Switch 这类切换工具的核心就是三件套配置项填什么供应商名称TaoTokenBase URLhttps://taotoken.net/apiAPI KeyYOUR_API_KEY切完供应商后重启对应客户端再跑一次最小请求。建议先把 Claude Code 和 Codex 分别验证通过再进入 Harness 对照实验。否则一旦日志里出现 401你分不清是 Harness 的调用方式有问题还是客户端切换后环境变量没生效。配置完成后建议用同一句话做一次冒烟测试例如“只回复 ok”。记录这次请求的耗时和 token作为后续对照的基线。3. 把 Harness 选型做成可复现实验日志字段、Token 统计与通过率Harness 选型最容易变成“感觉 Pi 更省”“感觉 Codex 更稳”。要可复现至少要把任务集、请求日志和统计口径固定下来。任务集可以沿用 Composio 那类 Agentic Tasks 思路选 30 个边界清晰、可自动判定的任务覆盖读文件、改代码、跑测试、查资料、多步修复等类型。每个 Harness 使用独立会话目录和独立 Key 配额避免缓存和会话恢复互相污染。模型侧统一走 TaoTokenBase URL 固定为 https://taotoken.net/api 。每次模型请求写一行 JSONL字段建议如下{harness:pi,task_id:repo-fix-001,turn:3,tool_calls:5,prompt_tokens:8123,completion_tokens:934,total_tokens:9057,elapsed_ms:42110,passed:true,notes:read write edit bash}一行代表一次采样不是整个任务。整个任务结束时再汇总一行{harness:pi,task_id:repo-fix-001,total_turns:7,total_tool_calls:13,total_tokens:28431,elapsed_ms:132400,passed:true}统计脚本可以直接在本地读 JSONL不需要连接任何生产数据库import json from collections import defaultdict from statistics import median runs defaultdict(list) with open(harness_runs.jsonl, encodingutf-8) as f: for line in f: row json.loads(line) runs[row[harness]].append(row) for harness, rows in runs.items(): total_tokens [r[total_tokens] for r in rows] passed [r for r in rows if r.get(passed)] avg_turns sum(r[total_turns] for r in rows) / len(rows) avg_tool_calls sum(r[total_tool_calls] for r in rows) / len(rows) print(harness, { runs: len(rows), pass_rate: round(len(passed) / len(rows), 4), median_tokens: median(total_tokens), avg_turns: round(avg_turns, 2), avg_tool_calls: round(avg_tool_calls, 2), })最终对照表可以长这样Harness通过率中位 Token平均轮数平均工具调用主要成本项Pi以日志为准以日志为准以日志为准以日志为准上下文装配、工具描述OpenCode以日志为准以日志为准以日志为准以日志为准事件投影、压缩、后台 AgentCodex以日志为准以日志为准以日志为准以日志为准审批、沙箱、线程生命周期Hermes以日志为准以日志为准以日志为准以日志为准记忆写入、检索、后台复习这里不要急着编数字。Composio 的数字只说明“换 Harness 会显著改变成本与通过率”Databricks 的内部基准也说明同一模型、同一推理强度换到更紧的 Harness 后质量可能基本不变单任务成本却能差出两倍以上。你自己的 30 个任务跑完日志才是选型依据。为了让日志可对比还要固定这些条件同一模型 ID、同一温度、同一最大步数、同一工具集、同一任务集、同一判定脚本。如果某个 Harness 默认开子 Agent就在日志里单独记录子 Agent 的 token如果它默认开启压缩就在 notes 里标记压缩发生轮次。这样后面分析时才能把 Token 消耗归因到具体机制而不是笼统地说“这个 Harness 贵”。4. 四套 Harness 的成本结构Pi、OpenCode、Codex、Hermes 分别把 Token 花在哪同一模型换 Harness 后Token 差异通常来自四件事每轮 Working Memory 多大、工具 schema 占多少、循环轮数多少、后台辅助调用多少。Pi、OpenCode、Codex、Hermes 正好代表四种取舍。4.1 Pi极简 Harness 把上下文压到最紧Pi 在 Composio 测评里完成得最多、花得最少核心原因是它尽量不让模型反复读无关内容。它默认只暴露 read、write、edit、bash 四个工具工具描述短动作空间窄。Resource Loader 在运行前装配当前会话启用的指令、Skills 和 Prompt TemplatesSession Manager 再用活动分支和 Compaction 把完整会话投影成更紧的 Working Memory。每轮请求携带的上下文更少历史噪声和工具说明也更少模型便能用更少 token、更少循环抵达结果。但极简也有代价。Pi 当前不内置限制文件系统、进程、网络或凭证访问的权限系统默认继承启动它的用户权限。把它放进高风险环境需要外部容器或沙箱补边界。选 Pi 做实验时日志里要重点看每轮 prompt_tokens 是否稳定、Compaction 触发后是否丢关键事实、工具调用失败后循环会不会停。4.2 OpenCode事件驱动让恢复能力变强也增加状态成本OpenCode 把一次 Assistant Message 拆成 Reasoning、Text、Tool、Step Start、Step Finish、Patch、Compaction 等 Part。用户看到的一段回复在存储层是一串有结构和生命周期的轨迹数据。Agent.Info 不只包含 Prompt还把模型、Mode、Permission、步数与生成参数放进同一个配置对象。Build 和 Plan 是主 AgentGeneral 和 Explore 是子 AgentCompaction、Title、Summary 是用户看不见的后台 Agent。这套设计的好处是 Session 可恢复、行为可审计、子 Agent 可隔离。Message 与 Part 更新会驱动 Projector把 Session、Message、Part 分别写进 SQLite。长会话接近上限时隐藏的 Compaction Agent 汇总较早历史旧工具输出可以被裁剪压缩摘要与近期消息再组成下一轮 Working Memory。成本也在这里Compaction、Title、Summary 会引入额外模型调用权限组合、事件顺序、数据库投影、压缩边界都需要维护。跑对照实验时OpenCode 的日志里要把后台 Agent 的 token 单独归集否则总 token 会看起来比前台循环高很多。4.3 Codex用线程生命周期和安全边界换可控性Codex 的模型入口配置走 config.toml运行时则围绕 Thread、Turn、Item 展开。Thread 承载可多轮持续的任务Turn 表示用户推动任务向前的一次过程Item 把模型消息、Reasoning、命令执行、文件修改、工具调用和审批拆成可观察单元。App Server 提供统一协议让不同客户端面对同一套任务生命周期、审批请求和流式事件。Thread Manager 维护活跃任务表按 Thread ID 找到正在跑的任务继续投递 Turn 与操作。任务离开内存后从 Thread Store 或 Rollout 装回历史重建可运行的 CodexThread。每次模型采样还有更短的执行现场源码中的 StepContext 会引用当前 TurnContext并捕获这一刻的环境、Capability Roots、Tool Router 与 AGENTS.md。代价是重。OpenBench 把同一模型放进多套 Coding Agent Harness 比较时Codex 的通过率不错但中位耗时和每个成功任务平均消耗的新 token 都处于偏重一档。线程生命周期、审批、沙箱、事件、持久化和恢复机制在短任务里会被算成额外开销在长任务里它们换来的可监督、可中断、可恢复、可并行才真正体现价值。4.4 Hermes把成本推到下一次任务Pi 关心眼前这次任务如何少花 Harness taxHermes 把问题推到下一次第二次遇到类似任务时能不能少走弯路这要求 Harness 不只保存聊天记录还要判断一次经历里哪些是稳定事实哪些是可复用流程哪些旧知识应该被新修正覆盖。PAST-Bench 用 26 个场景、204 个跨会话 Episode 测试这类能力。早期 Episode 留下偏好、流程或修正后续 Episode 清空当前上下文再测 Memory、Procedural Reuse、Information Gathering 和 Update。Hermes 的架构里前台 Agent Loop 解决当前任务Session Archive 留下原始经历Memory 和 Skills 分别承载稳定事实与可复用流程Background Review 决定哪些经验值得影响未来。短期看Hermes 的记忆写入、检索、整合和后台复习都会消耗模型调用Token 不一定低。长期看如果它真的减少了重复探索单位任务成本可能下降。做选型实验时Hermes 要跑跨会话任务不能只跑单次任务否则它的核心能力根本不会出现在日志里。5. 排障手册同一模型换 Harness 后的常见异常与定位顺序换 Harness 后报错先不要改模型按下面顺序排查。第一401 或 403。优先检查 Key 是否有效、是否复制完整、是否在对应客户端里生效。Claude Code 看 ANTHROPIC_AUTH_TOKEN 或 ANTHROPIC_API_KEYCodex 看 TAOTOKEN_API_KEY 环境变量和 config.toml 里的 env_key。CC Switch 用户确认三件套没有被旧配置覆盖。第二404 或 model not found。检查模型 ID 是否拼错检查当前 Key 是否有该模型权限。不要把一个客户端的模型 ID 直接复制到另一个客户端Claude Code、Codex 和自研 Harness 的模型名映射可能不同。第三工具调用格式漂移。早期 Agent 靠正则解析 Search[Wikipedia] 这类文本现在结构化 Tool Calling 要求工具名、调用 ID、参数都符合 schema。如果 Harness 输出的工具调用被模型包在解释文字里先收窄工具描述再检查 Tool Router 是否严格校验参数。第四上下文爆炸。如果 prompt_tokens 每轮快速上涨说明 Working Memory 没有裁剪或压缩策略不生效。Pi 看 Compaction 和活动分支OpenCode 看隐藏 Compaction Agent 是否触发Codex 看 Rollout 与当前上下文装配Hermes 看记忆检索条数是否过多。第五循环不停止。给每个任务设置最大轮数和最大工具调用数超限就标记失败并保存最后状态。否则一个 Harness 可能因为停止条件模糊把 token 烧在重复工具调用上。第六子 Agent 重复执行。检查父任务和子任务是否共享了同一份历史或者 Fork 后是否重新注入了完整父上下文。子 Agent 应该拥有独立上下文、工具运行时和生命周期只把状态与结果送回父任务。6. 从模型对话到 Coding Plan把实验接回日常开发Harness 选型不是一次性评测。模型会更新Harness 会改默认工具集压缩策略和记忆策略也会变。最稳的做法是保留一套固定任务集和 JSONL 日志每次只换一个变量要么换模型要么换 Harness要么换工具集。模型入口始终走 TaoToken 的 Base URL https://taotoken.net/api Key 从控制台统一管理。如果你想先确认模型在对话入口的表现可以从模型对话进入https://taotoken.net/models/detail/chat?utm_sourcetaotoken_aicg_blog_endutm_contentharness-chat 。把任务描述、工具路径和期望输出先在这里跑通再放进 Harness 里能减少很多配置噪声。要把实验中的 Harness 切换变成日常开发流先看 Coding Planhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentharness-plan 。它适合需要长期在 Claude Code、Codex 或自研 Agent 里切换模型的场景。然后在 API Keys 页面创建或复制 Keyhttps://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentharness-keys 。Key 只放在本地环境变量或未跟踪的配置里不要提交到仓库。Claude Code 的完整环境变量与 settings.json 写法在https://taotoken.net/doc/ClaudeCodeAnthropic?utm_sourcetaotoken_aicg_blog_endutm_contentharness-claudecode 。配置时记住Claude Code 用 ANTHROPIC_*Codex 用 config.toml两边不要混。最后回官网领取 Key 并开始你的多 Harness 对照https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_contentharness-final 。先统一模型入口再跑 30 个任务记录每一次请求的轮数、工具调用和 token。Pi 可能把上下文压到最紧OpenCode 把状态工程做厚Codex 用线程与安全边界换可控性Hermes 把成本推到下一次任务。选哪套不取决于谁的宣传更响而取决于你的真实环境更需要低成本、强恢复、强安全还是长期学习。模型决定下一步行动Harness 决定这一步能不能持续、可控、可复现地发生。
