告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度1. 先把目标说清楚50 条 easy 题、一份采样参数、一把 KeyDeepSeek-V3 出现在 LiveCodeBench 的公开榜单上之后很多人的第一反应是「它到底能不能稳定复现」。LiveCodeBench 的定位和 HumanEval 那类固定题库不太一样它按时间切分题目用竞赛平台的真实提交做判题覆盖 AtCoder、Codeforces、LeetCode 三个来源难度分 easy / medium / hard。公开榜给的是聚合后的分数你看不到每条题目的生成细节所以想验证「同一模型、同一参数、同一批题」到底能跑出什么结果只能自己在本地搭一条链路。这篇要做的就是把这条链路搭出来从 LiveCodeBench 官方仓库取 50 条 easy 题目固定一份采样参数用同一把 Key 通过 TaoToken 的 API 出口批量调用 DeepSeek-V3最后把本地 pass1 和公开榜条目放在一起对照差异处标清楚复现条件。适合已经跑过基础推理脚本、想进一步做批量评测的人如果你还没写过一次 API 调用建议先把单条请求跑通再回来。核心词先摆出来DeepSeek-V3 是模型LiveCodeBench 是评测集TaoToken 在这里的角色是统一 API 出口——评测脚本只认一个 Base URL 和一把 Key不用为每个供应商单独配一套环境变量。产物是一份可复现的目录结构、一个批量生成脚本、一份本地结果表以及和公开榜的差异说明。2. 子集清单从官方仓库取 50 条 easy 题LiveCodeBench 的数据通过它自己的 Python 包分发题目、测试用例、时间戳都在里面。先装环境python -m venv lcb-env source lcb-env/bin/activate pip install livecodebench datasets拉数据的时候注意版本LiveCodeBench 会持续更新题目不同 release 的题集不一样。下面这段把 easy 难度、指定时间窗内的题目筛出来取前 50 条存成 JSONLfrom livecodebench import load_dataset import json ds load_dataset(livecodebench/code_generation_lite, splittest) easy [x for x in ds if x[difficulty] easy] subset easy[:50] with open(lcb_easy_50.jsonl, w) as f: for item in subset: f.write(json.dumps({ question_id: item[question_id], title: item[question_title], content: item[question_content], platform: item[platform], contest_date: item[contest_date], starter_code: item.get(starter_code, ), public_tests: item.get(public_test_cases, []), }, ensure_asciiFalse) \n) print(len(subset), 题已写入)跑完你会得到 50 行 JSONL每行一道题。这里有个容易踩的坑public_test_cases是公开样例真正判分要用隐藏用例本地复现时如果只跑公开样例pass1 会偏高。所以下面的脚本里我把判题分成两层——先用公开样例做快速自检再用官方评测入口跑完整判题。子集清单建议单独存一份元信息方便后面和公开榜对照字段说明question_id官方唯一 ID对照榜条目时用platformatcoder / codeforces / leetcodecontest_date题目所属比赛日期决定时间窗difficulty全部为 easy数量503. 评测脚本同一把 Key 调 DeepSeek-V33.1 采样参数固定下来批量生成最怕参数漂移。温度、top_p、max_tokens、stop 这些每次请求都要显式传不要依赖服务端默认值。我用的这份SAMPLING { model: deepseek-v3, temperature: 0.2, top_p: 0.95, max_tokens: 2048, n: 1, }温度 0.2 是为了降低随机性方便复现n1表示每题只生成一次pass1 就是「这一次是否通过」。如果你要算 passk把 n 调大再按无偏估计公式算但那样请求量会翻倍成本要提前算。3.2 批量生成主脚本import json, os, time from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api, ) SAMPLING { model: deepseek-v3, temperature: 0.2, top_p: 0.95, max_tokens: 2048, } PROMPT_TMPL You are solving a competitive programming problem. Read the statement and write a complete Python solution. Output only the code, no explanation. {content} def gen_one(item): resp client.chat.completions.create( messages[{role: user, content: PROMPT_TMPL.format(contentitem[content])}], **SAMPLING, ) return resp.choices[0].message.content results [] with open(lcb_easy_50.jsonl) as f: items [json.loads(line) for line in f] for i, item in enumerate(items): try: code gen_one(item) results.append({question_id: item[question_id], code: code, status: ok}) except Exception as e: results.append({question_id: item[question_id], code: , status: ferror: {e}}) time.sleep(0.5) with open(gen_results.jsonl, w) as f: for r in results: f.write(json.dumps(r, ensure_asciiFalse) \n)time.sleep(0.5)是给批量请求留一点间隔避免瞬时并发过高。50 条题跑下来大概几分钟取决于单条生成长度。3.3 判题与 pass1 计算生成完的代码要过判题。LiveCodeBench 官方提供了评测入口把生成结果按它的格式喂进去from livecodebench.evaluate import evaluate_generations evaluate_generations( generations_filegen_results.jsonl, datasetlivecodebench/code_generation_lite, splittest, num_process_evaluate4, timeout6, )跑完会输出每题通过情况和整体 pass1。如果你只想快速看公开样例可以自己写个轻量判题但记住那个数字不能直接和公开榜比。4. TaoToken 接入与配置4.1 拿 Key到官网创建 Keyhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_generateutm_mediumcsdnutm_campaigngenerateutm_content 登录后在控制台里生成。Key 只显示一次复制后立刻存进环境变量export TAOTOKEN_API_KEYsk-你的key不要写进脚本硬编码也不要提交到仓库。评测脚本里用os.environ读换机器时只改环境变量。4.2 Base URL 与模型名脚本里的 Base URL 填https://taotoken.net/api这是 OpenAI 兼容格式的入口openaiSDK 直接能用。模型名按控制台里列出的写本文用的是deepseek-v3。如果你在控制台看到的是带版本后缀的名字以控制台为准。配置检查清单项值Base URLhttps://taotoken.net/apiAPI Key环境变量 TAOTOKEN_API_KEY模型名deepseek-v3以控制台为准SDKopenai 1.0采样参数temperature 0.2 / top_p 0.95 / max_tokens 20484.3 先跑一条冒烟测试批量之前先单条验证确认 Key、Base URL、模型名都对from openai import OpenAI import os client OpenAI(api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api) r client.chat.completions.create( modeldeepseek-v3, messages[{role: user, content: 写一个 Python 函数返回两数之和}], temperature0.2, ) print(r.choices[0].message.content)能正常返回就说明链路通了再跑 50 条批量。这一步能省掉很多「批量跑到一半才发现 Key 错了」的时间。5. 可验证结果与失败分支5.1 本地 pass1 与公开榜对照跑完 50 条 easy 题你会得到一份本地结果。下面这张表是结构示例具体数字以你自己跑出来的为准——本文不含排行分数因为公开榜的聚合口径和本地 50 条子集不是一回事来源题量难度采样参数pass1本地复现50easytemp 0.2 / top_p 0.95以实际输出为准公开榜条目全量分难度聚合榜方口径见榜方页面对照时要注意三个差异点第一公开榜通常跑全量题集本地只取 50 条 easy题目分布不同第二榜方的采样参数温度、n、判题超时可能和你的不一样第三判题环境Python 版本、依赖库会影响结果。所以本地数字和榜上数字有差距是正常的关键是把复现条件写清楚。5.2 常见失败分支批量跑的时候会遇到几类问题提前知道怎么处理生成阶段报 401说明 Key 没读到或写错了检查echo $TAOTOKEN_API_KEY是否有值。报 404多半是模型名写错去控制台核对。报 429是请求频率触发了限流把time.sleep调大或者降低并发。判题阶段全部超时检查timeout参数竞赛题有些输入规模大6 秒不一定够。部分题报 import 错误是生成代码用了环境里没有的库这类题在本地算失败但公开榜的判题环境可能装了属于复现条件差异。还有一种情况是生成代码为空通常是max_tokens太小被截断调到 2048 以上再试。5.3 成本与模型选择50 条题、每题一次生成、平均输出 500 token 左右总输出量大概 2.5 万 token输入量取决于题目长度。这个量级用 TaoToken 跑一次成本很低适合反复调参。如果你要算 passk请求量按 k 倍增长先小批量试再放大。模型选择上DeepSeek-V3 在代码生成任务里表现稳定适合做这类批量评测。如果你要对比其他模型把SAMPLING里的model换掉其他脚本不用动——这正是统一 API 出口的好处换模型不用换供应商配置。具体可用模型列表和计费以官网为准https://taotoken.net/?utm_sourcetaotoken_aicg_blog_generateutm_mediumcsdnutm_campaigngenerateutm_content 。最后留一个实用技巧把每次跑的SAMPLING、题目子集 ID、生成结果、判题结果一起存进一个 run 目录命名带上日期。这样过几天想复现某个数字直接翻目录就行不用回忆当时改了什么参数。 告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度
DeepSeek-V3 上了 LiveCodeBench：用 TaoToken 复现同一把 Key 的跑分链路
告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度1. 先把目标说清楚50 条 easy 题、一份采样参数、一把 KeyDeepSeek-V3 出现在 LiveCodeBench 的公开榜单上之后很多人的第一反应是「它到底能不能稳定复现」。LiveCodeBench 的定位和 HumanEval 那类固定题库不太一样它按时间切分题目用竞赛平台的真实提交做判题覆盖 AtCoder、Codeforces、LeetCode 三个来源难度分 easy / medium / hard。公开榜给的是聚合后的分数你看不到每条题目的生成细节所以想验证「同一模型、同一参数、同一批题」到底能跑出什么结果只能自己在本地搭一条链路。这篇要做的就是把这条链路搭出来从 LiveCodeBench 官方仓库取 50 条 easy 题目固定一份采样参数用同一把 Key 通过 TaoToken 的 API 出口批量调用 DeepSeek-V3最后把本地 pass1 和公开榜条目放在一起对照差异处标清楚复现条件。适合已经跑过基础推理脚本、想进一步做批量评测的人如果你还没写过一次 API 调用建议先把单条请求跑通再回来。核心词先摆出来DeepSeek-V3 是模型LiveCodeBench 是评测集TaoToken 在这里的角色是统一 API 出口——评测脚本只认一个 Base URL 和一把 Key不用为每个供应商单独配一套环境变量。产物是一份可复现的目录结构、一个批量生成脚本、一份本地结果表以及和公开榜的差异说明。2. 子集清单从官方仓库取 50 条 easy 题LiveCodeBench 的数据通过它自己的 Python 包分发题目、测试用例、时间戳都在里面。先装环境python -m venv lcb-env source lcb-env/bin/activate pip install livecodebench datasets拉数据的时候注意版本LiveCodeBench 会持续更新题目不同 release 的题集不一样。下面这段把 easy 难度、指定时间窗内的题目筛出来取前 50 条存成 JSONLfrom livecodebench import load_dataset import json ds load_dataset(livecodebench/code_generation_lite, splittest) easy [x for x in ds if x[difficulty] easy] subset easy[:50] with open(lcb_easy_50.jsonl, w) as f: for item in subset: f.write(json.dumps({ question_id: item[question_id], title: item[question_title], content: item[question_content], platform: item[platform], contest_date: item[contest_date], starter_code: item.get(starter_code, ), public_tests: item.get(public_test_cases, []), }, ensure_asciiFalse) \n) print(len(subset), 题已写入)跑完你会得到 50 行 JSONL每行一道题。这里有个容易踩的坑public_test_cases是公开样例真正判分要用隐藏用例本地复现时如果只跑公开样例pass1 会偏高。所以下面的脚本里我把判题分成两层——先用公开样例做快速自检再用官方评测入口跑完整判题。子集清单建议单独存一份元信息方便后面和公开榜对照字段说明question_id官方唯一 ID对照榜条目时用platformatcoder / codeforces / leetcodecontest_date题目所属比赛日期决定时间窗difficulty全部为 easy数量503. 评测脚本同一把 Key 调 DeepSeek-V33.1 采样参数固定下来批量生成最怕参数漂移。温度、top_p、max_tokens、stop 这些每次请求都要显式传不要依赖服务端默认值。我用的这份SAMPLING { model: deepseek-v3, temperature: 0.2, top_p: 0.95, max_tokens: 2048, n: 1, }温度 0.2 是为了降低随机性方便复现n1表示每题只生成一次pass1 就是「这一次是否通过」。如果你要算 passk把 n 调大再按无偏估计公式算但那样请求量会翻倍成本要提前算。3.2 批量生成主脚本import json, os, time from openai import OpenAI client OpenAI( api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api, ) SAMPLING { model: deepseek-v3, temperature: 0.2, top_p: 0.95, max_tokens: 2048, } PROMPT_TMPL You are solving a competitive programming problem. Read the statement and write a complete Python solution. Output only the code, no explanation. {content} def gen_one(item): resp client.chat.completions.create( messages[{role: user, content: PROMPT_TMPL.format(contentitem[content])}], **SAMPLING, ) return resp.choices[0].message.content results [] with open(lcb_easy_50.jsonl) as f: items [json.loads(line) for line in f] for i, item in enumerate(items): try: code gen_one(item) results.append({question_id: item[question_id], code: code, status: ok}) except Exception as e: results.append({question_id: item[question_id], code: , status: ferror: {e}}) time.sleep(0.5) with open(gen_results.jsonl, w) as f: for r in results: f.write(json.dumps(r, ensure_asciiFalse) \n)time.sleep(0.5)是给批量请求留一点间隔避免瞬时并发过高。50 条题跑下来大概几分钟取决于单条生成长度。3.3 判题与 pass1 计算生成完的代码要过判题。LiveCodeBench 官方提供了评测入口把生成结果按它的格式喂进去from livecodebench.evaluate import evaluate_generations evaluate_generations( generations_filegen_results.jsonl, datasetlivecodebench/code_generation_lite, splittest, num_process_evaluate4, timeout6, )跑完会输出每题通过情况和整体 pass1。如果你只想快速看公开样例可以自己写个轻量判题但记住那个数字不能直接和公开榜比。4. TaoToken 接入与配置4.1 拿 Key到官网创建 Keyhttps://taotoken.net/?utm_sourcetaotoken_aicg_blog_generateutm_mediumcsdnutm_campaigngenerateutm_content 登录后在控制台里生成。Key 只显示一次复制后立刻存进环境变量export TAOTOKEN_API_KEYsk-你的key不要写进脚本硬编码也不要提交到仓库。评测脚本里用os.environ读换机器时只改环境变量。4.2 Base URL 与模型名脚本里的 Base URL 填https://taotoken.net/api这是 OpenAI 兼容格式的入口openaiSDK 直接能用。模型名按控制台里列出的写本文用的是deepseek-v3。如果你在控制台看到的是带版本后缀的名字以控制台为准。配置检查清单项值Base URLhttps://taotoken.net/apiAPI Key环境变量 TAOTOKEN_API_KEY模型名deepseek-v3以控制台为准SDKopenai 1.0采样参数temperature 0.2 / top_p 0.95 / max_tokens 20484.3 先跑一条冒烟测试批量之前先单条验证确认 Key、Base URL、模型名都对from openai import OpenAI import os client OpenAI(api_keyos.environ[TAOTOKEN_API_KEY], base_urlhttps://taotoken.net/api) r client.chat.completions.create( modeldeepseek-v3, messages[{role: user, content: 写一个 Python 函数返回两数之和}], temperature0.2, ) print(r.choices[0].message.content)能正常返回就说明链路通了再跑 50 条批量。这一步能省掉很多「批量跑到一半才发现 Key 错了」的时间。5. 可验证结果与失败分支5.1 本地 pass1 与公开榜对照跑完 50 条 easy 题你会得到一份本地结果。下面这张表是结构示例具体数字以你自己跑出来的为准——本文不含排行分数因为公开榜的聚合口径和本地 50 条子集不是一回事来源题量难度采样参数pass1本地复现50easytemp 0.2 / top_p 0.95以实际输出为准公开榜条目全量分难度聚合榜方口径见榜方页面对照时要注意三个差异点第一公开榜通常跑全量题集本地只取 50 条 easy题目分布不同第二榜方的采样参数温度、n、判题超时可能和你的不一样第三判题环境Python 版本、依赖库会影响结果。所以本地数字和榜上数字有差距是正常的关键是把复现条件写清楚。5.2 常见失败分支批量跑的时候会遇到几类问题提前知道怎么处理生成阶段报 401说明 Key 没读到或写错了检查echo $TAOTOKEN_API_KEY是否有值。报 404多半是模型名写错去控制台核对。报 429是请求频率触发了限流把time.sleep调大或者降低并发。判题阶段全部超时检查timeout参数竞赛题有些输入规模大6 秒不一定够。部分题报 import 错误是生成代码用了环境里没有的库这类题在本地算失败但公开榜的判题环境可能装了属于复现条件差异。还有一种情况是生成代码为空通常是max_tokens太小被截断调到 2048 以上再试。5.3 成本与模型选择50 条题、每题一次生成、平均输出 500 token 左右总输出量大概 2.5 万 token输入量取决于题目长度。这个量级用 TaoToken 跑一次成本很低适合反复调参。如果你要算 passk请求量按 k 倍增长先小批量试再放大。模型选择上DeepSeek-V3 在代码生成任务里表现稳定适合做这类批量评测。如果你要对比其他模型把SAMPLING里的model换掉其他脚本不用动——这正是统一 API 出口的好处换模型不用换供应商配置。具体可用模型列表和计费以官网为准https://taotoken.net/?utm_sourcetaotoken_aicg_blog_generateutm_mediumcsdnutm_campaigngenerateutm_content 。最后留一个实用技巧把每次跑的SAMPLING、题目子集 ID、生成结果、判题结果一起存进一个 run 目录命名带上日期。这样过几天想复现某个数字直接翻目录就行不用回忆当时改了什么参数。 告别海外账号与网络限制稳定直连全球优质大模型限时半价接入中。 点击领取海量免费额度
