最近在关注大模型应用层的动态时一个方向引起了我的注意让编码 AI 通过自我改进的方式用远小于 GPT-5 的参数量在编程任务上达到接近甚至超越的效果。这类项目标题往往很吸引眼球比如“仅用 117 倍更少参数实现 93.3% 正确率”但真正落实到工程上它背后的技术思路、训练策略和评估方式才是我们需要理解的重点。这篇博文我会拆解一下“自我改进编码 AI”的核心逻辑聊一聊它和传统大模型参数竞赛的差异并给出一个可运行的简化实验思路帮助你把“自我改进”这个概念真正落到代码层面。1. 背景编码 AI 的“参数军备竞赛”与效率拐点1.1 大模型做编码任务的现状当前的编码 AI 赛道基本被两类方案主导通用大模型 代码能力微调比如 GPT-4、GPT-5、Claude 系列它们通过海量文本和代码训练具备强大的生成能力。专门化的代码模型比如 CodeLlama、DeepSeek-Coder、StarCoder它们在通用模型基础上使用代码语料做继续预训练和监督微调。这套范式的一个显著问题是模型越大效果越好但成本也越高。动辄上千亿参数的大模型无论是训练、微调还是推理都需要昂贵的 GPU 资源。很多开发者和中小团队根本没有能力私有化部署这类模型只能依赖 API 调用这就带来了数据安全、成本控制、响应延迟等一系列问题。1.2 什么是“自我改进 AI”“自我改进 AI”并不是一个新概念但随着大模型能力的提升它有了更实际的落地方式。简单说自我改进 AI 是指模型能够利用自身生成的输出、反馈信号甚至执行结果自动优化自身行为的一类方法。它不依赖大量人工标注数据而是通过自动化评估、搜索、重试和再训练形成“生成 - 评估 - 学习”的闭环。在编码任务中这种闭环尤其有价值因为代码的“正确与否”是可以被自动验证的单元测试通过了就是通过没通过就是没通过。这种确定性的反馈信号正好可以作为自我改进的“老师”。1.3 为什么“更少参数”能实现高正确率标题中的“93.3% 正确率”和“117 倍更少参数”听起来很夸张但它的底层逻辑并不神秘任务窄化如果只专注于特定编码任务比如代码补全、Bug 修复、测试生成而不是追求通用的对话能力那么较小的模型也能做得很好。数据质量优先通过自我改进循环产生的数据往往比全网爬取的语料更具针对性模型在特定分布上的表现可以大幅提升。高效的蒸馏与微调小模型可以从大模型的输出中学习也可以从测试反馈中直接学习从而逼近大模型的效果。所以这篇文章并不是要说服大家弃用 GPT-5而是想展示一个工程方向在特定垂直场景下如何利用自我改进机制把模型体积、成本和效果调整到一个更优的平衡点。2. 核心概念拆解自我改进编码 AI 的三大件要理解这类系统的实现需要先掌握三个核心组件生成器Generator、评估器Evaluator和优化器Optimizer。2.1 生成器代码生成的起点生成器就是一个代码语言模型它接收自然语言描述或部分代码上下文输出代码片段。在自我改进系统中生成器不一定是当前最强的模型它可以是一个参数量较小的模型。关键点在于生成器需要具备一定的“多样性”输出能力。如果同一个问题每次都只生成同一个答案那自我改进就没有探索空间。所以在采样环节我们通常会设置较高的温度参数temperature让模型生成多个候选方案。# 使用 transformers 库调用生成器模型 from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name your-code-model # 替换成实际模型路径 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name, torch_dtypetorch.float16, device_mapauto) def generate_candidates(prompt: str, num_return_sequences: int 5, max_new_tokens: int 200): inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate( **inputs, max_new_tokensmax_new_tokens, num_return_sequencesnum_return_sequences, do_sampleTrue, temperature0.8, top_p0.95, ) candidates [tokenizer.decode(output, skip_special_tokensTrue) for output in outputs] return candidates这段代码的目的是让模型对一个 prompt 输出 5 个不同的候选代码。这里的核心配置是do_sampleTrue和temperature0.8它们控制着生成结果的随机性和多样性。2.2 评估器如何判断代码“好”与“坏”评估器是自我改进循环中最关键的一环。它的职责是给生成器产出的每一个候选代码打分。打分方式有很多种单元测试通过率最直接的评估。如果代码能通过全部预置单测得满分通过的越多分越高。静态检查使用 pylint、flake8、mypy 等工具检测代码质量和类型错误。对拍测试将生成结果和标准答案比较但这种情况较少见。实际工程中我们通常优先使用单元测试通过率作为主要信号因为它最接近用户真实需求。下面是一个简化的评估器实现import subprocess import tempfile import os def evaluate_with_tests(code: str, test_code: str) - dict: with tempfile.TemporaryDirectory() as tmp_dir: solution_path os.path.join(tmp_dir, solution.py) test_path os.path.join(tmp_dir, test_solution.py) with open(solution_path, w, encodingutf-8) as f: f.write(code) with open(test_path, w, encodingutf-8) as f: f.write(test_code) result subprocess.run( [python, -m, pytest, test_path, --tbshort, -q], capture_outputTrue, textTrue, timeout30, ) passed passed in result.stdout # 这里简单的解析实际工程中用 pytest 的 JSON 报告会更准 return {passed: passed, output: result.stdout, stderr: result.stderr}这个函数的核心思路是把生成器的输出和测试代码写入临时目录然后通过 pytest 子进程执行最终返回是否通过。要注意的是subprocess.run中的timeout参数很重要它可以防止模型生成的死循环代码卡住整个评估流程。2.3 优化器从反馈中学习优化器负责根据评估器返回的分数更新生成器的参数使其下一次生成更优秀的代码。常见方法有强化学习RLHF / RLAIF将评估器的得分作为奖励信号使用 PPO 等算法更新模型。这个方法效果最好但工程实现复杂。拒绝采样微调RFT只保留高分输出丢弃低分输出在这些高质数据上做监督微调。这个方法实现简单且效果稳定。直接偏好优化DPO类似 RFT但用的是偏好对比如高分代码 vs 低分代码不需要单独训练奖励模型。对于大多数工程团队拒绝采样微调是最容易上手的方案。它的流程非常清晰先生成一批候选过滤掉低分样本然后用过滤后的数据继续训练模型。3. 环境准备与版本说明在开始实战之前我们需要一个可复现的实验环境。这里以 Python 3.10 PyTorch 2.x 为例核心依赖如下依赖库作用版本建议torch深度学习框架2.1.0 及以上transformers加载和调用语言模型4.36.0 及以上datasets数据集处理2.16.0 及以上pytest运行单元测试7.4.0 及以上peft参数高效微调0.7.0 及以上安装命令如下conda create -n code-self-improve python3.10 -y conda activate code-self-improve pip install torch2.1.0 transformers4.36.0 datasets2.16.0 pytest7.4.0 peft0.7.0需要注意的是如果你使用的是最新版本的 transformers某些 API 可能有变化。文中代码以 4.36.0 版本为例验证过如果你用的是更新的版本遇到报错可以查看官方文档调整参数。为了让大多数读者能够实际运行这里不要求你本地部署一个巨大的模型。我们可以使用参数量在 1B 左右的代码模型比如 DeepSeek-Coder-1.3B 或 CodeLlama-7B 的量化版如果你的 GPU 显存有限也可以使用transformers的 8bit 加载模式。4. 完整实战构建一个简化版自我改进编码系统接下来我们一起动手实现一个简化但完整的自我改进编码 AI 循环。任务设定为给定一个函数描述模型生成代码实现通过单元测试进行验证最后用筛选后的数据微调模型。4.1 创建项目结构首先组织好项目目录code-self-improve/ ├── data/ │ ├── train_seed.jsonl # 初始种子任务问题 单元测试 │ └── generated_pairs.jsonl # 自我改进产生的训练数据 ├── src/ │ ├── generator.py # 生成器封装 │ ├── evaluator.py # 评估器封装 │ ├── self_improve.py # 主循环 │ └── finetune.py # 微调脚本 ├── output/ │ ├── model/ # 保存微调后的模型 │ └── logs/ # 训练日志 ├── requirements.txt └── README.md初始种子任务是一个 JSONL 文件每一行是一个训练样本包含两个字段prompt和test_code。下面是一个示例{prompt: 编写一个 Python 函数输入两个整数返回它们的和。函数名add, test_code: from solution import add\n\ndef test_add():\n assert add(2, 3) 5\n assert add(0, 0) 0\n assert add(-1, 1) 0\n}这里的设计思路是prompt给模型下达任务描述test_code提供了验证标准。模型生成的代码会与test_code结合用 pytest 自动验证。4.2 实现生成器模块生成器模块的职责非常明确加载基础代码模型为每个 prompt 生成多个候选代码。# 文件路径src/generator.py from transformers import AutoModelForCausalLM, AutoTokenizer import torch import json from tqdm import tqdm class CodeGenerator: def __init__(self, model_name: str, device: str auto): self.tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) self.model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapdevice, trust_remote_codeTrue, ) self.model.eval() def generate_candidates(self, prompt: str, num_seq: int 5) - list[str]: 为单个 prompt 生成多个候选代码。 这里我们使用了 do_sampleTrue 来增加生成多样性 实际使用中可以根据任务难度调整 temperature 和 top_p。 messages [ {role: user, content: prompt} ] input_text self.tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs self.tokenizer(input_text, return_tensorspt).to(self.model.device) with torch.no_grad(): outputs self.model.generate( **inputs, max_new_tokens256, do_sampleTrue, temperature0.8, top_p0.9, num_return_sequencesnum_seq, pad_token_idself.tokenizer.eos_token_id, ) candidates [] for output in outputs: decoded self.tokenizer.decode(output, skip_special_tokensTrue) # 剥离掉指令部分只保留模型生成的代码 response decoded.split(|assistant|)[-1].strip() candidates.append(response) return candidates def batch_generate(self, tasks: list[dict], num_seq: int 5) - list[dict]: 批量生成候选代码并把结果以列表形式保存。 返回格式[{prompt: ..., candidates: [...], test_code: ...}, ...] results [] for task in tqdm(tasks, descGenerating candidates): candidates self.generate_candidates(task[prompt], num_seqnum_seq) results.append({ prompt: task[prompt], test_code: task[test_code], candidates: candidates, }) return results这里有两个值得注意的细节使用了apply_chat_template来构造输入这样可以让模型更好地理解“用户要求它写代码”的任务语义。生成的代码使用split(|assistant|)切分这是因为 Chat 模型会在输出中加入角色标记需要去掉。4.3 实现评估器模块评估器的目标是把生成结果中可通过测试的代码筛选出来。# 文件路径src/evaluator.py import subprocess import tempfile import os import json from typing import Optional class CodeEvaluator: def __init__(self, timeout: int 30): self.timeout timeout def evaluate(self, code: str, test_code: str) - float: 返回 0 或 1 的得分。0 表示测试未通过1 表示通过。 在真实场景中可以根据多个测试用例的通过比例返回连续分数。 code self._extract_code(code) with tempfile.TemporaryDirectory() as tmp_dir: solution_path os.path.join(tmp_dir, solution.py) test_path os.path.join(tmp_dir, test_solution.py) with open(solution_path, w, encodingutf-8) as f: f.write(code) with open(test_path, w, encodingutf-8) as f: f.write(test_code) try: result subprocess.run( [python, -m, pytest, test_path, --tbshort, -q], capture_outputTrue, textTrue, timeoutself.timeout, ) return 1.0 if passed in result.stdout else 0.0 except subprocess.TimeoutExpired: return 0.0 def _extract_code(self, raw_code: str) - str: 从模型原始输出中提取可执行代码。 有些模型的输出包含 Markdown 代码块标记需要清理。 raw_code raw_code.strip() if raw_code.startswith(python): raw_code raw_code.replace(python, ).replace(, , 1) elif raw_code.startswith(): raw_code raw_code.replace(, , 1) return raw_code.strip() def filter_best_samples(self, generated_data: list[dict], top_k: int 1) - list[dict]: 从生成的多个候选中选出每个问题下得分最高的样本。 返回的列表可以直接用于后续微调。 best_samples [] for item in generated_data: best_score -1.0 best_code None for candidate in item[candidates]: score self.evaluate(candidate, item[test_code]) if score best_score: best_score score best_code candidate if best_code is not None: best_samples.append({ prompt: item[prompt], chosen: best_code, score: best_score, }) return best_samples_extract_code这个辅助函数非常重要。因为语言模型经常会把生成的代码包装在 Markdown 代码块里如果直接写入 pytest 文件会语法报错通过这段简单清理可以极大提升评估成功率。4.4 实现自我改进主循环主循环将生成器和评估器串联起来形成一个完整的迭代流程。# 文件路径src/self_improve.py import json import random from generator import CodeGenerator from evaluator import CodeEvaluator def load_seed_data(path: str) - list[dict]: with open(path, r, encodingutf-8) as f: return [json.loads(line) for line in f] def save_generated_data(data: list[dict], path: str): with open(path, w, encodingutf-8) as f: for item in data: f.write(json.dumps(item, ensure_asciiFalse) \n) def run_self_improve_loop( seed_data_path: str, output_path: str, model_name: str, num_iterations: int 3, num_candidates: int 8, ): generator CodeGenerator(model_name) evaluator CodeEvaluator(timeout30) current_data load_seed_data(seed_data_path) for iteration in range(num_iterations): print(fIteration {iteration 1}/{num_iterations}) # 1. 生成候选代码 generated generator.batch_generate(current_data, num_seqnum_candidates) # 2. 评估候选代码筛选最优样本 best_samples evaluator.filter_best_samples(generated, top_k1) # 3. 保存本轮数据 save_generated_data(best_samples, output_path f_iter{iteration 1}.jsonl) # 4. 下一轮使用通过率更高的样本含 prompt作为新的种子输入 # 注意当前简化版本不直接做模型微调而是将数据累积用于后面的 finetune 脚本 current_data best_samples print(f Best samples count: {len(best_samples)}) if __name__ __main__: run_self_improve_loop( seed_data_pathdata/train_seed.jsonl, output_pathdata/generated_pairs, model_namedeepseek-ai/deepseek-coder-1.3b-instruct, num_iterations3, num_candidates8, )这个主循环是最小可执行版本。它的每一轮都会用当前模型为每个任务生成 8 个候选代码。让 pytest 评估每段代码是否通过。保留每个任务下的最佳代码。将最佳样本作为下一轮的输入任务这里的复用一个比较简单的策略实际项目中通常会在这些样本上微调一次模型。4.5 实现微调脚本微调是“自我改进”中真正让模型发生变化的一步。这里使用 PEFT 的 LoRA 方法在消费级显卡上也能跑得动。# 文件路径src/finetune.py import json import torch from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, DataCollatorForSeq2Seq, ) from peft import LoraConfig, get_peft_model, TaskType from datasets import Dataset def load_training_data(file_path: str): samples [] with open(file_path, r, encodingutf-8) as f: for line in f: item json.loads(line) if item.get(chosen) and item.get(prompt): samples.append({ prompt: item[prompt], code: item[chosen], }) return samples def format_example(prompt: str, code: str) - str: messages [ {role: user, content: prompt}, {role: assistant, content: code}, ] return messages def finetune_with_lora( base_model_name: str, train_data_path: str, output_dir: str output/model ): tokenizer AutoTokenizer.from_pretrained(base_model_name, trust_remote_codeTrue) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained( base_model_name, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue, ) lora_config LoraConfig( task_typeTaskType.CAUSAL_LM, r8, lora_alpha16, lora_dropout0.1, target_modules[q_proj, v_proj], ) model get_peft_model(model, lora_config) samples load_training_data(train_data_path) texts [] for sample in samples: messages format_example(sample[prompt], sample[code]) text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptFalse) texts.append(text) # 这里只用最简单的文本映射实际工程中可以加入截断和分批处理 dataset Dataset.from_dict({text: texts}) def tokenize_function(examples): return tokenizer(examples[text], truncationTrue, paddingmax_length, max_length512) tokenized_dataset dataset.map(tokenize_function, batchedTrue, remove_columns[text]) training_args TrainingArguments( output_diroutput_dir, per_device_train_batch_size1, gradient_accumulation_steps8, num_train_epochs3, learning_rate2e-5, fp16True, save_total_limit2, logging_steps10, report_tonone, ) data_collator DataCollatorForSeq2Seq(tokenizer, modelmodel, paddingTrue, label_pad_token_id-100) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset, data_collatordata_collator, ) trainer.train() model.save_pretrained(output_dir) tokenizer.save_pretrained(output_dir) if __name__ __main__: finetune_with_lora( base_model_namedeepseek-ai/deepseek-coder-1.3b-instruct, train_data_pathdata/generated_pairs_iter1.jsonl, output_diroutput/model, )这段代码的核心思路是从之前保存的高分样本中构造训练数据让模型学会“看到用户需求直接输出能通过测试的代码”。4.6 运行与预期效果在命令行中依次执行# 1. 运行自我改进循环 cd src python self_improve.py # 2. 用第一轮筛选出的数据微调模型 python finetune.py预期你会看到类似下面的日志输出Iteration 1/3 Best samples count: 12 Iteration 2/3 Best samples count: 11 Iteration 3/3 Best samples count: 13实际效果因人而异取决于基础模型和任务复杂度。如果你把生成候选数量调大比如 16 个通过率通常会更高因为搜索空间变大模型更有可能找到正确答案。5. 设计评估指标如何衡量“超越 GPT-5”“超越 GPT-5”这种表述在工程上不能只看单一任务的准确率。我们需要一套多维度评估体系。5.1 准确率PassK最核心的指标是 PassK它表示对于一个问题模型生成 K 个答案如果至少有 1 个通过测试就算成功。计算公式为PassK 1 - (C(n - c, k) / C(n, k))其中n是生成的候选总数。c是其中通过的候选数。k是允许的尝试次数。这个公式的含义是考虑所有错误的候选组合中没有正确结果的概率。实际计算时为了数值稳定性通常使用循环累加而不是直接计算组合数。def pass_at_k(n: int, c: int, k: int) - float: 计算 PassK 指标 n: 生成的候选总数 c: 其中通过的候选数 k: 允许尝试的次数 if n - c k: return 1.0 return 1.0 - (lambda x: x)( # 占位下面用循环实现更数值稳定 __import__(math).comb(n - c, k) / __import__(math).comb(n, k) ) def stable_pass_at_k(n: int, c: int, k: int) - float: if n - c k: return 1.0 import math total 0.0 # 遍历所有错误样本数 i for i in range(c 1): total math.comb(c, i) * math.comb(n - c, k - i) / math.comb(n, k) # 这个版本表示至少一个正确简化可使用 1 - comb(n-c,k)/comb(n,k) return 1.0 - math.comb(n - c, k) / math.comb(n, k)PassK 的核心价值在于它衡量的是候选代码中包含正确解集的概率更贴近实际开发中“模型生成多个方案开发者挑一个用”的使用方式。5.2 与 GPT-5 比较的注意点如果我们拿到一个项目的信息说“93.3% 的正确率”第一步不应该兴奋而应该确认测试集有多少道题是小规模100 题内还是大规模1000 题以上题目的难度分布如何是基础语法题还是复杂算法题是否限制了模型访问外部库和网络有没有做过污染检测即训练数据是否包含测试题如果测试集规模很小或者题目偏简单准确率很容易虚高。这也是为什么大模型标准评测集如 HumanEval、MBPP的意义在于提供可横向比较的基准。5.3 成本指标除了准确率我们应该重点评估“单位成本的正确率”。可以设计这样的指标性价比分数 准确率 / (模型参数量 × 单次推理成本)这个指标虽然不严谨但能反映出小模型在垂直任务上的价值用更少的 GPU 资源、更低的延迟达到可用的正确率。对于企业来说这往往比“极限准确率”更有意义。6. 常见问题与排查思路在实际运行自我改进流程时大家容易遇到下面几类问题。问题现象常见原因解决思路pytest 报错ModuleNotFoundError生成的代码缺失 import 语句在 prompt 中加入示例代码片段约束模型输出完整可执行代码所有候选都得了 0 分模型生成的不是纯代码而是包含解释文字调整_extract_code解析逻辑或者在后处理时只保留首个代码块微调后模型效果没有提升训练数据太少或重复度过高增加种子任务数量并尝试每轮从更多候选中收集正样本显存不足模型过大或序列过长使用 8bit 量化加载、减小max_length、降低per_device_train_batch_size生成向量慢候选数过多、模型推理效率低使用 vLLM 等推理加速框架或者并行生成部分测试超时模型生成了死循环代码在评估器中增加超时限制并记录失败原因后续在 prompt 中强调效率要求排查顺序一般遵循先看代码是否纯代码、再看单测是否可运行、后看模型生成的是不是内容截断最后再考虑训练策略。6.1 示例如何处理“模型生成了解释文字”这是最常见的问题。假设模型的输出是这是一个简单的加法函数我们只需要使用 运算符即可 def add(a, b): return a b我们的_extract_code目前只能去掉 Markdown 标记没法去掉前面的自然语言。一个更稳健的方法是使用正则表达式提取代码块import re def extract_python_code(raw_text: str) - str: # 匹配 python ... 代码块 match re.search(rpython\n(.*?), raw_text, re.DOTALL) if match: return match.group(1).strip() # 如果找不到代码块尝试提取第一个 def 或 class 定义 lines raw_text.split(\n) code_lines [] in_code False for line in lines: if line.strip().startswith(def ) or line.strip().startswith(class ) or line.strip().startswith(import ): in_code True if in_code: code_lines.append(line) return \n.join(code_lines).strip()把这段函数替换到_extract_code中就可以过滤掉大部分自然语言噪声。6.2 示例处理“生成代码不完整”有时模型生成的代码在中间突然截断def add(a, b): return a 这种代码即使是最简单的测试也无法通过。解决办法有三个方向增加max_new_tokens让模型有空间生成完整代码。在 prompt 中强调“输出完整代码不要省略”。评估时增加语法检查——先用ast.parse()检查代码是否能被 Python 解析如果不能就直接打 0 分避免浪费 pytest 的时间。import ast def quick_syntax_check(code: str) - bool: try: ast.parse(code) return True except SyntaxError: return False这样在正式跑用例前先淘汰掉语法错误的样本可以显著加速筛选过程。7. 最佳实践与工程建议7.1 从最小用例集开始不要把初始数据集一次搞到几千条。先准备 2050 个典型的、覆盖不同难度的编程题。这样做的好处是快速验证整个自我改进闭环是否通畅。方便人工检查模型生成质量。训练一轮周期短便于迭代调参。等流程稳定后再逐步扩充到数百、数千题。7.2 对测试代码进行严格校验测试代码本身也可能有 bug。如果一个题目描述和测试代码不一致那么模型再努力也过不了测试。在把测试代码放入种子集之前建议先用标准答案跑一遍测试确保测试代码能通过。用错误的答案测试一次确保测试代码能“有效失败”。确认测试代码不依赖特定环境变量和文件路径。7.3 关注 prompt 设计prompt 设计对生成质量影响巨大。推荐在 prompt 中明确说明函数签名。输入输出约束。需要的 import 语句。禁止使用的外部模块。一个更精确的 prompt 示例请实现一个 Python 函数 even_or_odd(num)。 - 输入整数 num - 输出字符串 even 或 odd - 如果 num 是偶数返回 even否则返回 odd - 不需要额外 import函数定义必须完整 - 只需要输出函数代码不要输出解释这种结构化 prompt 能显著降低模型生成无关内容的概率。7.4 记录每一轮数据状态在自我改进实验中数据和训练日志都要有版本记录。推荐使用简单的命名规范data/generated_iter{迭代次数}_{模型名}_cand{候选数}.jsonl output/model_{迭代次数}_{日期}/这样可以随时回溯定位“效果提升到底来自哪一轮的哪些数据”。7.5 是否真的需要动模型参数在工程落地时要评估“微调模型”是否必要。很多时候通过优化 prompt、调整采样参数、增加候选数量就能将 PassK 提升到可接受水平。只有在这些手段用尽后才去投入算力做微调。这是一个成本和收益的平衡决策不是所有场景都必须“让模型自我进化”。8. 总结与学习路线这篇文章从一个宏观的研究方向开始介绍了“自我改进编码 AI”的核心概念生成器、评估器、优化器三件套并给出了一个完整的、可运行的简化实验代码。你可以在自己的机器上复现这套流程也可以在此基础上扩展如果你对数据感兴趣可以尝试使用 MBPP、HumanEval 或其他公开代码数据集做种子任务。如果你对训练感兴趣可以把拒绝采样微调替换成 DPO 或 PPO进一步提升模型上限。如果你对工程部署感兴趣可以将微调后的 LoRA 模型导出为 ONNX 或使用 vLLM 进行高效推理。关于“超越 GPT-5”的说法我的看法是在通用编码能力上超越前沿大模型并不容易但在特定领域、特定任务、特定约束下通过自我改进机制完全可以用小得多的模型成本逼近甚至超过通用大模型的平均表现。这条路对资源有限的团队来说更有现实意义。下一步建议你动手做这样两件事准备 20 道简单的编程题运行上面的完整流程体验一次自我改进的闭环。观察第一轮生成样本里有哪类代码是模型“原先生成不出来、但通过筛选后成功保留”的这会帮你理解自我改进的数据价值。如果你在复现过程中遇到问题欢迎在评论区留言交流。编码 AI 的方向还远未定型自我改进可能是让它真正走向工程化的重要一环。
自我改进编码AI：小参数模型如何通过闭环优化逼近大模型效果
最近在关注大模型应用层的动态时一个方向引起了我的注意让编码 AI 通过自我改进的方式用远小于 GPT-5 的参数量在编程任务上达到接近甚至超越的效果。这类项目标题往往很吸引眼球比如“仅用 117 倍更少参数实现 93.3% 正确率”但真正落实到工程上它背后的技术思路、训练策略和评估方式才是我们需要理解的重点。这篇博文我会拆解一下“自我改进编码 AI”的核心逻辑聊一聊它和传统大模型参数竞赛的差异并给出一个可运行的简化实验思路帮助你把“自我改进”这个概念真正落到代码层面。1. 背景编码 AI 的“参数军备竞赛”与效率拐点1.1 大模型做编码任务的现状当前的编码 AI 赛道基本被两类方案主导通用大模型 代码能力微调比如 GPT-4、GPT-5、Claude 系列它们通过海量文本和代码训练具备强大的生成能力。专门化的代码模型比如 CodeLlama、DeepSeek-Coder、StarCoder它们在通用模型基础上使用代码语料做继续预训练和监督微调。这套范式的一个显著问题是模型越大效果越好但成本也越高。动辄上千亿参数的大模型无论是训练、微调还是推理都需要昂贵的 GPU 资源。很多开发者和中小团队根本没有能力私有化部署这类模型只能依赖 API 调用这就带来了数据安全、成本控制、响应延迟等一系列问题。1.2 什么是“自我改进 AI”“自我改进 AI”并不是一个新概念但随着大模型能力的提升它有了更实际的落地方式。简单说自我改进 AI 是指模型能够利用自身生成的输出、反馈信号甚至执行结果自动优化自身行为的一类方法。它不依赖大量人工标注数据而是通过自动化评估、搜索、重试和再训练形成“生成 - 评估 - 学习”的闭环。在编码任务中这种闭环尤其有价值因为代码的“正确与否”是可以被自动验证的单元测试通过了就是通过没通过就是没通过。这种确定性的反馈信号正好可以作为自我改进的“老师”。1.3 为什么“更少参数”能实现高正确率标题中的“93.3% 正确率”和“117 倍更少参数”听起来很夸张但它的底层逻辑并不神秘任务窄化如果只专注于特定编码任务比如代码补全、Bug 修复、测试生成而不是追求通用的对话能力那么较小的模型也能做得很好。数据质量优先通过自我改进循环产生的数据往往比全网爬取的语料更具针对性模型在特定分布上的表现可以大幅提升。高效的蒸馏与微调小模型可以从大模型的输出中学习也可以从测试反馈中直接学习从而逼近大模型的效果。所以这篇文章并不是要说服大家弃用 GPT-5而是想展示一个工程方向在特定垂直场景下如何利用自我改进机制把模型体积、成本和效果调整到一个更优的平衡点。2. 核心概念拆解自我改进编码 AI 的三大件要理解这类系统的实现需要先掌握三个核心组件生成器Generator、评估器Evaluator和优化器Optimizer。2.1 生成器代码生成的起点生成器就是一个代码语言模型它接收自然语言描述或部分代码上下文输出代码片段。在自我改进系统中生成器不一定是当前最强的模型它可以是一个参数量较小的模型。关键点在于生成器需要具备一定的“多样性”输出能力。如果同一个问题每次都只生成同一个答案那自我改进就没有探索空间。所以在采样环节我们通常会设置较高的温度参数temperature让模型生成多个候选方案。# 使用 transformers 库调用生成器模型 from transformers import AutoModelForCausalLM, AutoTokenizer import torch model_name your-code-model # 替换成实际模型路径 tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name, torch_dtypetorch.float16, device_mapauto) def generate_candidates(prompt: str, num_return_sequences: int 5, max_new_tokens: int 200): inputs tokenizer(prompt, return_tensorspt).to(model.device) outputs model.generate( **inputs, max_new_tokensmax_new_tokens, num_return_sequencesnum_return_sequences, do_sampleTrue, temperature0.8, top_p0.95, ) candidates [tokenizer.decode(output, skip_special_tokensTrue) for output in outputs] return candidates这段代码的目的是让模型对一个 prompt 输出 5 个不同的候选代码。这里的核心配置是do_sampleTrue和temperature0.8它们控制着生成结果的随机性和多样性。2.2 评估器如何判断代码“好”与“坏”评估器是自我改进循环中最关键的一环。它的职责是给生成器产出的每一个候选代码打分。打分方式有很多种单元测试通过率最直接的评估。如果代码能通过全部预置单测得满分通过的越多分越高。静态检查使用 pylint、flake8、mypy 等工具检测代码质量和类型错误。对拍测试将生成结果和标准答案比较但这种情况较少见。实际工程中我们通常优先使用单元测试通过率作为主要信号因为它最接近用户真实需求。下面是一个简化的评估器实现import subprocess import tempfile import os def evaluate_with_tests(code: str, test_code: str) - dict: with tempfile.TemporaryDirectory() as tmp_dir: solution_path os.path.join(tmp_dir, solution.py) test_path os.path.join(tmp_dir, test_solution.py) with open(solution_path, w, encodingutf-8) as f: f.write(code) with open(test_path, w, encodingutf-8) as f: f.write(test_code) result subprocess.run( [python, -m, pytest, test_path, --tbshort, -q], capture_outputTrue, textTrue, timeout30, ) passed passed in result.stdout # 这里简单的解析实际工程中用 pytest 的 JSON 报告会更准 return {passed: passed, output: result.stdout, stderr: result.stderr}这个函数的核心思路是把生成器的输出和测试代码写入临时目录然后通过 pytest 子进程执行最终返回是否通过。要注意的是subprocess.run中的timeout参数很重要它可以防止模型生成的死循环代码卡住整个评估流程。2.3 优化器从反馈中学习优化器负责根据评估器返回的分数更新生成器的参数使其下一次生成更优秀的代码。常见方法有强化学习RLHF / RLAIF将评估器的得分作为奖励信号使用 PPO 等算法更新模型。这个方法效果最好但工程实现复杂。拒绝采样微调RFT只保留高分输出丢弃低分输出在这些高质数据上做监督微调。这个方法实现简单且效果稳定。直接偏好优化DPO类似 RFT但用的是偏好对比如高分代码 vs 低分代码不需要单独训练奖励模型。对于大多数工程团队拒绝采样微调是最容易上手的方案。它的流程非常清晰先生成一批候选过滤掉低分样本然后用过滤后的数据继续训练模型。3. 环境准备与版本说明在开始实战之前我们需要一个可复现的实验环境。这里以 Python 3.10 PyTorch 2.x 为例核心依赖如下依赖库作用版本建议torch深度学习框架2.1.0 及以上transformers加载和调用语言模型4.36.0 及以上datasets数据集处理2.16.0 及以上pytest运行单元测试7.4.0 及以上peft参数高效微调0.7.0 及以上安装命令如下conda create -n code-self-improve python3.10 -y conda activate code-self-improve pip install torch2.1.0 transformers4.36.0 datasets2.16.0 pytest7.4.0 peft0.7.0需要注意的是如果你使用的是最新版本的 transformers某些 API 可能有变化。文中代码以 4.36.0 版本为例验证过如果你用的是更新的版本遇到报错可以查看官方文档调整参数。为了让大多数读者能够实际运行这里不要求你本地部署一个巨大的模型。我们可以使用参数量在 1B 左右的代码模型比如 DeepSeek-Coder-1.3B 或 CodeLlama-7B 的量化版如果你的 GPU 显存有限也可以使用transformers的 8bit 加载模式。4. 完整实战构建一个简化版自我改进编码系统接下来我们一起动手实现一个简化但完整的自我改进编码 AI 循环。任务设定为给定一个函数描述模型生成代码实现通过单元测试进行验证最后用筛选后的数据微调模型。4.1 创建项目结构首先组织好项目目录code-self-improve/ ├── data/ │ ├── train_seed.jsonl # 初始种子任务问题 单元测试 │ └── generated_pairs.jsonl # 自我改进产生的训练数据 ├── src/ │ ├── generator.py # 生成器封装 │ ├── evaluator.py # 评估器封装 │ ├── self_improve.py # 主循环 │ └── finetune.py # 微调脚本 ├── output/ │ ├── model/ # 保存微调后的模型 │ └── logs/ # 训练日志 ├── requirements.txt └── README.md初始种子任务是一个 JSONL 文件每一行是一个训练样本包含两个字段prompt和test_code。下面是一个示例{prompt: 编写一个 Python 函数输入两个整数返回它们的和。函数名add, test_code: from solution import add\n\ndef test_add():\n assert add(2, 3) 5\n assert add(0, 0) 0\n assert add(-1, 1) 0\n}这里的设计思路是prompt给模型下达任务描述test_code提供了验证标准。模型生成的代码会与test_code结合用 pytest 自动验证。4.2 实现生成器模块生成器模块的职责非常明确加载基础代码模型为每个 prompt 生成多个候选代码。# 文件路径src/generator.py from transformers import AutoModelForCausalLM, AutoTokenizer import torch import json from tqdm import tqdm class CodeGenerator: def __init__(self, model_name: str, device: str auto): self.tokenizer AutoTokenizer.from_pretrained(model_name, trust_remote_codeTrue) self.model AutoModelForCausalLM.from_pretrained( model_name, torch_dtypetorch.float16, device_mapdevice, trust_remote_codeTrue, ) self.model.eval() def generate_candidates(self, prompt: str, num_seq: int 5) - list[str]: 为单个 prompt 生成多个候选代码。 这里我们使用了 do_sampleTrue 来增加生成多样性 实际使用中可以根据任务难度调整 temperature 和 top_p。 messages [ {role: user, content: prompt} ] input_text self.tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptTrue) inputs self.tokenizer(input_text, return_tensorspt).to(self.model.device) with torch.no_grad(): outputs self.model.generate( **inputs, max_new_tokens256, do_sampleTrue, temperature0.8, top_p0.9, num_return_sequencesnum_seq, pad_token_idself.tokenizer.eos_token_id, ) candidates [] for output in outputs: decoded self.tokenizer.decode(output, skip_special_tokensTrue) # 剥离掉指令部分只保留模型生成的代码 response decoded.split(|assistant|)[-1].strip() candidates.append(response) return candidates def batch_generate(self, tasks: list[dict], num_seq: int 5) - list[dict]: 批量生成候选代码并把结果以列表形式保存。 返回格式[{prompt: ..., candidates: [...], test_code: ...}, ...] results [] for task in tqdm(tasks, descGenerating candidates): candidates self.generate_candidates(task[prompt], num_seqnum_seq) results.append({ prompt: task[prompt], test_code: task[test_code], candidates: candidates, }) return results这里有两个值得注意的细节使用了apply_chat_template来构造输入这样可以让模型更好地理解“用户要求它写代码”的任务语义。生成的代码使用split(|assistant|)切分这是因为 Chat 模型会在输出中加入角色标记需要去掉。4.3 实现评估器模块评估器的目标是把生成结果中可通过测试的代码筛选出来。# 文件路径src/evaluator.py import subprocess import tempfile import os import json from typing import Optional class CodeEvaluator: def __init__(self, timeout: int 30): self.timeout timeout def evaluate(self, code: str, test_code: str) - float: 返回 0 或 1 的得分。0 表示测试未通过1 表示通过。 在真实场景中可以根据多个测试用例的通过比例返回连续分数。 code self._extract_code(code) with tempfile.TemporaryDirectory() as tmp_dir: solution_path os.path.join(tmp_dir, solution.py) test_path os.path.join(tmp_dir, test_solution.py) with open(solution_path, w, encodingutf-8) as f: f.write(code) with open(test_path, w, encodingutf-8) as f: f.write(test_code) try: result subprocess.run( [python, -m, pytest, test_path, --tbshort, -q], capture_outputTrue, textTrue, timeoutself.timeout, ) return 1.0 if passed in result.stdout else 0.0 except subprocess.TimeoutExpired: return 0.0 def _extract_code(self, raw_code: str) - str: 从模型原始输出中提取可执行代码。 有些模型的输出包含 Markdown 代码块标记需要清理。 raw_code raw_code.strip() if raw_code.startswith(python): raw_code raw_code.replace(python, ).replace(, , 1) elif raw_code.startswith(): raw_code raw_code.replace(, , 1) return raw_code.strip() def filter_best_samples(self, generated_data: list[dict], top_k: int 1) - list[dict]: 从生成的多个候选中选出每个问题下得分最高的样本。 返回的列表可以直接用于后续微调。 best_samples [] for item in generated_data: best_score -1.0 best_code None for candidate in item[candidates]: score self.evaluate(candidate, item[test_code]) if score best_score: best_score score best_code candidate if best_code is not None: best_samples.append({ prompt: item[prompt], chosen: best_code, score: best_score, }) return best_samples_extract_code这个辅助函数非常重要。因为语言模型经常会把生成的代码包装在 Markdown 代码块里如果直接写入 pytest 文件会语法报错通过这段简单清理可以极大提升评估成功率。4.4 实现自我改进主循环主循环将生成器和评估器串联起来形成一个完整的迭代流程。# 文件路径src/self_improve.py import json import random from generator import CodeGenerator from evaluator import CodeEvaluator def load_seed_data(path: str) - list[dict]: with open(path, r, encodingutf-8) as f: return [json.loads(line) for line in f] def save_generated_data(data: list[dict], path: str): with open(path, w, encodingutf-8) as f: for item in data: f.write(json.dumps(item, ensure_asciiFalse) \n) def run_self_improve_loop( seed_data_path: str, output_path: str, model_name: str, num_iterations: int 3, num_candidates: int 8, ): generator CodeGenerator(model_name) evaluator CodeEvaluator(timeout30) current_data load_seed_data(seed_data_path) for iteration in range(num_iterations): print(fIteration {iteration 1}/{num_iterations}) # 1. 生成候选代码 generated generator.batch_generate(current_data, num_seqnum_candidates) # 2. 评估候选代码筛选最优样本 best_samples evaluator.filter_best_samples(generated, top_k1) # 3. 保存本轮数据 save_generated_data(best_samples, output_path f_iter{iteration 1}.jsonl) # 4. 下一轮使用通过率更高的样本含 prompt作为新的种子输入 # 注意当前简化版本不直接做模型微调而是将数据累积用于后面的 finetune 脚本 current_data best_samples print(f Best samples count: {len(best_samples)}) if __name__ __main__: run_self_improve_loop( seed_data_pathdata/train_seed.jsonl, output_pathdata/generated_pairs, model_namedeepseek-ai/deepseek-coder-1.3b-instruct, num_iterations3, num_candidates8, )这个主循环是最小可执行版本。它的每一轮都会用当前模型为每个任务生成 8 个候选代码。让 pytest 评估每段代码是否通过。保留每个任务下的最佳代码。将最佳样本作为下一轮的输入任务这里的复用一个比较简单的策略实际项目中通常会在这些样本上微调一次模型。4.5 实现微调脚本微调是“自我改进”中真正让模型发生变化的一步。这里使用 PEFT 的 LoRA 方法在消费级显卡上也能跑得动。# 文件路径src/finetune.py import json import torch from transformers import ( AutoModelForCausalLM, AutoTokenizer, TrainingArguments, Trainer, DataCollatorForSeq2Seq, ) from peft import LoraConfig, get_peft_model, TaskType from datasets import Dataset def load_training_data(file_path: str): samples [] with open(file_path, r, encodingutf-8) as f: for line in f: item json.loads(line) if item.get(chosen) and item.get(prompt): samples.append({ prompt: item[prompt], code: item[chosen], }) return samples def format_example(prompt: str, code: str) - str: messages [ {role: user, content: prompt}, {role: assistant, content: code}, ] return messages def finetune_with_lora( base_model_name: str, train_data_path: str, output_dir: str output/model ): tokenizer AutoTokenizer.from_pretrained(base_model_name, trust_remote_codeTrue) if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model AutoModelForCausalLM.from_pretrained( base_model_name, torch_dtypetorch.float16, device_mapauto, trust_remote_codeTrue, ) lora_config LoraConfig( task_typeTaskType.CAUSAL_LM, r8, lora_alpha16, lora_dropout0.1, target_modules[q_proj, v_proj], ) model get_peft_model(model, lora_config) samples load_training_data(train_data_path) texts [] for sample in samples: messages format_example(sample[prompt], sample[code]) text tokenizer.apply_chat_template(messages, tokenizeFalse, add_generation_promptFalse) texts.append(text) # 这里只用最简单的文本映射实际工程中可以加入截断和分批处理 dataset Dataset.from_dict({text: texts}) def tokenize_function(examples): return tokenizer(examples[text], truncationTrue, paddingmax_length, max_length512) tokenized_dataset dataset.map(tokenize_function, batchedTrue, remove_columns[text]) training_args TrainingArguments( output_diroutput_dir, per_device_train_batch_size1, gradient_accumulation_steps8, num_train_epochs3, learning_rate2e-5, fp16True, save_total_limit2, logging_steps10, report_tonone, ) data_collator DataCollatorForSeq2Seq(tokenizer, modelmodel, paddingTrue, label_pad_token_id-100) trainer Trainer( modelmodel, argstraining_args, train_datasettokenized_dataset, data_collatordata_collator, ) trainer.train() model.save_pretrained(output_dir) tokenizer.save_pretrained(output_dir) if __name__ __main__: finetune_with_lora( base_model_namedeepseek-ai/deepseek-coder-1.3b-instruct, train_data_pathdata/generated_pairs_iter1.jsonl, output_diroutput/model, )这段代码的核心思路是从之前保存的高分样本中构造训练数据让模型学会“看到用户需求直接输出能通过测试的代码”。4.6 运行与预期效果在命令行中依次执行# 1. 运行自我改进循环 cd src python self_improve.py # 2. 用第一轮筛选出的数据微调模型 python finetune.py预期你会看到类似下面的日志输出Iteration 1/3 Best samples count: 12 Iteration 2/3 Best samples count: 11 Iteration 3/3 Best samples count: 13实际效果因人而异取决于基础模型和任务复杂度。如果你把生成候选数量调大比如 16 个通过率通常会更高因为搜索空间变大模型更有可能找到正确答案。5. 设计评估指标如何衡量“超越 GPT-5”“超越 GPT-5”这种表述在工程上不能只看单一任务的准确率。我们需要一套多维度评估体系。5.1 准确率PassK最核心的指标是 PassK它表示对于一个问题模型生成 K 个答案如果至少有 1 个通过测试就算成功。计算公式为PassK 1 - (C(n - c, k) / C(n, k))其中n是生成的候选总数。c是其中通过的候选数。k是允许的尝试次数。这个公式的含义是考虑所有错误的候选组合中没有正确结果的概率。实际计算时为了数值稳定性通常使用循环累加而不是直接计算组合数。def pass_at_k(n: int, c: int, k: int) - float: 计算 PassK 指标 n: 生成的候选总数 c: 其中通过的候选数 k: 允许尝试的次数 if n - c k: return 1.0 return 1.0 - (lambda x: x)( # 占位下面用循环实现更数值稳定 __import__(math).comb(n - c, k) / __import__(math).comb(n, k) ) def stable_pass_at_k(n: int, c: int, k: int) - float: if n - c k: return 1.0 import math total 0.0 # 遍历所有错误样本数 i for i in range(c 1): total math.comb(c, i) * math.comb(n - c, k - i) / math.comb(n, k) # 这个版本表示至少一个正确简化可使用 1 - comb(n-c,k)/comb(n,k) return 1.0 - math.comb(n - c, k) / math.comb(n, k)PassK 的核心价值在于它衡量的是候选代码中包含正确解集的概率更贴近实际开发中“模型生成多个方案开发者挑一个用”的使用方式。5.2 与 GPT-5 比较的注意点如果我们拿到一个项目的信息说“93.3% 的正确率”第一步不应该兴奋而应该确认测试集有多少道题是小规模100 题内还是大规模1000 题以上题目的难度分布如何是基础语法题还是复杂算法题是否限制了模型访问外部库和网络有没有做过污染检测即训练数据是否包含测试题如果测试集规模很小或者题目偏简单准确率很容易虚高。这也是为什么大模型标准评测集如 HumanEval、MBPP的意义在于提供可横向比较的基准。5.3 成本指标除了准确率我们应该重点评估“单位成本的正确率”。可以设计这样的指标性价比分数 准确率 / (模型参数量 × 单次推理成本)这个指标虽然不严谨但能反映出小模型在垂直任务上的价值用更少的 GPU 资源、更低的延迟达到可用的正确率。对于企业来说这往往比“极限准确率”更有意义。6. 常见问题与排查思路在实际运行自我改进流程时大家容易遇到下面几类问题。问题现象常见原因解决思路pytest 报错ModuleNotFoundError生成的代码缺失 import 语句在 prompt 中加入示例代码片段约束模型输出完整可执行代码所有候选都得了 0 分模型生成的不是纯代码而是包含解释文字调整_extract_code解析逻辑或者在后处理时只保留首个代码块微调后模型效果没有提升训练数据太少或重复度过高增加种子任务数量并尝试每轮从更多候选中收集正样本显存不足模型过大或序列过长使用 8bit 量化加载、减小max_length、降低per_device_train_batch_size生成向量慢候选数过多、模型推理效率低使用 vLLM 等推理加速框架或者并行生成部分测试超时模型生成了死循环代码在评估器中增加超时限制并记录失败原因后续在 prompt 中强调效率要求排查顺序一般遵循先看代码是否纯代码、再看单测是否可运行、后看模型生成的是不是内容截断最后再考虑训练策略。6.1 示例如何处理“模型生成了解释文字”这是最常见的问题。假设模型的输出是这是一个简单的加法函数我们只需要使用 运算符即可 def add(a, b): return a b我们的_extract_code目前只能去掉 Markdown 标记没法去掉前面的自然语言。一个更稳健的方法是使用正则表达式提取代码块import re def extract_python_code(raw_text: str) - str: # 匹配 python ... 代码块 match re.search(rpython\n(.*?), raw_text, re.DOTALL) if match: return match.group(1).strip() # 如果找不到代码块尝试提取第一个 def 或 class 定义 lines raw_text.split(\n) code_lines [] in_code False for line in lines: if line.strip().startswith(def ) or line.strip().startswith(class ) or line.strip().startswith(import ): in_code True if in_code: code_lines.append(line) return \n.join(code_lines).strip()把这段函数替换到_extract_code中就可以过滤掉大部分自然语言噪声。6.2 示例处理“生成代码不完整”有时模型生成的代码在中间突然截断def add(a, b): return a 这种代码即使是最简单的测试也无法通过。解决办法有三个方向增加max_new_tokens让模型有空间生成完整代码。在 prompt 中强调“输出完整代码不要省略”。评估时增加语法检查——先用ast.parse()检查代码是否能被 Python 解析如果不能就直接打 0 分避免浪费 pytest 的时间。import ast def quick_syntax_check(code: str) - bool: try: ast.parse(code) return True except SyntaxError: return False这样在正式跑用例前先淘汰掉语法错误的样本可以显著加速筛选过程。7. 最佳实践与工程建议7.1 从最小用例集开始不要把初始数据集一次搞到几千条。先准备 2050 个典型的、覆盖不同难度的编程题。这样做的好处是快速验证整个自我改进闭环是否通畅。方便人工检查模型生成质量。训练一轮周期短便于迭代调参。等流程稳定后再逐步扩充到数百、数千题。7.2 对测试代码进行严格校验测试代码本身也可能有 bug。如果一个题目描述和测试代码不一致那么模型再努力也过不了测试。在把测试代码放入种子集之前建议先用标准答案跑一遍测试确保测试代码能通过。用错误的答案测试一次确保测试代码能“有效失败”。确认测试代码不依赖特定环境变量和文件路径。7.3 关注 prompt 设计prompt 设计对生成质量影响巨大。推荐在 prompt 中明确说明函数签名。输入输出约束。需要的 import 语句。禁止使用的外部模块。一个更精确的 prompt 示例请实现一个 Python 函数 even_or_odd(num)。 - 输入整数 num - 输出字符串 even 或 odd - 如果 num 是偶数返回 even否则返回 odd - 不需要额外 import函数定义必须完整 - 只需要输出函数代码不要输出解释这种结构化 prompt 能显著降低模型生成无关内容的概率。7.4 记录每一轮数据状态在自我改进实验中数据和训练日志都要有版本记录。推荐使用简单的命名规范data/generated_iter{迭代次数}_{模型名}_cand{候选数}.jsonl output/model_{迭代次数}_{日期}/这样可以随时回溯定位“效果提升到底来自哪一轮的哪些数据”。7.5 是否真的需要动模型参数在工程落地时要评估“微调模型”是否必要。很多时候通过优化 prompt、调整采样参数、增加候选数量就能将 PassK 提升到可接受水平。只有在这些手段用尽后才去投入算力做微调。这是一个成本和收益的平衡决策不是所有场景都必须“让模型自我进化”。8. 总结与学习路线这篇文章从一个宏观的研究方向开始介绍了“自我改进编码 AI”的核心概念生成器、评估器、优化器三件套并给出了一个完整的、可运行的简化实验代码。你可以在自己的机器上复现这套流程也可以在此基础上扩展如果你对数据感兴趣可以尝试使用 MBPP、HumanEval 或其他公开代码数据集做种子任务。如果你对训练感兴趣可以把拒绝采样微调替换成 DPO 或 PPO进一步提升模型上限。如果你对工程部署感兴趣可以将微调后的 LoRA 模型导出为 ONNX 或使用 vLLM 进行高效推理。关于“超越 GPT-5”的说法我的看法是在通用编码能力上超越前沿大模型并不容易但在特定领域、特定任务、特定约束下通过自我改进机制完全可以用小得多的模型成本逼近甚至超过通用大模型的平均表现。这条路对资源有限的团队来说更有现实意义。下一步建议你动手做这样两件事准备 20 道简单的编程题运行上面的完整流程体验一次自我改进的闭环。观察第一轮生成样本里有哪类代码是模型“原先生成不出来、但通过筛选后成功保留”的这会帮你理解自我改进的数据价值。如果你在复现过程中遇到问题欢迎在评论区留言交流。编码 AI 的方向还远未定型自我改进可能是让它真正走向工程化的重要一环。
)
