做 LLM 应用开发时最让人头疼的问题之一就是你拿到一个开源模型却不清楚它到底是在原始基座模型上微调出来的还是从零开始预训练出来的。这个看似只影响“出身”的信息一旦进入模型选型、能力评估、合规审计和线上排障就会变成非常关键的技术判断依据。比如团队采购或者引入一个号称“自研”的模型结果经不住溯源验证又比如内部模型在迭代几个版本后已经没有人记得它继承过哪条基座分支。项目标题里的 Model Genome模型基因组这个概念正是为了解决这类问题。本文会从概念讲起给出指纹识别的基本思路并附带一套可以使用 Hugging Face 模型快速验证的 Python 代码。你可以把它当作一篇“模型血缘判断”的入门教程来读也可以直接拿代码去对比两个候选模型是否在血缘上更接近。1. 为什么需要判断 LLM 是从零训练还是派生而来1.1 模型来源乱象现在开源模型生态越来越庞大同一个架构下可能有几十个微调版本。很多场景下我们拿到的“新模型”并没有独立的技术报告也没有公布基座模型、训练数据和训练细节。于是会出现几种典型情况某些发布方把开源基座模型换了个名字甚至只是做了一轮很轻量的指令微调就宣称是全新模型。部分商业产品对外说是自研模型实际底层依赖开源模型甚至保留了原模型的部分可识别特征。企业内部可能有多个部门分别微调同一个基座模型最终合并时发现版本关系完全混乱。安全审计时需要确认某个模型是否包含从其他模型继承来的能力尤其是涉及数据合规和知识产权风险时。这些问题的共同点是我们需要一种技术手段去判断“模型 A 和模型 B 是否存在派生关系”而不是只依赖发布方的说明。这就是模型指纹识别能发挥作用的地方。1.2 从零训练与派生的定义在正式讨论指纹之前先明确两个概念。Trained from Scratch从零训练指的是模型在一组随机初始化参数的基础上从头经过预训练或者完整训练流程得到最终权重。这种情况下模型能力的形成主要依赖训练数据、模型架构和训练算法。从零训练通常意味着更高的算力成本、更长的训练周期以及更大的数据工程投入。Derived派生指的是模型不是从随机初始化开始而是在某个已经存在的模型基础上继续演化。常见的派生方式包括在基座模型上继续预训练。在基座模型上做指令微调SFT。使用 RLHF / DPO 等方式做偏好对齐。对模型做蒸馏得到结构更小的压缩模型。对模型做量化、剪枝或知识编辑。派生模型会继承基座模型的大量行为特征。即使经过了任务微调它在通用语言分布、基础世界知识、甚至某些安全偏好上仍然会保留原模型的“痕迹”。这既是模型的优点也是判断血缘关系时可以利用的证据。1.3 Model Genome 想解决什么问题Model Genome 这个概念可以理解成“模型的基因组”。生物里基因组决定一个物种的身份和进化关系模型里我们无法直接读取一串基因序列但可以通过一组稳定的特征探针提取出能够代表模型身份和行为模式的特征向量。这些特征向量组合起来就构成了模型的“基因指纹”。需要特别说明的是Model Genome 并不是某一个官方标准而是一类研究方向的统称。社区里常说的 LLM Wiki 也会记录模型谱系但它依赖人工维护和发布方声明时效性和准确性都有限。模型指纹识别则试图从模型本身找到证据让“是否同源”这个问题不再停留在口头描述上。在实际项目中它常用于三件事模型身份验证确认一个模型是否确实是从某个已知基座演化而来。模型选型评估多个候选模型能力接近时通过血缘关系判断选择的可靠性。合规审计在引入外部模型或接受第三方交付时为“是否复制/继承”提供技术参考。2. 指纹识别的基本原理2.1 指纹不是一串随机 ID很多人第一次接触“模型指纹”这个概念时会误以为它是模型文件里存的一串固定 ID比如某种水印。其实水印是主动嵌入的而指纹识别更接近被动分析。模型指纹通常来自模型在特定输入下的行为特征。由于模型的行为由参数决定而参数又来自训练过程因此训练路径不同的模型即使在同一个评测集上表现很接近内部表示和输出分布仍然会存在差异。这种差异就可以被提取成指纹。换句话说我们不是给模型贴标签而是通过一组精心设计的探测任务观察模型在“面对相同输入时的反应”再根据反应的相似度推断血缘关系。2.2 可迁移的输出分布特征对于大语言模型来说最容易获得的输出是词表上的 logits 分布。给定同样的 prompt基座模型和它的微调模型在预测下一个 token 时通常会有一定比例的高概率 token 是重叠的。为什么会这样因为在预训练阶段模型已经学到了大量语言规律和知识。指令微调调整的是模型“如何回答”的分布但很难完全抹掉原始预训练分布。只要微调的步数不够多、学习率不够大模型在大多数普通 prompt 下仍然会大概率输出与基座相似的候选 token。因此我们可以用一组固定的 prompt提取模型在最后一个 token 位置的 top-k 候选 token 及其概率然后把它们作为行为指纹。2.3 参数扰动响应除了直接比较输出分布还有一种思路是观察模型对微小参数扰动的敏感程度。当我们给模型的参数加入少量随机噪声时模型的输出会发生变化。如果两个模型来自同一个基座它们的参数空间存在对应关系那么在同一组扰动下的响应模式也会比较接近。反之如果两个模型是从不同数据、不同随机种子、不同架构下训练出来的那么它们面对同样扰动时输出变化的轨迹通常会有明显差异。这种方法需要能够直接访问模型权重因此更适用于本地部署后的模型审计。实际工程中可以把它作为输出分布指纹的补充而不是替代。2.4 血缘关系的判断指标在实际判断中我们不能只看单一指标通常需要组合以下几种Top-K Token 重叠度两个模型对同一 prompt 产生的高概率 token 集合是否接近。概率分布距离比较完整词表概率分布的 KL 散度或 Jensen-Shannon 距离。隐层表示相似度比较模型中间层输出的 CKA 相似度适合结构不同的模型。参数扰动响应差异加入相同噪声后logits 变化方向的相似度。下游行为一致性在特定任务上的输出风格、错误模式是否高度一致。这些指标没有绝对阈值更适合做相对比较。比如候选模型 A 与基座模型的距离明显小于候选模型 B 与基座模型的距离那么 A 更有可能是从该基座派生的。3. 环境准备与依赖3.1 运行环境为了演示模型指纹识别我们不需要特别大的 GPU 资源一台普通开发机就能完成概念验证。建议环境如下操作系统Windows / Linux / macOS 均可。Python 版本3.9 及以上。深度学习框架PyTorch 2.x。模型加载工具Transformers 4.x。数值计算NumPy。可选scikit-learn 或 SciPy用于计算部分距离指标。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。如果你的机器没有 GPUCPU 也可以运行因为示例中的模型都比较小。3.2 模型选择为了便于复现我选择 Hugging Face 上的两个公开模型作为示例gpt2作为“基座模型”的替代。distilgpt2作为“从 gpt2 派生出来的蒸馏模型”的替代。distilgpt2是通过知识蒸馏从 GPT-2 训练得到的因此它在行为上和gpt2存在很强的血缘关系。我们还要准备一个对照模型随机初始化的 GPT2 模型作为“完全无关模型”的替代。这个随机初始化模型可以看作一个最原始的“从零训练”起点。它的输出行为与任何真实预训练模型都不相似因此可以作为判断相似度大小的参照。如果文本生成模型下载比较慢也可以提前把权重下载到本地目录然后通过本地路径加载。实际使用时请把模型路径替换成你自己需要对比的模型。3.3 项目结构建议新建一个目录例如model_genome_demo目录结构如下model_genome_demo/ ├── fingerprint.py ├── compare_models.py └── prompts.txtfingerprint.py定义指纹提取函数。compare_models.py加载模型并计算相似度。prompts.txt存放一组固定的探测 prompt。下面开始讲解核心代码。代码都保持“教学示例”风格实际生产环境需要根据你的模型和硬件做调整。4. 完整实战用 Logits 指纹判断模型血缘4.1 准备探测 Prompt模型指纹的稳定性很大程度上取决于探测 prompt 的选择。建议准备一组覆盖不同能力的输入通用句式如This sentence is。知识类问题如The capital of France is。代码类片段如def hello(): return。中文输入如中国的首都是。指令型输入如Please write a short email about。这里要注意如果两个模型的 tokenizer 不同直接比较 logits 会有问题。好在示例中gpt2和distilgpt2使用同一个 BPE 词表我们可以直接比较最后一层 logits 的概率分布。在项目中新建prompts.txtThe capital of France is This sentence is def hello(): Today the weather is 中国的首都是 Python is a Once upon a time4.2 加载模型并提取指纹新建fingerprint.py代码中将模型加载、指纹提取和分布相似度计算封装成函数。# fingerprint.py import torch import torch.nn.functional as F import numpy as np def load_model_and_tokenizer(model_name): from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name) # GPT2 系列没有 pad token这里用 eos token 占位。 if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model.eval() return model, tokenizer def extract_topk_fingerprint(model, tokenizer, prompts, top_k100): 在最后一个 token 位置提取 top_k 候选 token 和概率。 fingerprint {} for prompt in prompts: inputs tokenizer( prompt, return_tensorspt, truncationTrue, max_length64, paddingFalse, ) with torch.no_grad(): outputs model(**inputs) # 取最后一个 token 位置的 logits。 next_token_logits outputs.logits[0, -1, :] probs F.softmax(next_token_logits, dim-1) top_probs, top_indices torch.topk(probs, ktop_k) fingerprint[prompt] { tokens: top_indices.cpu().numpy(), probs: top_probs.cpu().numpy(), } return fingerprint def compute_full_distribution(model, tokenizer, prompt): 计算指定 prompt 下最后一个 token 的完整概率分布。 inputs tokenizer( prompt, return_tensorspt, truncationTrue, max_length64, ) with torch.no_grad(): outputs model(**inputs) logits outputs.logits[0, -1, :] probs F.softmax(logits, dim-1).cpu().numpy() return probs这段代码的作用是在给定 prompt 下得到模型对“下一个 token 是谁”的预测概率。top_k越大指纹包含的信息越多但噪声也会增加。对于初步判断top_k100是一个比较合适的值。4.3 计算概率分布距离我们需要一个距离函数来量化两个模型分布的差异。这里用 Jensen-Shannon 距离JSD作为主要指标def js_divergence(p, q, eps1e-10): 计算两个概率分布之间的 Jensen-Shannon 散度。 p np.clip(p, eps, 1.0) q np.clip(q, eps, 1.0) p p / p.sum() q q / q.sum() m 0.5 * (p q) left 0.5 * np.sum(p * np.log(p / m)) right 0.5 * np.sum(q * np.log(q / m)) return left right def js_distance(p, q): 返回 JSD 的平方根满足距离公理。 return float(np.sqrt(js_divergence(p, q)))JSD 越小表示两个分布越接近。如果两个模型完全一样JSD 为 0如果两个模型的行为完全不相关JSD 会趋向一个比较大的值。相比单纯的 KL 散度JSD 对称且更稳定适合做两两比较。4.4 编写主对比程序新建compare_models.py用三个模型做对比gpt2基座模型。distilgpt2可能是派生模型。随机初始化的 GPT2无关模型。随机初始化模型的构造方式如下from transformers import GPT2Config, GPT2LMHeadModel random_config GPT2Config() random_model GPT2LMHeadModel(random_config)这个随机模型没有经过任何训练词表大小和 GPT-2 一致因此可以直接使用同一套 tokenizer。它代表一条完全不同的“训练路径”也就是没有任何继承关系。完整代码如下# compare_models.py import numpy as np from fingerprint import ( load_model_and_tokenizer, compute_full_distribution, js_distance, ) PROMPTS [line.strip() for line in open(prompts.txt, encodingutf-8) if line.strip()] def compare_pair(model_a, tokenizer_a, model_b, tokenizer_b, prompts): distances [] for prompt in prompts: p_a compute_full_distribution(model_a, tokenizer_a, prompt) p_b compute_full_distribution(model_b, tokenizer_b, prompt) distances.append(js_distance(p_a, p_b)) return distances def format_result(name_a, name_b, distances): avg float(np.mean(distances)) std float(np.std(distances)) print(f{name_a} vs {name_b}) print(f 平均 JSD: {avg:.6f}) print(f 标准差: {std:.6f}) print() if __name__ __main__: base_model, base_tokenizer load_model_and_tokenizer(gpt2) derived_model, derived_tokenizer load_model_and_tokenizer(distilgpt2) from transformers import GPT2Config, GPT2LMHeadModel random_config GPT2Config() random_model GPT2LMHeadModel(random_config) random_model.eval() # 随机模型使用 base_tokenizer因为词表一致。 d1 compare_pair(base_model, base_tokenizer, derived_model, derived_tokenizer, PROMPTS) format_result(gpt2, distilgpt2, d1) d2 compare_pair(base_model, base_tokenizer, random_model, base_tokenizer, PROMPTS) format_result(gpt2, random_gpt2, d2) d3 compare_pair(derived_model, derived_tokenizer, random_model, base_tokenizer, PROMPTS) format_result(distilgpt2, random_gpt2, d3)4.5 运行与结果说明在命令行中运行python compare_models.py如果模型没有提前下载程序会自动从 Hugging Face 下载gpt2和distilgpt2的权重。下载失败时可以提前手动下载到本地然后把load_model_and_tokenizer的参数改为本地路径。预期的相对结果是gpt2与distilgpt2的平均 JSD 明显小于gpt2与随机模型的距离。distilgpt2与随机模型的距离通常也比较大因为它保留了大量语言能力行为并不是随机分布。需要提醒的是不同 prompt 下绝对值会有波动。因此实际判断时不要只看某一项距离而是看多组 prompt 的平均值、方差以及三组对比的相对排序。5. 常见问题与排查思路5.1 模型结构不同无法直接比较输出分布怎么办如果两个模型的 tokenizer、词表大小不同那么最后一层 logits 的维度不一致不能直接计算 JSD。这时候可以采用两种替代方案使用隐层向量比较对同一段文本分别提取两个模型最后一层隐藏层输出然后用 CKA 相似度衡量表示空间是否接近。使用 token 投影把两个模型的候选 token 映射到公共词表再比较重叠度但会损失精度。CKA 是一种常见的表示相似度指标对线性变换不敏感适合比较不同宽度和深度的模型。它的实现可以直接使用开源库也可以手动计算。5.2 指纹结果不稳定多次运行差异很大模型在推理阶段通常是确定性的但以下情况会导致结果波动显存不足导致中间结果被放到 CPU产生数值差异。使用半精度推理时logits 精度发生变化。prompt 拼接时 padding 策略不一致。测试 prompt 太少受到单个样本影响较大。解决方法是固定推理设备、固定max_length、使用一致的 padding 策略并准备更多样化的 prompt 集。每次比对时多个 prompt 一起计算平均值而不是单条 prompt 下结论。5.3 LLM 指纹识别和 ComfyUI 这类工作流必须在同一台电脑上吗这个问题经常出现在可视化部署场景中。ComfyUI 主要面向图像生成工作流LLM 指纹识别则是 NLP 模型分析任务两者并不要求安装在同一台电脑上。我们可以把指纹识别脚本部署在独立的离线分析环境中只要能够加载待检测模型的权重即可。不过要注意一点如果两个模型运行在不同精度的设备上logits 会存在微小差异。因此正式对比时最好在同一个硬件环境、同一个dtype下完成。这比“是否同一台电脑”更重要。5.4 模型经过量化或剪枝后指纹是否失效会受影响。量化会改变参数精度导致输出分布出现偏移剪枝会删除一部分参数使得原本的 logits 分布发生变化。对于这类压缩模型建议不要单独使用 logits 分布可以结合参数扰动响应和下游行为一致性综合判断。6. 最佳实践与工程建议6.1 建立模型资产指纹库在一个长期维护的团队中建议每次发布模型时都生成一次指纹快照。快照中至少记录模型名称和版本号。基座模型信息。指纹提取时间。使用的 prompt 集和算法版本。模型哈希值。各 prompt 下的分布指纹文件。有了指纹库后续拿到任何新模型都可以在库中检索最近邻居快速判断它是否来自家族内部。这比临时找旧权重、人工回忆要可靠得多。6.2 使用稳定的探测 Prompt 集探测 Prompt 集应该做到“长期不变”和“覆盖多维能力”。建议包含世界知识类问题。语言理解类句子。代码生成片段。中英文混合输入。指令跟随类问题。开放式续写。每次更新算法时要保存版本号。不同版本的指纹不应直接混用否则会影响横向对比。6.3 多维度交叉验证在实际项目中我会建议至少同时使用三类证据输出分布指纹最快适合大规模筛选。参数扰动响应需要能访问权重适合重点确认。下游任务相似度用一组固定的评测题观察两个模型错误的模式和分布。只有三类证据都指向同一结论时才适合在报告里下判断。如果只有输出分布相似可能只是两个模型在某个任务上表现接近并不一定说明派生关系。6.4 安全与合规边界模型指纹识别能提供技术参考但不能替代法律和合规判断。在执行以下操作时要特别注意只在有权访问的模型上做指纹提取。如果模型许可证禁止逆向或探针分析先确认授权边界。不要使用包含敏感个人数据的 prompt。生产环境中对模型权重做改动或扰动前先备份原始权重。如果你是在第三方模型上做审计最好保留完整的操作日志包括加载时间、推理设备、探测 prompt 和结果方便后续复核。7. 总结与学习路线7.1 核心收获读完本文你应该已经清楚 Model Genome 不是一个神秘的黑盒技术而是一套可落地的“模型血缘分析”方法论。判断一个 LLM 是从零训练还是派生而来最直接的方式就是对比候选模型与已知基座模型在固定 prompt 下的输出分布。本文给出的 JSD 距离计算脚本可以直接作为一个小工具使用帮助你快速建立初步结论。7.2 后续学习方向如果你想继续深入可以从以下几个方向入手学习 LogitLens 等可解释性方法理解模型每一层保留了什么信息。学习 CKA 相似度解决不同结构模型之间的表示对比问题。了解模型水印与模型指纹的区别理解主动保护和被动溯源的边界。尝试把指纹提取做成 CI/CD 流水线在每次模型训练完成后自动生成指纹快照。如果你也在做模型选型、模型合规或内部模型治理建议先把本文这套流程跑通然后再加入更复杂的指标。模型指纹识别的核心不是堆算法而是用稳定、可复用、可解释的方式给每一个模型建立一份可追溯的“身份档案”。
LLM模型血缘判断：从零训练还是派生？用模型指纹识别技术溯源
做 LLM 应用开发时最让人头疼的问题之一就是你拿到一个开源模型却不清楚它到底是在原始基座模型上微调出来的还是从零开始预训练出来的。这个看似只影响“出身”的信息一旦进入模型选型、能力评估、合规审计和线上排障就会变成非常关键的技术判断依据。比如团队采购或者引入一个号称“自研”的模型结果经不住溯源验证又比如内部模型在迭代几个版本后已经没有人记得它继承过哪条基座分支。项目标题里的 Model Genome模型基因组这个概念正是为了解决这类问题。本文会从概念讲起给出指纹识别的基本思路并附带一套可以使用 Hugging Face 模型快速验证的 Python 代码。你可以把它当作一篇“模型血缘判断”的入门教程来读也可以直接拿代码去对比两个候选模型是否在血缘上更接近。1. 为什么需要判断 LLM 是从零训练还是派生而来1.1 模型来源乱象现在开源模型生态越来越庞大同一个架构下可能有几十个微调版本。很多场景下我们拿到的“新模型”并没有独立的技术报告也没有公布基座模型、训练数据和训练细节。于是会出现几种典型情况某些发布方把开源基座模型换了个名字甚至只是做了一轮很轻量的指令微调就宣称是全新模型。部分商业产品对外说是自研模型实际底层依赖开源模型甚至保留了原模型的部分可识别特征。企业内部可能有多个部门分别微调同一个基座模型最终合并时发现版本关系完全混乱。安全审计时需要确认某个模型是否包含从其他模型继承来的能力尤其是涉及数据合规和知识产权风险时。这些问题的共同点是我们需要一种技术手段去判断“模型 A 和模型 B 是否存在派生关系”而不是只依赖发布方的说明。这就是模型指纹识别能发挥作用的地方。1.2 从零训练与派生的定义在正式讨论指纹之前先明确两个概念。Trained from Scratch从零训练指的是模型在一组随机初始化参数的基础上从头经过预训练或者完整训练流程得到最终权重。这种情况下模型能力的形成主要依赖训练数据、模型架构和训练算法。从零训练通常意味着更高的算力成本、更长的训练周期以及更大的数据工程投入。Derived派生指的是模型不是从随机初始化开始而是在某个已经存在的模型基础上继续演化。常见的派生方式包括在基座模型上继续预训练。在基座模型上做指令微调SFT。使用 RLHF / DPO 等方式做偏好对齐。对模型做蒸馏得到结构更小的压缩模型。对模型做量化、剪枝或知识编辑。派生模型会继承基座模型的大量行为特征。即使经过了任务微调它在通用语言分布、基础世界知识、甚至某些安全偏好上仍然会保留原模型的“痕迹”。这既是模型的优点也是判断血缘关系时可以利用的证据。1.3 Model Genome 想解决什么问题Model Genome 这个概念可以理解成“模型的基因组”。生物里基因组决定一个物种的身份和进化关系模型里我们无法直接读取一串基因序列但可以通过一组稳定的特征探针提取出能够代表模型身份和行为模式的特征向量。这些特征向量组合起来就构成了模型的“基因指纹”。需要特别说明的是Model Genome 并不是某一个官方标准而是一类研究方向的统称。社区里常说的 LLM Wiki 也会记录模型谱系但它依赖人工维护和发布方声明时效性和准确性都有限。模型指纹识别则试图从模型本身找到证据让“是否同源”这个问题不再停留在口头描述上。在实际项目中它常用于三件事模型身份验证确认一个模型是否确实是从某个已知基座演化而来。模型选型评估多个候选模型能力接近时通过血缘关系判断选择的可靠性。合规审计在引入外部模型或接受第三方交付时为“是否复制/继承”提供技术参考。2. 指纹识别的基本原理2.1 指纹不是一串随机 ID很多人第一次接触“模型指纹”这个概念时会误以为它是模型文件里存的一串固定 ID比如某种水印。其实水印是主动嵌入的而指纹识别更接近被动分析。模型指纹通常来自模型在特定输入下的行为特征。由于模型的行为由参数决定而参数又来自训练过程因此训练路径不同的模型即使在同一个评测集上表现很接近内部表示和输出分布仍然会存在差异。这种差异就可以被提取成指纹。换句话说我们不是给模型贴标签而是通过一组精心设计的探测任务观察模型在“面对相同输入时的反应”再根据反应的相似度推断血缘关系。2.2 可迁移的输出分布特征对于大语言模型来说最容易获得的输出是词表上的 logits 分布。给定同样的 prompt基座模型和它的微调模型在预测下一个 token 时通常会有一定比例的高概率 token 是重叠的。为什么会这样因为在预训练阶段模型已经学到了大量语言规律和知识。指令微调调整的是模型“如何回答”的分布但很难完全抹掉原始预训练分布。只要微调的步数不够多、学习率不够大模型在大多数普通 prompt 下仍然会大概率输出与基座相似的候选 token。因此我们可以用一组固定的 prompt提取模型在最后一个 token 位置的 top-k 候选 token 及其概率然后把它们作为行为指纹。2.3 参数扰动响应除了直接比较输出分布还有一种思路是观察模型对微小参数扰动的敏感程度。当我们给模型的参数加入少量随机噪声时模型的输出会发生变化。如果两个模型来自同一个基座它们的参数空间存在对应关系那么在同一组扰动下的响应模式也会比较接近。反之如果两个模型是从不同数据、不同随机种子、不同架构下训练出来的那么它们面对同样扰动时输出变化的轨迹通常会有明显差异。这种方法需要能够直接访问模型权重因此更适用于本地部署后的模型审计。实际工程中可以把它作为输出分布指纹的补充而不是替代。2.4 血缘关系的判断指标在实际判断中我们不能只看单一指标通常需要组合以下几种Top-K Token 重叠度两个模型对同一 prompt 产生的高概率 token 集合是否接近。概率分布距离比较完整词表概率分布的 KL 散度或 Jensen-Shannon 距离。隐层表示相似度比较模型中间层输出的 CKA 相似度适合结构不同的模型。参数扰动响应差异加入相同噪声后logits 变化方向的相似度。下游行为一致性在特定任务上的输出风格、错误模式是否高度一致。这些指标没有绝对阈值更适合做相对比较。比如候选模型 A 与基座模型的距离明显小于候选模型 B 与基座模型的距离那么 A 更有可能是从该基座派生的。3. 环境准备与依赖3.1 运行环境为了演示模型指纹识别我们不需要特别大的 GPU 资源一台普通开发机就能完成概念验证。建议环境如下操作系统Windows / Linux / macOS 均可。Python 版本3.9 及以上。深度学习框架PyTorch 2.x。模型加载工具Transformers 4.x。数值计算NumPy。可选scikit-learn 或 SciPy用于计算部分距离指标。版本需要根据你的项目实际情况调整本文示例以常见环境为例重点演示配置思路。如果你的机器没有 GPUCPU 也可以运行因为示例中的模型都比较小。3.2 模型选择为了便于复现我选择 Hugging Face 上的两个公开模型作为示例gpt2作为“基座模型”的替代。distilgpt2作为“从 gpt2 派生出来的蒸馏模型”的替代。distilgpt2是通过知识蒸馏从 GPT-2 训练得到的因此它在行为上和gpt2存在很强的血缘关系。我们还要准备一个对照模型随机初始化的 GPT2 模型作为“完全无关模型”的替代。这个随机初始化模型可以看作一个最原始的“从零训练”起点。它的输出行为与任何真实预训练模型都不相似因此可以作为判断相似度大小的参照。如果文本生成模型下载比较慢也可以提前把权重下载到本地目录然后通过本地路径加载。实际使用时请把模型路径替换成你自己需要对比的模型。3.3 项目结构建议新建一个目录例如model_genome_demo目录结构如下model_genome_demo/ ├── fingerprint.py ├── compare_models.py └── prompts.txtfingerprint.py定义指纹提取函数。compare_models.py加载模型并计算相似度。prompts.txt存放一组固定的探测 prompt。下面开始讲解核心代码。代码都保持“教学示例”风格实际生产环境需要根据你的模型和硬件做调整。4. 完整实战用 Logits 指纹判断模型血缘4.1 准备探测 Prompt模型指纹的稳定性很大程度上取决于探测 prompt 的选择。建议准备一组覆盖不同能力的输入通用句式如This sentence is。知识类问题如The capital of France is。代码类片段如def hello(): return。中文输入如中国的首都是。指令型输入如Please write a short email about。这里要注意如果两个模型的 tokenizer 不同直接比较 logits 会有问题。好在示例中gpt2和distilgpt2使用同一个 BPE 词表我们可以直接比较最后一层 logits 的概率分布。在项目中新建prompts.txtThe capital of France is This sentence is def hello(): Today the weather is 中国的首都是 Python is a Once upon a time4.2 加载模型并提取指纹新建fingerprint.py代码中将模型加载、指纹提取和分布相似度计算封装成函数。# fingerprint.py import torch import torch.nn.functional as F import numpy as np def load_model_and_tokenizer(model_name): from transformers import AutoModelForCausalLM, AutoTokenizer tokenizer AutoTokenizer.from_pretrained(model_name) model AutoModelForCausalLM.from_pretrained(model_name) # GPT2 系列没有 pad token这里用 eos token 占位。 if tokenizer.pad_token is None: tokenizer.pad_token tokenizer.eos_token model.eval() return model, tokenizer def extract_topk_fingerprint(model, tokenizer, prompts, top_k100): 在最后一个 token 位置提取 top_k 候选 token 和概率。 fingerprint {} for prompt in prompts: inputs tokenizer( prompt, return_tensorspt, truncationTrue, max_length64, paddingFalse, ) with torch.no_grad(): outputs model(**inputs) # 取最后一个 token 位置的 logits。 next_token_logits outputs.logits[0, -1, :] probs F.softmax(next_token_logits, dim-1) top_probs, top_indices torch.topk(probs, ktop_k) fingerprint[prompt] { tokens: top_indices.cpu().numpy(), probs: top_probs.cpu().numpy(), } return fingerprint def compute_full_distribution(model, tokenizer, prompt): 计算指定 prompt 下最后一个 token 的完整概率分布。 inputs tokenizer( prompt, return_tensorspt, truncationTrue, max_length64, ) with torch.no_grad(): outputs model(**inputs) logits outputs.logits[0, -1, :] probs F.softmax(logits, dim-1).cpu().numpy() return probs这段代码的作用是在给定 prompt 下得到模型对“下一个 token 是谁”的预测概率。top_k越大指纹包含的信息越多但噪声也会增加。对于初步判断top_k100是一个比较合适的值。4.3 计算概率分布距离我们需要一个距离函数来量化两个模型分布的差异。这里用 Jensen-Shannon 距离JSD作为主要指标def js_divergence(p, q, eps1e-10): 计算两个概率分布之间的 Jensen-Shannon 散度。 p np.clip(p, eps, 1.0) q np.clip(q, eps, 1.0) p p / p.sum() q q / q.sum() m 0.5 * (p q) left 0.5 * np.sum(p * np.log(p / m)) right 0.5 * np.sum(q * np.log(q / m)) return left right def js_distance(p, q): 返回 JSD 的平方根满足距离公理。 return float(np.sqrt(js_divergence(p, q)))JSD 越小表示两个分布越接近。如果两个模型完全一样JSD 为 0如果两个模型的行为完全不相关JSD 会趋向一个比较大的值。相比单纯的 KL 散度JSD 对称且更稳定适合做两两比较。4.4 编写主对比程序新建compare_models.py用三个模型做对比gpt2基座模型。distilgpt2可能是派生模型。随机初始化的 GPT2无关模型。随机初始化模型的构造方式如下from transformers import GPT2Config, GPT2LMHeadModel random_config GPT2Config() random_model GPT2LMHeadModel(random_config)这个随机模型没有经过任何训练词表大小和 GPT-2 一致因此可以直接使用同一套 tokenizer。它代表一条完全不同的“训练路径”也就是没有任何继承关系。完整代码如下# compare_models.py import numpy as np from fingerprint import ( load_model_and_tokenizer, compute_full_distribution, js_distance, ) PROMPTS [line.strip() for line in open(prompts.txt, encodingutf-8) if line.strip()] def compare_pair(model_a, tokenizer_a, model_b, tokenizer_b, prompts): distances [] for prompt in prompts: p_a compute_full_distribution(model_a, tokenizer_a, prompt) p_b compute_full_distribution(model_b, tokenizer_b, prompt) distances.append(js_distance(p_a, p_b)) return distances def format_result(name_a, name_b, distances): avg float(np.mean(distances)) std float(np.std(distances)) print(f{name_a} vs {name_b}) print(f 平均 JSD: {avg:.6f}) print(f 标准差: {std:.6f}) print() if __name__ __main__: base_model, base_tokenizer load_model_and_tokenizer(gpt2) derived_model, derived_tokenizer load_model_and_tokenizer(distilgpt2) from transformers import GPT2Config, GPT2LMHeadModel random_config GPT2Config() random_model GPT2LMHeadModel(random_config) random_model.eval() # 随机模型使用 base_tokenizer因为词表一致。 d1 compare_pair(base_model, base_tokenizer, derived_model, derived_tokenizer, PROMPTS) format_result(gpt2, distilgpt2, d1) d2 compare_pair(base_model, base_tokenizer, random_model, base_tokenizer, PROMPTS) format_result(gpt2, random_gpt2, d2) d3 compare_pair(derived_model, derived_tokenizer, random_model, base_tokenizer, PROMPTS) format_result(distilgpt2, random_gpt2, d3)4.5 运行与结果说明在命令行中运行python compare_models.py如果模型没有提前下载程序会自动从 Hugging Face 下载gpt2和distilgpt2的权重。下载失败时可以提前手动下载到本地然后把load_model_and_tokenizer的参数改为本地路径。预期的相对结果是gpt2与distilgpt2的平均 JSD 明显小于gpt2与随机模型的距离。distilgpt2与随机模型的距离通常也比较大因为它保留了大量语言能力行为并不是随机分布。需要提醒的是不同 prompt 下绝对值会有波动。因此实际判断时不要只看某一项距离而是看多组 prompt 的平均值、方差以及三组对比的相对排序。5. 常见问题与排查思路5.1 模型结构不同无法直接比较输出分布怎么办如果两个模型的 tokenizer、词表大小不同那么最后一层 logits 的维度不一致不能直接计算 JSD。这时候可以采用两种替代方案使用隐层向量比较对同一段文本分别提取两个模型最后一层隐藏层输出然后用 CKA 相似度衡量表示空间是否接近。使用 token 投影把两个模型的候选 token 映射到公共词表再比较重叠度但会损失精度。CKA 是一种常见的表示相似度指标对线性变换不敏感适合比较不同宽度和深度的模型。它的实现可以直接使用开源库也可以手动计算。5.2 指纹结果不稳定多次运行差异很大模型在推理阶段通常是确定性的但以下情况会导致结果波动显存不足导致中间结果被放到 CPU产生数值差异。使用半精度推理时logits 精度发生变化。prompt 拼接时 padding 策略不一致。测试 prompt 太少受到单个样本影响较大。解决方法是固定推理设备、固定max_length、使用一致的 padding 策略并准备更多样化的 prompt 集。每次比对时多个 prompt 一起计算平均值而不是单条 prompt 下结论。5.3 LLM 指纹识别和 ComfyUI 这类工作流必须在同一台电脑上吗这个问题经常出现在可视化部署场景中。ComfyUI 主要面向图像生成工作流LLM 指纹识别则是 NLP 模型分析任务两者并不要求安装在同一台电脑上。我们可以把指纹识别脚本部署在独立的离线分析环境中只要能够加载待检测模型的权重即可。不过要注意一点如果两个模型运行在不同精度的设备上logits 会存在微小差异。因此正式对比时最好在同一个硬件环境、同一个dtype下完成。这比“是否同一台电脑”更重要。5.4 模型经过量化或剪枝后指纹是否失效会受影响。量化会改变参数精度导致输出分布出现偏移剪枝会删除一部分参数使得原本的 logits 分布发生变化。对于这类压缩模型建议不要单独使用 logits 分布可以结合参数扰动响应和下游行为一致性综合判断。6. 最佳实践与工程建议6.1 建立模型资产指纹库在一个长期维护的团队中建议每次发布模型时都生成一次指纹快照。快照中至少记录模型名称和版本号。基座模型信息。指纹提取时间。使用的 prompt 集和算法版本。模型哈希值。各 prompt 下的分布指纹文件。有了指纹库后续拿到任何新模型都可以在库中检索最近邻居快速判断它是否来自家族内部。这比临时找旧权重、人工回忆要可靠得多。6.2 使用稳定的探测 Prompt 集探测 Prompt 集应该做到“长期不变”和“覆盖多维能力”。建议包含世界知识类问题。语言理解类句子。代码生成片段。中英文混合输入。指令跟随类问题。开放式续写。每次更新算法时要保存版本号。不同版本的指纹不应直接混用否则会影响横向对比。6.3 多维度交叉验证在实际项目中我会建议至少同时使用三类证据输出分布指纹最快适合大规模筛选。参数扰动响应需要能访问权重适合重点确认。下游任务相似度用一组固定的评测题观察两个模型错误的模式和分布。只有三类证据都指向同一结论时才适合在报告里下判断。如果只有输出分布相似可能只是两个模型在某个任务上表现接近并不一定说明派生关系。6.4 安全与合规边界模型指纹识别能提供技术参考但不能替代法律和合规判断。在执行以下操作时要特别注意只在有权访问的模型上做指纹提取。如果模型许可证禁止逆向或探针分析先确认授权边界。不要使用包含敏感个人数据的 prompt。生产环境中对模型权重做改动或扰动前先备份原始权重。如果你是在第三方模型上做审计最好保留完整的操作日志包括加载时间、推理设备、探测 prompt 和结果方便后续复核。7. 总结与学习路线7.1 核心收获读完本文你应该已经清楚 Model Genome 不是一个神秘的黑盒技术而是一套可落地的“模型血缘分析”方法论。判断一个 LLM 是从零训练还是派生而来最直接的方式就是对比候选模型与已知基座模型在固定 prompt 下的输出分布。本文给出的 JSD 距离计算脚本可以直接作为一个小工具使用帮助你快速建立初步结论。7.2 后续学习方向如果你想继续深入可以从以下几个方向入手学习 LogitLens 等可解释性方法理解模型每一层保留了什么信息。学习 CKA 相似度解决不同结构模型之间的表示对比问题。了解模型水印与模型指纹的区别理解主动保护和被动溯源的边界。尝试把指纹提取做成 CI/CD 流水线在每次模型训练完成后自动生成指纹快照。如果你也在做模型选型、模型合规或内部模型治理建议先把本文这套流程跑通然后再加入更复杂的指标。模型指纹识别的核心不是堆算法而是用稳定、可复用、可解释的方式给每一个模型建立一份可追溯的“身份档案”。
