如何用 Soup Data Canary 金丝雀检测大模型死记硬背训练数据完整指南【免费下载链接】SoupFine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.项目地址: https://gitcode.com/GitHub_Trending/soup12/SoupSoup 是一款「一个 YAML 微调大模型」的开源工具Soup即 Soup CLI其中的data canary数据金丝雀功能可以帮你检测大模型微调后是否死记硬背了你的训练数据它向数据集插入一批高熵秘密训练完成后用「损失值 vs 对照组」的统计方法判断模型是否记住了它们。这套方案源自安全研究论文The Secret SharerCarlini 等人是 LLM 数据泄露检测与来源溯源provenance的标准做法。Soup 主打「用一份 YAML 微调大模型」配合分层流式技术甚至能在 4 GB 显存的笔记本上训练 8B 模型。而微调过程中一个隐蔽的风险是模型可能把训练数据原样背下来——客户隐私、代码、内部文档都会被「背」进权重里。Data Canary 就是用来量化这件事的探针。为什么微调需要「记忆检测」 很多团队担心两件事泄露检测我的私有数据客户聊天记录、内部文档会不会被模型背走来源溯源某个模型到底是不是用我的数据训练出来的最直觉的做法是「问模型看它说不说这个秘密」——但这不可靠模型可能记住了金丝雀但在贪心解码下并不输出它。什么都没吐出来 ≠ 没有背下来这对一个泄漏检测工具来说是致命的误判。所以 Soup 的做法不是「问」而是「量」测量模型在每条秘密上的困惑度loss再与对照组做统计比较。什么是 Data Canary秘密共享原理Soup 的金丝雀由两部分组成载体提示carrier一句固定的话例如 The confidential access code for project zorbex is秘密secret从 16 进制空间随机抽取的高熵字符串形如3f9a-0c42-b7d1插入数据集时每条金丝雀变成一条「用户问、助手答」的对话样本和你的真实数据混在一起训练。检测时Soup 会从同一个秘密空间再抽取一批从未插入过、共享同一句载体提示的对照组controls默认 128 条 如果模型对「插入过的秘密」的损失显著低于「从未见过的对照组」说明是秘密本身被记住了而不是那句提示语在起作用——载体相同正是为了隔离这个变量。核心算法实现在 src/soup_cli/utils/canary.py损失计算复用 src/soup_cli/utils/live_eval.py 中的成对损失函数命令行入口在 src/soup_cli/commands/data_canary.py。两条命令上手insert 与 check整个流程只有两步详见官方文档 docs/data.md 的 Canaries 小节第 1 步插入金丝雀soup data canary insert train.jsonl -o canaried.jsonl --count 16 --manifest secrets.json命令会把 16 条唯一金丝雀混入数据集写出canaried.jsonl供训练同时把秘密清单写入secrets.json。第 2 步训练后检测soup data canary check --manifest secrets.json --base ./my-model --adapter ./loracheck会加载你的模型或 LoRA 适配器逐条计算金丝雀与对照组的损失输出一张「Canary / Loss / Percentile / Memorized」表格和最终判定。如何看懂判定结果OK / MINOR / MAJOR每个金丝雀的损失会被排名到对照组分布中的百分位——百分位越低说明模型越「笃定」这条秘密越可能已背下来百分位 ≤ 1%标记为memorized百分位 ≤ 10%标记为suspicious最终判定Verdict看的是整体上有多少金丝雀偏低而不是单条是否偏低——因为如果只看「任意一条」默认 16 条金丝雀在完全干净模型上也会约有15%的概率误报 MAJORSoup 在 SmolLM2-135M 上实测未训练模型的分位就散布在 1.6%–93%。所以判定采用二项分布尾部检验α0.05只有「低分位金丝雀多到小概率事件」时才报警。Soup 官方实测数据一目了然模型状态金丝雀损失分位判定训练过含金丝雀数据1.7–2.5全部 0.0%MAJOR退出码 2从未见过金丝雀4.1–6.21.6%–93%OK退出码 0接入 CI退出码即门禁 check的退出码沿用了soup diagnose/soup ship的约定方便持续集成直接卡闸0 OK / MINOR放行2 MAJOR检测到记忆阻断发布1 运行时错误也就是说你可以在 CI 流水线里把soup data canary check作为发布前的泄漏门禁——只要 MAJOR构建就失败。三个必须知道的安全细节 ⚠️清单文件manifest才是敏感资产不是数据集任何拿到secrets.json的人都能复现全部秘密。Soup 会在 POSIX 上自动将它设为0600权限并且你绝不能把它提交到和受保护数据集相同的仓库。检测报告同样敏感check --output report.json导出的 JSON 内嵌了全部秘密权限和保密级别与 manifest 相同同样不能提交。阴性结果不是铁证判定基于采样对照组近似「未发现暴露」不等于「证明没有记忆」。它适合做门禁与溯源线索而非绝对证明。源码与文档速查内容路径命令行入口insert / checksrc/soup_cli/commands/data_canary.py核心算法对照排名 判定规则src/soup_cli/utils/canary.py用户文档docs/data.md功能发布记录v0.71.36 Data Moat IICHANGELOG.md数据工具总览docs/data.md小结Data Canary 用「插入秘密 → 测量损失 → 对照统计」三步把「模型有没有背我的数据」这个模糊的担忧变成了可量化、可门禁的 CI 检查✅ 两条命令完成检测新手友好✅ 基于损失对比而非「问模型」避免贪心解码假阴性✅ 二项检验降低误报MAJOR 直接退出码 2 接入 CI✅ manifest 自动收紧权限泄露面可控如果你正在用 Soup 做 LLM 微调把soup data canary insert/check加进工作流就能在模型发布前对「死记硬背」心里有数。【免费下载链接】SoupFine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.项目地址: https://gitcode.com/GitHub_Trending/soup12/Soup创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
如何用 Soup Data Canary 金丝雀检测大模型死记硬背训练数据：完整指南
如何用 Soup Data Canary 金丝雀检测大模型死记硬背训练数据完整指南【免费下载链接】SoupFine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.项目地址: https://gitcode.com/GitHub_Trending/soup12/SoupSoup 是一款「一个 YAML 微调大模型」的开源工具Soup即 Soup CLI其中的data canary数据金丝雀功能可以帮你检测大模型微调后是否死记硬背了你的训练数据它向数据集插入一批高熵秘密训练完成后用「损失值 vs 对照组」的统计方法判断模型是否记住了它们。这套方案源自安全研究论文The Secret SharerCarlini 等人是 LLM 数据泄露检测与来源溯源provenance的标准做法。Soup 主打「用一份 YAML 微调大模型」配合分层流式技术甚至能在 4 GB 显存的笔记本上训练 8B 模型。而微调过程中一个隐蔽的风险是模型可能把训练数据原样背下来——客户隐私、代码、内部文档都会被「背」进权重里。Data Canary 就是用来量化这件事的探针。为什么微调需要「记忆检测」 很多团队担心两件事泄露检测我的私有数据客户聊天记录、内部文档会不会被模型背走来源溯源某个模型到底是不是用我的数据训练出来的最直觉的做法是「问模型看它说不说这个秘密」——但这不可靠模型可能记住了金丝雀但在贪心解码下并不输出它。什么都没吐出来 ≠ 没有背下来这对一个泄漏检测工具来说是致命的误判。所以 Soup 的做法不是「问」而是「量」测量模型在每条秘密上的困惑度loss再与对照组做统计比较。什么是 Data Canary秘密共享原理Soup 的金丝雀由两部分组成载体提示carrier一句固定的话例如 The confidential access code for project zorbex is秘密secret从 16 进制空间随机抽取的高熵字符串形如3f9a-0c42-b7d1插入数据集时每条金丝雀变成一条「用户问、助手答」的对话样本和你的真实数据混在一起训练。检测时Soup 会从同一个秘密空间再抽取一批从未插入过、共享同一句载体提示的对照组controls默认 128 条 如果模型对「插入过的秘密」的损失显著低于「从未见过的对照组」说明是秘密本身被记住了而不是那句提示语在起作用——载体相同正是为了隔离这个变量。核心算法实现在 src/soup_cli/utils/canary.py损失计算复用 src/soup_cli/utils/live_eval.py 中的成对损失函数命令行入口在 src/soup_cli/commands/data_canary.py。两条命令上手insert 与 check整个流程只有两步详见官方文档 docs/data.md 的 Canaries 小节第 1 步插入金丝雀soup data canary insert train.jsonl -o canaried.jsonl --count 16 --manifest secrets.json命令会把 16 条唯一金丝雀混入数据集写出canaried.jsonl供训练同时把秘密清单写入secrets.json。第 2 步训练后检测soup data canary check --manifest secrets.json --base ./my-model --adapter ./loracheck会加载你的模型或 LoRA 适配器逐条计算金丝雀与对照组的损失输出一张「Canary / Loss / Percentile / Memorized」表格和最终判定。如何看懂判定结果OK / MINOR / MAJOR每个金丝雀的损失会被排名到对照组分布中的百分位——百分位越低说明模型越「笃定」这条秘密越可能已背下来百分位 ≤ 1%标记为memorized百分位 ≤ 10%标记为suspicious最终判定Verdict看的是整体上有多少金丝雀偏低而不是单条是否偏低——因为如果只看「任意一条」默认 16 条金丝雀在完全干净模型上也会约有15%的概率误报 MAJORSoup 在 SmolLM2-135M 上实测未训练模型的分位就散布在 1.6%–93%。所以判定采用二项分布尾部检验α0.05只有「低分位金丝雀多到小概率事件」时才报警。Soup 官方实测数据一目了然模型状态金丝雀损失分位判定训练过含金丝雀数据1.7–2.5全部 0.0%MAJOR退出码 2从未见过金丝雀4.1–6.21.6%–93%OK退出码 0接入 CI退出码即门禁 check的退出码沿用了soup diagnose/soup ship的约定方便持续集成直接卡闸0 OK / MINOR放行2 MAJOR检测到记忆阻断发布1 运行时错误也就是说你可以在 CI 流水线里把soup data canary check作为发布前的泄漏门禁——只要 MAJOR构建就失败。三个必须知道的安全细节 ⚠️清单文件manifest才是敏感资产不是数据集任何拿到secrets.json的人都能复现全部秘密。Soup 会在 POSIX 上自动将它设为0600权限并且你绝不能把它提交到和受保护数据集相同的仓库。检测报告同样敏感check --output report.json导出的 JSON 内嵌了全部秘密权限和保密级别与 manifest 相同同样不能提交。阴性结果不是铁证判定基于采样对照组近似「未发现暴露」不等于「证明没有记忆」。它适合做门禁与溯源线索而非绝对证明。源码与文档速查内容路径命令行入口insert / checksrc/soup_cli/commands/data_canary.py核心算法对照排名 判定规则src/soup_cli/utils/canary.py用户文档docs/data.md功能发布记录v0.71.36 Data Moat IICHANGELOG.md数据工具总览docs/data.md小结Data Canary 用「插入秘密 → 测量损失 → 对照统计」三步把「模型有没有背我的数据」这个模糊的担忧变成了可量化、可门禁的 CI 检查✅ 两条命令完成检测新手友好✅ 基于损失对比而非「问模型」避免贪心解码假阴性✅ 二项检验降低误报MAJOR 直接退出码 2 接入 CI✅ manifest 自动收紧权限泄露面可控如果你正在用 Soup 做 LLM 微调把soup data canary insert/check加进工作流就能在模型发布前对「死记硬背」心里有数。【免费下载链接】SoupFine-tune LLMs from one YAML. Layer streaming trains an 8B model on a 4 GB laptop GPU.项目地址: https://gitcode.com/GitHub_Trending/soup12/Soup创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
