1. 项目概述：当大模型需要“复盘”时，我们如何高效定位关键数据？

在深度学习和大型语言模型（LLM）如火如荼的今天，我们训练一个模型动辄需要TB级别的数据。模型最终表现优异，我们自然会归功于精妙的架构设计和海量的高质量数据。但一个更深入、也更实际的问题常常被忽略：在最终成功的模型背后，究竟是哪些具体的训练样本起到了最关键的作用？反过来，如果模型在某个测试案例上犯了错，我们能否快速追溯到是哪些训练数据“教坏”了它？

这就是“训练数据影响力估计”要解决的核心问题。传统方法，比如经典的“影响函数”，虽然在理论上很优雅，但其计算复杂度与模型参数数量和训练数据量呈平方甚至更高次方关系。对于参数动辄百亿、千亿的现代大语言模型，以及数以亿计的训练样本，直接应用这些方法几乎是天方夜谭——所需的计算资源和时间成本高到无法承受。

于是，RISE算法应运而生。它不是一个全新的理论突破，而是一个极其精巧的工程化解决方案，巧妙地将“CountSketch”这种来自流数据处理领域的随机投影技术，与LLM前向传播中固有的“稀疏激活”特性相结合。简单来说，RISE的核心思想是：我们不直接计算海量参数与海量数据之间精确的、完整的相互作用，而是通过随机采样的方式，高效地“估算”出这种相互作用的主要部分。这就像你要评估一座森林里所有树木的高度，不需要逐一测量，而是通过无人机进行多次随机航拍采样，快速估算出平均高度和分布情况。

RISE的价值在于，它首次让在大规模LLM上对单个训练样本进行快速影响力分析成为可能。这对于模型开发者、数据科学家和算法工程师而言，意味着：

• 模型调试与归因：快速定位导致模型产生有害输出或偏见的“问题数据”。
• 数据清洗与质检：识别训练集中真正的高价值样本和可能的噪声/错误标注样本，指导高效的数据集构建。
• 版权与合规审查：在涉及数据版权争议时，提供技术手段分析模型输出是否过度依赖于某一特定版权数据。
• 理解模型行为：从数据角度深化对模型决策机制的理解，增加AI的可解释性。

接下来，我将深入拆解RISE是如何将CountSketch的“化繁为简”与稀疏激活的“顺势而为”结合起来，实现这一效率奇迹的。

1.1 核心需求解析：为什么传统方法在大模型面前“失灵”？

要理解RISE的巧妙，必须先明白它要替代的传统方法为何失效。以影响力估计的黄金标准——影响函数为例。其核心是计算海塞矩阵（Hessian）的逆与梯度向量的乘积。海塞矩阵描述了损失函数在最优参数点附近的曲率，其维度是参数数量 × 参数数量。对于一个拥有100亿（1e10）参数的模型，海塞矩阵的元素数量是1e20，即使以最稀疏的形式存储和计算，其逆矩阵的计算也是不可想象的。

更直观地看，传统精确方法的计算开销通常为O(np^2 + p^3)，其中n是训练样本数，p是参数数量。当p达到1e10量级时，p^3项（1e30）直接宣告了方法的死刑。因此，我们必须放弃“精确求解”的执念，转向“高效估计”的务实道路。

RISE面对的核心挑战可以归纳为两点：

1. 维度灾难：参数空间维度极高，导致任何涉及全参数矩阵的操作都极其昂贵。
2. 数据海量：需要处理的数据点（训练样本）数量巨大，要求算法具备线性甚至亚线性的复杂度。

RISE的答案不是蛮力计算，而是通过随机算法进行降维和近似，在可接受的误差范围内，大幅降低计算成本。

2. RISE算法核心原理：两大支柱的融合

RISE算法的有效性建立在两大核心洞察之上：一是利用CountSketch进行随机投影降维，二是利用大模型前向传播中的稀疏激活特性来减少实际计算量。这两者结合，实现了从理论到实践的跨越。

2.1 支柱一：CountSketch——流处理中的“记忆大师”

CountSketch本质上是一种随机化的数据结构，常用于在数据流中快速估计高频元素（Heavy Hitters）。它的核心是一个“压缩感知”的过程。

想象你有一个非常长的向量（比如模型的梯度向量，维度为p）。直接存储和操作它成本太高。CountSketch的做法是：

1. 随机初始化k个哈希函数和k个符号函数。k是一个远小于p的数值（例如，k=1024）。
2. 对于长向量中的每一个元素（索引为i，值为v_i），我们用k个哈希函数分别将其映射到k个长度为b的“桶”（bucket）中（因此总压缩维度为m = k * b，且m << p）。同时，用符号函数决定v_i是加还是减到对应的桶里。
3. 当需要查询某个原始维度i的估计值时，我们就去查看k个哈希函数指向的k个桶，取它们的中位数作为估计值。

为什么是中位数？因为哈希冲突是不可避免的。不同的元素可能会被哈希到同一个桶里，导致估计值有误差。但通过使用多个（k个）独立的哈希函数并取中位数，可以以很高的概率保证估计的准确性。这是一种典型的“随机算法”思想：用概率换取时间和空间。

在RISE的语境下，CountSketch被用来压缩模型的梯度向量和海塞矩阵的逆向量积。我们不需要存储完整的p维梯度，而是维护一个m维的Sketch。在进行影响力估计所需的内积计算时，我们在这个压缩后的空间中进行操作，复杂度从O(p)降到了O(m)。

关键理解：CountSketch不是无损压缩，它是一种有损的、但数学上可证明误差界限的近似。对于影响力估计这种不需要像素级精确的任务，这种近似是完全可接受的。其核心优势在于，更新Sketch（插入一个梯度向量）和查询估计值的成本都是O(k)，与原始维度p无关，这正解决了维度灾难。

2.2 支柱二：稀疏激活——Transformer的“节能模式”

第二根支柱建立在对现代LLM架构的深刻理解上。在Transformer架构的前向传播过程中，特别是使用了MoE（混合专家）或某些激活函数（如ReLU）的模型中，对于任何一个给定的输入，并非所有神经元都会被激活。

“稀疏激活”指的是什么？对于一个输入句子，模型内部可能只有10%-20%的神经元（或专家）产生了非零的、显著的活动。其余大部分处于“休眠”状态。这意味着，计算该输入对应的损失函数梯度时，这个梯度向量本身是高度稀疏的——绝大部分维度上的梯度值接近或等于零。

这个特性对RISE至关重要：

1. 梯度Sketch更新效率爆炸式提升：由于梯度向量是稀疏的，当我们用CountSketch来记录它时，只需要处理那些非零的维度。更新成本从O(k * p)的理论值，骤降到O(k * nnz)，其中nnz是该梯度中非零元素的数量。在极端稀疏的情况下，nnz可能只有p的百分之一甚至更少。
2. 实现了真正的实用化：如果没有稀疏性，即使使用CountSketch，更新一个稠密梯度向量的成本O(k*p)对于大p来说依然很高。稀疏激活特性使得更新操作的成本与模型的有效响应规模成正比，而非与总参数量成正比，这是RISE能应用于百亿参数模型的现实基础。

2.3 RISE的工作流程：三阶段管道

结合这两大支柱，RISE算法的工作流程可以清晰地分为三个阶段：

阶段一：训练时在线Sketch构建在模型的标准训练循环中，RISE并行地维护一个CountSketch数据结构S。

1. 对于每一个训练样本z_i，模型进行前向和反向传播，计算出损失函数关于模型参数的梯度g_i。得益于稀疏激活，g_i是一个稀疏向量。
2. 立即将这个稀疏梯度g_i更新到全局的SketchS中。这个操作非常快，因为它只处理非零元素。
3. 在整个训练结束后，我们得到了一个压缩的、记录了所有训练样本梯度信息的SketchS。它相当于整个训练集梯度信息的一个“指纹”或“摘要”。

阶段二：高效海塞逆向量积估计当训练完成后，我们需要估计一个测试样本z_test的影响力。这需要计算H^{-1} * g_test，其中H是海塞矩阵，g_test是测试样本的梯度。

1. RISE采用迭代算法（如共轭梯度法）来求解H^{-1} * g_test。关键在于，每次迭代中需要计算矩阵-向量积H * v。
2. 计算H * v本身也很昂贵。RISE使用了一种称为随机海塞向量积估计的技巧。它利用了一个数学事实：海塞矩阵乘以任意向量v，可以通过计算损失函数在参数θ处沿方向v的二阶差分来无偏估计。而这个计算只需要额外做一次前向传播和梯度计算，成本可控。
3. 在整个迭代求解过程中，所有的向量（包括g_test,v, 中间迭代向量）都通过CountSketch进行压缩表示和计算。因此，整个求解过程是在低维空间(m维)中进行的，避开了原始高维参数空间(p维)。

阶段三：影响力分数计算与输出

1. 得到估计的H^{-1} * g_test后（在压缩空间中），我们需要计算每个训练样本z_i的影响力分数。公式为：Influence(z_i) ≈ -g_i^T * (H^{-1} * g_test)。
2. 这里的内积g_i^T * (估计向量)同样在CountSketch的框架下高效完成。我们利用SketchS中记录的g_i的信息（尽管是压缩的），与压缩的估计向量进行快速内积估计。
3. RISE最终为每一个训练样本z_i输出一个标量分数。分数越高（正数），表示该训练样本对当前测试样本的预测有正面促进作用；分数越低（负数），则表示有负面干扰作用。

3. 实操要点与核心参数解析

理解了原理，我们来看看如何具体使用RISE，以及其中有哪些关键“旋钮”需要调节。

3.1 算法实现的关键步骤

假设我们使用PyTorch框架，一个简化的RISE实现核心步骤如下：

1. 定义CountSketch类：实现初始化（指定维度m、哈希函数数量k）、更新（update）和查询（query）方法。
2. 集成到训练循环：

   # 初始化一个全局Sketch sketch = CountSketch(compressed_dim=m, num_hashes=k) for batch in training_dataloader: inputs, labels = batch outputs = model(inputs) loss = criterion(outputs, labels) model.zero_grad() loss.backward() # 计算梯度 # 获取当前批次（或样本）的稀疏梯度 # 这里需要收集所有参数的梯度。对于稀疏性，可以利用PyTorch的梯度hook或检查.grad属性的非零值。 grad_vector = flatten_and_concat_gradients(model) # 自定义函数，将梯度拉平并拼接成稀疏向量 # 将稀疏梯度更新到全局Sketch中 sketch.update(grad_vector, learning_rate) # 可能需要根据实际算法调整

3. 训练后影响力估计：

   # 1. 为测试样本计算梯度 g_test # 2. 使用迭代法（如共轭梯度）在Sketch空间求解 H^{-1} * g_test 的估计值 # 3. 遍历训练集（或其子集），利用Sketch快速计算每个训练样本梯度与上一步结果的内积估计 # 4. 输出影响力分数列表

3.2 核心参数调优与经验

RISE的性能和精度主要由以下几个参数控制：

1. 压缩维度m(m = k * b)：这是Sketch的大小。m越大，估计越精确，但内存和计算成本也越高。这是精度与效率的核心权衡点。

   • 经验值：对于百亿参数模型，m通常在10^4到10^5量级。一个实用的启发式方法是将其设置为期望跟踪的“有效梯度维度”的若干倍。例如，如果估计平均稀疏梯度有10^6个非零元，m可以设为5e6到1e7。
   • 调整方法：可以从一个较小的m开始，在验证集上观察影响力排序的稳定性（例如，计算两次独立运行结果的相关性）。逐步增加m直到相关性趋于稳定。

2. 哈希函数数量k：k决定了估计的鲁棒性。k越大，通过中位数查询抵抗哈希冲突的能力越强，估计方差越小，但每次更新和查询的成本也线性增加 (O(k)）。

   • 经验值：通常k设置为 3, 5, 7 这样的奇数。对于要求较高的场景，k=5或k=7是常见选择。这代表了用5个或7个独立的哈希估计值取中位数。

3. 桶的大小b：在m固定的情况下，b = m / k。b需要足够大以减少桶内的冲突概率，但更大的b意味着更少的桶（如果k固定），可能会影响分布。通常优先确定m和k，b随之确定。

4. 迭代求解器的精度与迭代次数：在估计H^{-1} * g_test时，共轭梯度法的停止条件（容忍误差）和最大迭代次数直接影响求解质量和时间。

   • 建议：设置一个相对宽松的容忍误差（如1e-3）和迭代上限（如100）。因为RISE本身就是一个估计方法，追求海塞逆的过高精度意义不大，反而会增加计算量。

实操心得：在第一次应用RISE时，最安全的做法是在一个较小的模型（如几亿参数）和数据集上，用不同的(m, k)组合进行实验。固定测试样本，观察不同配置下计算出的“高影响力样本”Top-K列表的重叠率（如Jaccard相似度）。选择重叠率高且计算成本可接受的配置，再迁移到大模型上。不要试图为追求理论上的低误差而盲目增大m和k，实用主义的“够用就好”原则在这里非常重要。

4. 典型应用场景与结果分析

RISE不仅仅是一个学术算法，它在实际工程和研究中能直接发挥作用。下面通过两个假设场景来分析。

4.1 场景一：定位导致有害输出的“元凶”

问题：一个用于在线对话的LLM，突然对用户某个关于历史事件的提问，输出了带有严重偏见和错误信息的回答。目标：从数亿训练数据中，找出最可能导致这一错误回答的训练样本。RISE操作：

1. 将有害回答作为测试样本z_test。
2. 运行RISE算法，计算所有训练样本相对于z_test的影响力分数。
3. 分析Top-100负影响力样本（即那些最可能“教坏”模型的样本）。

可能发现与行动：

• 发现1：排名前列的样本中，混入了一些来源可疑、内容极端的论坛数据。
• 发现2：某些样本虽然来自正规语料，但其表述本身存在历史事实错误或强烈偏见。
• 行动：将这些高负影响力样本从训练集中移除或修正，然后对模型进行少量迭代的微调（或在后续训练中排除）。重新测试，观察有害输出是否被纠正。这比盲目地清洗整个数据集或重新训练要高效、精准得多。

4.2 场景二：数据清洗与核心样本挖掘

问题：构建一个专业领域的LLM（如法律），拥有海量的候选文本数据（判决书、法律条文、论文等），但标注和清洗成本极高。目标：识别出对提升模型专业能力最关键的核心样本，优先进行高质量标注和清洗；同时识别出噪声或低价值样本，可以考虑舍弃。RISE操作：

1. 构建一个小的、高质量的验证集，代表期望模型掌握的专业能力。
2. 对于验证集中的每一个样本，运行RISE，计算训练数据的影响力。
3. 对于每个训练样本，统计它对整个验证集的“平均正面影响力”或“总影响力”。

结果利用：

• 高价值样本：平均正面影响力高的样本，是提升模型性能的“精华”。应确保其标注准确无误，并可能在训练中给予更高权重或进行数据增强。
• 噪声/低效样本：平均影响力接近零或为负的样本，对模型能力贡献甚微，甚至可能干扰学习。可以考虑在资源有限时优先剔除这部分数据，实现数据集的“瘦身健体”。
• 这种方法本质上是一种“数据重要性采样”，为主动学习（Active Learning）提供了强大的技术支撑。

4.3 结果解读的注意事项

解读RISE的输出时需要保持谨慎：

• 相关性而非因果性：影响力分数高表明统计关联性强，但不一定是严格的因果关系。需要人工审核高影响力样本的内容来确认。
• 全局与局部：一个样本可能对某个特定测试案例影响力巨大，但对模型整体性能影响平平。反之亦然。分析时需要明确目标。
• 分数绝对值：分数本身的大小没有绝对意义，重要的是样本之间的相对排序。关注Top-K和Bottom-K列表。
• 计算误差：由于CountSketch的随机性，两次独立运行得到的影响力分数排序会有细微波动。关注那些在多次运行中稳定出现在前列的样本，它们更可靠。

5. 常见问题、局限性与进阶讨论

没有任何一个工具是万能的，RISE在带来革命性效率的同时，也有其适用范围和局限性。

5.1 实操常见问题排查

5.2 RISE的局限性

1. 对优化假设的依赖：RISE及其基础影响函数理论，都假设模型参数收敛到了一个平滑的局部最优点，且损失函数在这一点附近近似二次的。如果模型训练震荡很大或未收敛，估计可能不准。
2. 近似误差：CountSketch引入的随机误差和迭代求解的数值误差是固有的。虽然理论上有界，但对于需要绝对精确影响力的场景（如严谨的归因审计），可能仍需更昂贵的方法。
3. 仅适用于可微模型：基于梯度的方法，自然要求模型和损失函数是可微的。
4. 解释性门槛：输出的影响力分数是一个标量，它告诉你“哪个样本重要”，但没有直接解释“为什么重要”。需要分析者结合样本内容进行归因。

5.3 进阶方向与扩展

RISE是一个强大的基础框架，可以在此基础上进行多种扩展：

• 与数据归因方法结合：将RISE计算出的样本重要性分数，与基于嵌入相似度的方法结合，提供多角度的证据。
• 追踪训练动态：不仅在整个训练后计算影响力，还可以在训练的不同阶段（checkpoint）计算，观察训练样本影响力的变化过程，理解模型学习动态。
• 用于联邦学习：在联邦学习场景下，服务器可以利用RISE高效估计各客户端数据对全局模型的影响，从而进行更智能的客户端选择或贡献评估。
• 硬件协同优化：针对稀疏-稠密混合计算模式，设计专用的硬件加速单元，进一步提升Sketch更新和查询的效率。

在我自己的实践中，RISE最大的价值在于它提供了一种“可行性”。在它出现之前，对大模型进行细粒度数据影响力分析只是一个理论想法。RISE之后，它变成了一个可以在几小时或几天内完成的实际任务。虽然解读结果需要谨慎和经验，但它无疑为我们打开了一扇深入理解模型与数据关系的后门。当你下次面对一个行为异常的大模型时，不妨尝试用RISE问一句：“告诉我，究竟是谁教你的？”