当前位置：首页 > news >正文

DANCE：深度学习模型不确定性量化的双重自适应方法

news 2026/6/15 6:34:13

1. 项目概述

在深度学习模型日益复杂的今天，如何量化这些黑盒模型预测结果的不确定性成为了一个关键挑战。DANCE（双重自适应邻域共形估计）作为一种创新的不确定性量化方法，通过结合两种新型非共形分数，在保持统计有效性的同时显著提升了预测集的效率。

1.1 核心问题解析

传统共形预测方法存在两个主要局限：

过度保守：当预训练模型的置信度分数与下游任务不匹配时，预测集往往包含过多冗余类别
信息利用不足：大多数方法仅利用模型的逻辑分数（logit scores），忽略了嵌入层中丰富的语义信息

DANCE的创新之处在于：

直接利用嵌入表示构建非共形分数
通过任务自适应的核空间学习数据间的复杂关系
结合排名和密度两种互补的邻域信息

提示：在实际应用中，预测集过大（如同时包含"猫、狗、老虎"）虽然统计有效，但会降低操作价值。DANCE通过双重自适应机制解决了这一痛点。

2. 技术原理深度解析

2.1 共形预测基础框架

共形预测的核心是非共形分数S(X,y)，它量化了样本(X,y)与校准集的差异程度。给定：

校准集D_cal = {(X_i,y_i)}^n_{i=1}
测试样本X_{n+1}
用户指定的错误率α

算法流程：

为每个校准样本计算S_i = S(X_i,y_i)
取第⌈(1-α)(n+1)⌉小的分数作为阈值q
预测集为：Ĉ(X_{n+1}) = {y | S(X_{n+1},y) ≤ q}

关键性质：在交换性假设下，P(y_{n+1} ∈ Ĉ(X_{n+1})) ≥ 1-α

2.2 递归特征机（RFM）核学习

DANCE使用RFM学习任务特定的核空间：

# 伪代码：RFM核学习过程 def RFM_kernel_learning(Z, Y, T=10): M = I # 初始化特征重要性矩阵 for t in 1...T: # 步骤1：核岭回归 K = generalized_laplace_kernel(Z, Z, M) β = solve(K + λI, Y) # 步骤2：计算平均梯度外积(AGOP) gradients = compute_gradients(β, Z) M = mean(gradients @ gradients.T) return M, β

核函数定义为： K_M(Z1,Z2) = exp(-(||Z1-Z2||_M / L)^{1/ξ})

其中：

||z||_M = √(zMzᵀ) 是马氏距离
M通过AGOP迭代更新，捕捉对预测重要的特征维度
L和ξ通过贝叶斯优化调参

2.3 双重非共形分数设计

2.3.1 排名分数（Sknn）

基于k近邻的标签分布：

对测试样本Z，找到核空间中的mknn个最近邻N_k(Z)
定义候选标签集：Ĺ_k(Z) = Unique{y | (Z,y) ∈ N_k(Z)}
非共形分数：Sknn(Z,y) = min{k | y ∈ Ĺ_k(Z)}

直观解释：y的分数是其首次出现在邻域标签集中的邻域大小k

2.3.2 对比分数（Sclr）

基于邻域对比损失：

计算锚点A = N_1(Z)（最近邻）
对每个邻居Z_j ∈ N_mclr(Z)，计算对比损失： L(Z,Z_j) = -log[exp(-d_K(A,Z_j)/τ) / ∑ exp(-d_K(A,Z_k)/τ)]
非共形分数：Sclr(Z,y) = min{L(Z,Z_j) | y_j = y}

其中d_K = 2(1-K_M)是核空间距离

3. 实现细节与优化

3.1 算法流程

DANCE完整流程如下表所示：

步骤	操作	计算复杂度
1	用RFM学习核空间KM	O(Tn²d²)
2	计算校准集的Sknn和Sclr	O(n²)
3	确定分位数阈值qknn和qclr	O(n log n)
4	测试时构建Ĉknn和Ĉclr	O(n)
5	取交集得最终预测集Ĉdance	O(1)

3.2 超参数调优

关键参数及其影响：

参数	作用	典型值	调优建议
λ	错误率分配比例	0.3-0.7	网格搜索最小化0.8Size+0.2CCV
mknn	排名分数邻域数	100	≥50保证覆盖率
mclr	对比分数邻域数	50	过大增加计算量
ξ	核形状参数	0.5-2	贝叶斯优化
L	核带宽	数据相关	交叉验证