简介动态加权条件互信息的特征选择算法WMRI提出了一种新颖的过滤式特征选择方案面向机器学习研究者、数据挖掘工程师及需要处理高维数据特征筛选的算法从业者。该文档针对传统信息论特征选择方法中参数预先设置、新分类信息与保留类别信息权重失衡等问题提出通过引入均值和标准差来动态调节两者权重以适配大数据环境下数据多样性与高维性的特点。资源为单个docx文件共1份大小约454KB内容包含算法公式推导、伪代码表及10个基准数据集上的实验对比详细展示了其与DCSF、MRI、CFR、IG-RFE和JMIM等算法的性能差异。全文从算法背景、理论推导到实验验证结构完整已有80人学习此文档。读者可借此掌握一种无需预先设定参数、计算成本低的过滤式特征选择新思路为实际高维数据特征筛选和模型优化提供参考。1. 高维数据下的动态加权策略为什么固定参数的特征选择会失效高维数据里真正和类别标签相关的特征往往只占少数其余的无关特征和冗余特征不仅拖慢训练还会让模型的可解释性明显变差。过滤式特征选择因为计算成本低、与分类器无关在预处理阶段就能把特征空间缩小一个量级因此一直被当作分析高维数据的第一步。但问题在于大部分基于信息论的评估函数把冗余惩罚和新分类信息的权重写成固定值MRI 算法甚至假设“新分类信息”和“保留类别信息”同等重要这个假设在真实分布中很难成立。动态加权条件互信息的特征选择算法WMRI用均值和标准差实时计算两类信息的权重避免了手工预设参数。在基因表达、语音、图像等高维数据集上它的平均 fmi 指标稳定超过 MRI、JMIM、DCSF、CFR 和 IG-RFE并且时间复杂度保持在 O(Kmn) 量级适合作为后续分类任务的通用前置模块。2. 从固定权重到标准差调制WMRI 的信息论推导2.1 Brown 统一框架与算法参数的分化信息论角度的特征选择问题本质上是在集合 F 中找一个子集 S使得“特征与类标签的关系”保留最多同时特征之间的冗余尽可能小。Brown 等人提出的统一框架把常见评估函数归纳成如下形式J(f_k) I(f_k; C) − β · Σ_{f_sel∈S} I(f_k; f_sel) λ · Σ_{f_sel∈S} I(f_k; f_sel | C)其中 f_k 是候选特征f_sel 是已选特征C 是类标签I(·) 是互信息。β 和 λ 分别是冗余惩罚权重和条件相关增强权重。不同的 β、λ 取值对应不同的算法行为。MRMR 和 maxMIFS 设置 λ0只管减少冗余JMI、CIFE、CMIM 则引入条件互信息项让已选特征集合对候选特征产生“上下文影响”但仍然要人为选定权重。这些算法在低维小数据集上表现稳定一旦特征规模上千、样本分布呈现长尾或者类别不平衡固定权重的短板就暴露出来β 设置过大会把一些虽然与已选特征冗余、但包含类别判别信息的关键特征提前筛掉β 设置过小冗余特征又会混入最终子集。对于特征选择这类没有预训练反馈的流程超参数一旦定错后续分类器再怎么调都难以补偿。下面的表把几类代表性算法在 Brown 框架中的参数策略做了对比。算法系列评估项构成参数策略MRMR / maxMIFS相关 − 冗余β 固定为 1/JMI / CIFE / CMIM相关 条件相关权重为固定常数MRI新分类信息 保留类别信息βλ2/(WMRI相关 两项动态加权条件互信息α、β 由标准差实时推导2.2 MRI 等权假设的矛盾点MRI 算法的评估标准写为J_MRI(f_k) I(C; f_k) Σ_{f_sel∈S} { I(C; f_k | f_sel) I(C; f_sel | f_k) }I(C; f_k | f_sel) 衡量在已知已选特征 f_sel 的情况下候选特征 f_k 还能给类别标签提供多少额外信息这一项被称为“新分类信息”。I(C; f_sel | f_k) 则反过来度量当 f_k 已知时已选特征 f_sel 里还剩多少关于类别的信息没被覆盖称为“保留类别信息”。问题在于条件互信息不具备对称性。I(A;B|C) 和 I(A;C|B) 描述的是两种完全不同的信息结构前者关心“加进来后多知道什么”后者关心“已有的还留下什么”。在真实数据里这两项经常会相差数倍。以基因表达数据为例某个基因与标签的直接互信息很低但当它和另一个已选基因联合建模时条件互信息会出现明显上升说明两者组合后才有判别力。MRI 把这种差异强制压成等权导致选择方向容易被数值更高的一项带偏。对于维度达到几千、几万的特征空间这种偏置会被逐轮放大最后选出来的子集未必是真正互补的。2.3 标准差权重公式与动态调制实现WMRI 的改进思路是不再预设 β、λ转而用均值和标准差做动态调制。评估标准定义为J_WMRI(f_k) I(C; f_k) (1−α) · Σ_{f_sel∈S} I(C; f_k | f_sel) (1−β) · Σ_{f_sel∈S} I(C; f_sel | f_k)其中 α 和 β 分别来自两类条件互信息在已选特征集合上的标准差μ₁ (1/|S|) · Σ_{i1}^{|S|} I(C; f_k | f_selⁱ)α sqrt( (1/|S|) · Σ_{i1}^{|S|} [ I(C; f_k | f_selⁱ) − μ₁ ]² )μ₂ (1/|S|) · Σ_{i1}^{|S|} I(C; f_selⁱ | f_k)β sqrt( (1/|S|) · Σ_{i1}^{|S|} [ I(C; f_selⁱ | f_k) − μ₂ ]² )标准差在这里扮演的是“稳定性指示器”。如果候选特征在所有已选特征上的新分类信息都很接近说明它的判别贡献是稳定、可复用的标准差小(1−α) 接近 1该项会保留较多权重。反之如果该候选特征只在某一个已选特征组合下才显得重要在其他组合下几乎没有信息量标准差就会变大WMRI 自动削弱这一项对总分的贡献避免少数样本对选择结果产生过度影响。在具体实现时动态权重的计算可以看作一个向量化过程# 对某个候选特征 fk先算出所有已选特征对应的两类条件互信息 new_info np.array([cmi(fk, C, fs) for fs in S]) # I(C; fk | fs) retain_info np.array([cmi(fs, C, fk) for fs in S]) # I(C; fs | fk) # 均值和标准差动态调制 mu1, alpha new_info.mean(), new_info.std() mu2, beta retain_info.mean(), retain_info.std() # 评分公式对应 WMRI 评估标准 score mi(fk, C) (1 - alpha) * new_info.sum() (1 - beta) * retain_info.sum()这里alpha和beta就是公式里的动态权重不再需要人工指定。需要留意的是当条件互信息数值整体偏大时标准差可能超过 1使得权重变成负数。出现这种情况说明候选特征在已选特征集合上的信息贡献很不稳定WMRI 会自动把它当作不利项处理这在实际特征筛选中通常是一个合理的保守策略。3. WMRI 实现细节条件互信息估计与前向选择3.1 连续特征的离散化方案互信息的原始定义面向离散变量而实际数据集里连续特征占大多数。常见做法是把每个特征分箱binning后再做直方图密度估计。分箱粒度非常敏感bin 太少会把人脸图像里相邻像素的微弱梯度差异抹平bin 太多则每个格子样本稀疏条件概率估计会带上明显的噪声。我一般先把每个特征单独归一化到 [0,1] 区间再对连续特征做等宽分箱。分箱数量根据样本量调整例如样本数在 200 到 2000 之间的数据集bin 取 10 到 15 比较合适像 ALLAML 这种只有 72 个样本的高维数据bin 控制在 5 左右否则三维直方图里大量格子是空的计算出的互信息会高于真实值。对于类别型特征直接保留原始取值不需要额外编码。3.2 条件互信息估计函数条件互信息 I(x; y | z) 的定义是I(x; y | z) Σ p(x,y,z) · log [ p(z) · p(x,y,z) / (p(x,z) · p(y,z)) ]基于三维离散直方图可以直接实现这也是小批量数据上最稳妥的做法之一。下面的函数按这个公式计算每个概率都由频数除以总样本数得到import numpy as np def conditional_mutual_information(x, y, z, bins10): 基于三维直方图估计 I(x; y | z)x/y/z 是一维数组 h3, _ np.histogramdd([x, y, z], binsbins) h_xz, _ np.histogramdd([x, z], binsbins) h_yz, _ np.histogramdd([y, z], binsbins) h_z, _ np.histogram(z, binsbins) n h3.sum() p3, p_xz, p_yz, p_z h3 / n, h_xz / n, h_yz / n, h_z / n eps 1e-12 acc 0.0 for xi in range(bins): for yi in range(bins): for zi in range(bins): num p3[xi, yi, zi] * p_z[zi] den p_xz[xi, zi] * p_yz[yi, zi] if num eps and den eps: acc p3[xi, yi, zi] * np.log(num / den) return acc函数的参数顺序是conditional_mutual_information(x, y, z)计算顺序是“x 和 y 的条件互信息条件为 z”。计算过程中并没有把互信息拆解成熵的减法而是直接按定义遍历所有三维网格点这样能避免因中间项抵消引入的浮点误差。三重循环的时间开销较高bin 取 10 时循环 1000 次在只有几十到几百个特征的数据集上可以接受特征数上万时要把这个函数改成 numpy 矩阵索引或者直接用sklearn.metrics.mutual_info_score配合离散化数据替代内部循环。3.3 候选特征打分与主循环WMRI 采用前向顺序搜索。第一步先跳过所有条件项直接选择与类别标签互信息最大的特征作为集合 S 的初始成员。从第二步开始每个候选特征都要和当前 S 中所有的已选特征计算两类条件互信息再用均值和标准差动态评分。整体循环如下def wmri_select(F, C, K, bins10): F: dict, {feature_name: np.array} C: np.array, 类别标签 K: 期望选出的特征数量 返回最终选出的特征名列表 S {} remaining dict(F) # 第一步选择与类标签互信息最大的特征 base_scores {name: mutual_info_score(C, vals) for name, vals in remaining.items()} best max(base_scores, keybase_scores.get) S[best] remaining.pop(best) # 前向搜索到 K 个特征为止 while len(S) K: best_name, best_score None, -np.inf for name, fv in remaining.items(): new_info np.array([ conditional_mutual_information(fv, C, S[s], bins) for s in S ]) retain_info np.array([ conditional_mutual_information(S[s], C, fv, bins) for s in S ]) mu1, alpha new_info.mean(), new_info.std() mu2, beta retain_info.mean(), retain_info.std() score mutual_info_score(C, fv) (1 - alpha) * new_info.sum() (1 - beta) * retain_info.sum() if score best_score: best_name, best_score name, score S[best_name] remaining.pop(best_name) print(fselected {best_name}, score{best_score:.4f}) return list(S.keys())主循环里有几个工程细节需要说明。第一初始特征的选取质量会直接影响后续所有轮次因为所有条件互信息都围绕 S 中已有的特征展开如果初始特征与类别标签的相关性被高估后续选择会在这个错误基础上累积偏差。第二评分里的new_info.sum()和retain_info.sum()符合论文原式的定义实际实现时如果把求和换成取均值排序结果通常保持一致但数值大小会变遇到已知的复现版本时要以目标公式为准。第三alpha和beta是逐候选特征、逐轮重新计算的不同候选特征之间没有共享缓存这也是算法比 MRI 计算量大的主要原因。阈值 K 的设置也有讲究。从信息论角度看特征子集对类别标签的联合互信息随特征数增加而收敛K 设得太大后半段选出的特征大多只贡献冗余信息K 设得太小又可能错过几个互补性强的特征组合。原实验里 K 统一取 30对 10 个数据集都取得了不错的效果。实际使用时可以先跑一次 K50观察评分曲线在多少轮之后进入平台期再截断到一个更小的值这样能省掉不少无效计算。下面整理了 WMRI 实现里的主要参数和推荐取值参数作用推荐值注意事项K最终特征子集大小30 或观察评分平台期太小丢特征太大引入冗余bins离散化分箱数515 视样本量样本少时调低避免空格过多初始特征进入 S 的第一个特征与 C 互信息最大的特征可用过采样或方差过滤先做脏数据清理连续特征前置处理归一化到 [0,1]等宽分箱前避免极端离群值干扰4. 10 个基准数据集的 fmi 验证4.1 数据集与预处理实验选取了 10 个公开数据集覆盖图像、语音、文本、生物信息等多个领域。数据来源包括 UCI 与 ASU 两个常用仓库特征维度从 34 到 16747 不等样本量从 72 到 9298 不等类别数从 2 到 26 不等。这些特性保证了评测场景的多样性尤其是 ALLAML、Musk2 这类“特征多、样本少”的数据集对特征选择算法的稳定性要求更高。数据集特征数样本数类别数领域Musk2167474762物理探测Madelon50026002人工混合ALLAML7129722基因表达CNAE-985710809文本Mfeat-kar652200010手写数字USPS256929810手写数字Semeion257159310手写数字COIL201024144020图像WPBC341982医疗诊断Isolet617156026语音预处理的核心原则是保证所有算法在同等条件下比较。特征选择阶段没有做额外的特征缩放连续特征直接归一化到 [0,1] 后进行分箱。每轮实验都使用 6 折交叉验证5 折作为训练集1 折作为测试集特征选择过程只在训练折内完成避免测试信息泄漏。特征子集规模统一设为 30。4.2 分类器与 fmi 评价指标为了验证所选特征子集的通用性WMRI 分别配合 KNN、C4.5 决策树和随机森林三种分类器使用。评价指标采用 fmi即精确率与召回率的调和平均在多类别上的平均。fmi 的定义如下sen (1/|C|) · Σ TP_i / (Σ TP_i Σ FN_i) prc (1/|C|) · Σ TP_i / (Σ TP_i Σ FP_i) fmi 2 × prc × sen / (prc sen)对应的验证代码可以这样组织def fmi_score(y_true, y_pred, num_classes): 多类别下精确率与召回率的调和平均 precision_list, recall_list [], [] for c in range(num_classes): tp ((y_pred c) (y_true c)).sum() fp ((y_pred c) (y_true ! c)).sum() fn ((y_pred ! c) (y_true c)).sum() precision_list.append(tp / (tp fp 1e-12)) recall_list.append(tp / (tp fn 1e-12)) p np.mean(precision_list) r np.mean(recall_list) return 2 * p * r / (p r 1e-12)注意这里每个类别单独计算精确率和召回率后再取平均与其他一些库中直接按样本量加权计算的 macro-F1 略有差异。这样做的好处是每个类别在最终指标中拥有同等话语权避免某些数据集中类别样本量不均衡导致指标被大类主导。4.3 对比结果与统计分析三种分类器下的平均 fmi 结果汇总如下分类器WMRI%IG-RFE%CFR%JMIM%DCSF%MRI%KNN74.08264.02866.52566.43465.59667.636C4.570.25862.85465.51862.18366.45567.129Random Forest76.52467.80671.35967.92971.45872.630WMRI 在三种分类器下都拿到了最高的平均值。和 MRI 相比KNN 上从 67.636 提升到 74.082提升幅度超过 6 个百分点Random Forest 上同样有明显优势说明动态权重带来的增益不是某个分类器的偶然偏好。按单个数据集统计 WMRI 与其他五种算法的胜/平/负次数Random Forest 下 WMRI 是 10/0/0KNN 下最差的对比是 JMIM也有 8 胜 2 平。这说明动态加权机制在高维和中等维度数据集上都没有明显短板。个别数据集上的细节同样值得观察。在 KNN 分类器下Mfeat-kar 上 WMRI 是 95.961%略低于 IG-RFE 的 96.11%但在 CNAE-9 和 ALLAML 上与 CFR、JMIM 打成平手。可以看到WMRI 的最大增益集中在高维且特征分布差异较大的数据集上例如 Isolet、COIL20、ALLAML 这些标准差调制能有效抑制异常条件互信息的干扰而在特征本身较规整、相关性结构简单的数据集上动态权重和固定权重的差异会缩小但也没有出现明显的性能回退。另一个值得注意的点是WMRI 在 C4.5 上有 8 胜 1 平 1 负输给了 MRI 的 USPS 和 CFR 的 Madelon说明在部分数据集上简单等权策略恰好和决策树的分裂逻辑契合动态权重的优势不是绝对的。整体来看动态权重机制没有以牺牲某一类数据集为代价来换取整体均值提升这对于实际项目中作为默认特征选择方案是比较理想的性质。5. 从复现到调优WMRI 落地的三个细节5.1 分箱数量要先看样本量再定特征维度复现 WMRI 时最容易踩的坑是分箱数量一刀切。样本量只有 72 的 ALLAML如果照搬 10 个 bin三维直方图里大多数格子概率为 0条件互信息估计的方差会非常大。一个可复用的检查方法是计算离散化后的非空格子占比def check_sparsity(x, y, z, bins): h3, _ np.histogramdd([x, y, z], binsbins) total h3.size non_empty (h3 0).sum() print(fsparsity: {1 - non_empty / total:.2%})如果非空格子占比低于 15%说明分箱过细需要减小 bins。高维特征集上不同的特征分布差异很大必要时按特征粒度单独设置分箱数会比统一参数更稳。5.2 把条件互信息计算限制在增量集合内WMRI 的复杂度主要来自每轮对每个候选特征重复计算条件互信息。每轮新增一个已选特征后其实只需要针对增量的部分更新候选特征的评分。一种常见的加速方式是缓存已选特征两两之间的条件互信息表因为 S 内部的特征组合不会随候选特征遍历而变化每轮只需要计算“候选特征 f_k 与最新加入的 f_sel”的交互项再把历史缓存合并。这样可以把内层循环从 O(K·n·|S|) 降到接近 O(K·n)对 Musk2 这类 16747 维的数据集有明显收益。5.3 用标准差数值诊断特征质量WMRI 动态权重里的 alpha、beta 不只是评分的一部分还是很好的诊断信号。调试时我会把每轮每个候选特征的 alpha 值打印出来观察如果某个候选特征的 alpha 频繁高于 0.5说明它与已选特征集合的交互非常不稳定通常意味着该特征只在少量样本上出现强相关属于需要警惕的噪声特征。相反如果所有候选特征的 alpha 都趋近 0说明当前子集的信息结构已经非常平稳再增加特征数只会带来冗余这个时候即使 K 没跑满也可以提前终止搜索。用这个信号来决定停止条件比单纯按准确率阈值判断更符合互信息方法的理论逻辑。本文还有配套的精品资源点击获取
动态加权条件互信息：高维特征选择的新策略
简介动态加权条件互信息的特征选择算法WMRI提出了一种新颖的过滤式特征选择方案面向机器学习研究者、数据挖掘工程师及需要处理高维数据特征筛选的算法从业者。该文档针对传统信息论特征选择方法中参数预先设置、新分类信息与保留类别信息权重失衡等问题提出通过引入均值和标准差来动态调节两者权重以适配大数据环境下数据多样性与高维性的特点。资源为单个docx文件共1份大小约454KB内容包含算法公式推导、伪代码表及10个基准数据集上的实验对比详细展示了其与DCSF、MRI、CFR、IG-RFE和JMIM等算法的性能差异。全文从算法背景、理论推导到实验验证结构完整已有80人学习此文档。读者可借此掌握一种无需预先设定参数、计算成本低的过滤式特征选择新思路为实际高维数据特征筛选和模型优化提供参考。1. 高维数据下的动态加权策略为什么固定参数的特征选择会失效高维数据里真正和类别标签相关的特征往往只占少数其余的无关特征和冗余特征不仅拖慢训练还会让模型的可解释性明显变差。过滤式特征选择因为计算成本低、与分类器无关在预处理阶段就能把特征空间缩小一个量级因此一直被当作分析高维数据的第一步。但问题在于大部分基于信息论的评估函数把冗余惩罚和新分类信息的权重写成固定值MRI 算法甚至假设“新分类信息”和“保留类别信息”同等重要这个假设在真实分布中很难成立。动态加权条件互信息的特征选择算法WMRI用均值和标准差实时计算两类信息的权重避免了手工预设参数。在基因表达、语音、图像等高维数据集上它的平均 fmi 指标稳定超过 MRI、JMIM、DCSF、CFR 和 IG-RFE并且时间复杂度保持在 O(Kmn) 量级适合作为后续分类任务的通用前置模块。2. 从固定权重到标准差调制WMRI 的信息论推导2.1 Brown 统一框架与算法参数的分化信息论角度的特征选择问题本质上是在集合 F 中找一个子集 S使得“特征与类标签的关系”保留最多同时特征之间的冗余尽可能小。Brown 等人提出的统一框架把常见评估函数归纳成如下形式J(f_k) I(f_k; C) − β · Σ_{f_sel∈S} I(f_k; f_sel) λ · Σ_{f_sel∈S} I(f_k; f_sel | C)其中 f_k 是候选特征f_sel 是已选特征C 是类标签I(·) 是互信息。β 和 λ 分别是冗余惩罚权重和条件相关增强权重。不同的 β、λ 取值对应不同的算法行为。MRMR 和 maxMIFS 设置 λ0只管减少冗余JMI、CIFE、CMIM 则引入条件互信息项让已选特征集合对候选特征产生“上下文影响”但仍然要人为选定权重。这些算法在低维小数据集上表现稳定一旦特征规模上千、样本分布呈现长尾或者类别不平衡固定权重的短板就暴露出来β 设置过大会把一些虽然与已选特征冗余、但包含类别判别信息的关键特征提前筛掉β 设置过小冗余特征又会混入最终子集。对于特征选择这类没有预训练反馈的流程超参数一旦定错后续分类器再怎么调都难以补偿。下面的表把几类代表性算法在 Brown 框架中的参数策略做了对比。算法系列评估项构成参数策略MRMR / maxMIFS相关 − 冗余β 固定为 1/JMI / CIFE / CMIM相关 条件相关权重为固定常数MRI新分类信息 保留类别信息βλ2/(WMRI相关 两项动态加权条件互信息α、β 由标准差实时推导2.2 MRI 等权假设的矛盾点MRI 算法的评估标准写为J_MRI(f_k) I(C; f_k) Σ_{f_sel∈S} { I(C; f_k | f_sel) I(C; f_sel | f_k) }I(C; f_k | f_sel) 衡量在已知已选特征 f_sel 的情况下候选特征 f_k 还能给类别标签提供多少额外信息这一项被称为“新分类信息”。I(C; f_sel | f_k) 则反过来度量当 f_k 已知时已选特征 f_sel 里还剩多少关于类别的信息没被覆盖称为“保留类别信息”。问题在于条件互信息不具备对称性。I(A;B|C) 和 I(A;C|B) 描述的是两种完全不同的信息结构前者关心“加进来后多知道什么”后者关心“已有的还留下什么”。在真实数据里这两项经常会相差数倍。以基因表达数据为例某个基因与标签的直接互信息很低但当它和另一个已选基因联合建模时条件互信息会出现明显上升说明两者组合后才有判别力。MRI 把这种差异强制压成等权导致选择方向容易被数值更高的一项带偏。对于维度达到几千、几万的特征空间这种偏置会被逐轮放大最后选出来的子集未必是真正互补的。2.3 标准差权重公式与动态调制实现WMRI 的改进思路是不再预设 β、λ转而用均值和标准差做动态调制。评估标准定义为J_WMRI(f_k) I(C; f_k) (1−α) · Σ_{f_sel∈S} I(C; f_k | f_sel) (1−β) · Σ_{f_sel∈S} I(C; f_sel | f_k)其中 α 和 β 分别来自两类条件互信息在已选特征集合上的标准差μ₁ (1/|S|) · Σ_{i1}^{|S|} I(C; f_k | f_selⁱ)α sqrt( (1/|S|) · Σ_{i1}^{|S|} [ I(C; f_k | f_selⁱ) − μ₁ ]² )μ₂ (1/|S|) · Σ_{i1}^{|S|} I(C; f_selⁱ | f_k)β sqrt( (1/|S|) · Σ_{i1}^{|S|} [ I(C; f_selⁱ | f_k) − μ₂ ]² )标准差在这里扮演的是“稳定性指示器”。如果候选特征在所有已选特征上的新分类信息都很接近说明它的判别贡献是稳定、可复用的标准差小(1−α) 接近 1该项会保留较多权重。反之如果该候选特征只在某一个已选特征组合下才显得重要在其他组合下几乎没有信息量标准差就会变大WMRI 自动削弱这一项对总分的贡献避免少数样本对选择结果产生过度影响。在具体实现时动态权重的计算可以看作一个向量化过程# 对某个候选特征 fk先算出所有已选特征对应的两类条件互信息 new_info np.array([cmi(fk, C, fs) for fs in S]) # I(C; fk | fs) retain_info np.array([cmi(fs, C, fk) for fs in S]) # I(C; fs | fk) # 均值和标准差动态调制 mu1, alpha new_info.mean(), new_info.std() mu2, beta retain_info.mean(), retain_info.std() # 评分公式对应 WMRI 评估标准 score mi(fk, C) (1 - alpha) * new_info.sum() (1 - beta) * retain_info.sum()这里alpha和beta就是公式里的动态权重不再需要人工指定。需要留意的是当条件互信息数值整体偏大时标准差可能超过 1使得权重变成负数。出现这种情况说明候选特征在已选特征集合上的信息贡献很不稳定WMRI 会自动把它当作不利项处理这在实际特征筛选中通常是一个合理的保守策略。3. WMRI 实现细节条件互信息估计与前向选择3.1 连续特征的离散化方案互信息的原始定义面向离散变量而实际数据集里连续特征占大多数。常见做法是把每个特征分箱binning后再做直方图密度估计。分箱粒度非常敏感bin 太少会把人脸图像里相邻像素的微弱梯度差异抹平bin 太多则每个格子样本稀疏条件概率估计会带上明显的噪声。我一般先把每个特征单独归一化到 [0,1] 区间再对连续特征做等宽分箱。分箱数量根据样本量调整例如样本数在 200 到 2000 之间的数据集bin 取 10 到 15 比较合适像 ALLAML 这种只有 72 个样本的高维数据bin 控制在 5 左右否则三维直方图里大量格子是空的计算出的互信息会高于真实值。对于类别型特征直接保留原始取值不需要额外编码。3.2 条件互信息估计函数条件互信息 I(x; y | z) 的定义是I(x; y | z) Σ p(x,y,z) · log [ p(z) · p(x,y,z) / (p(x,z) · p(y,z)) ]基于三维离散直方图可以直接实现这也是小批量数据上最稳妥的做法之一。下面的函数按这个公式计算每个概率都由频数除以总样本数得到import numpy as np def conditional_mutual_information(x, y, z, bins10): 基于三维直方图估计 I(x; y | z)x/y/z 是一维数组 h3, _ np.histogramdd([x, y, z], binsbins) h_xz, _ np.histogramdd([x, z], binsbins) h_yz, _ np.histogramdd([y, z], binsbins) h_z, _ np.histogram(z, binsbins) n h3.sum() p3, p_xz, p_yz, p_z h3 / n, h_xz / n, h_yz / n, h_z / n eps 1e-12 acc 0.0 for xi in range(bins): for yi in range(bins): for zi in range(bins): num p3[xi, yi, zi] * p_z[zi] den p_xz[xi, zi] * p_yz[yi, zi] if num eps and den eps: acc p3[xi, yi, zi] * np.log(num / den) return acc函数的参数顺序是conditional_mutual_information(x, y, z)计算顺序是“x 和 y 的条件互信息条件为 z”。计算过程中并没有把互信息拆解成熵的减法而是直接按定义遍历所有三维网格点这样能避免因中间项抵消引入的浮点误差。三重循环的时间开销较高bin 取 10 时循环 1000 次在只有几十到几百个特征的数据集上可以接受特征数上万时要把这个函数改成 numpy 矩阵索引或者直接用sklearn.metrics.mutual_info_score配合离散化数据替代内部循环。3.3 候选特征打分与主循环WMRI 采用前向顺序搜索。第一步先跳过所有条件项直接选择与类别标签互信息最大的特征作为集合 S 的初始成员。从第二步开始每个候选特征都要和当前 S 中所有的已选特征计算两类条件互信息再用均值和标准差动态评分。整体循环如下def wmri_select(F, C, K, bins10): F: dict, {feature_name: np.array} C: np.array, 类别标签 K: 期望选出的特征数量 返回最终选出的特征名列表 S {} remaining dict(F) # 第一步选择与类标签互信息最大的特征 base_scores {name: mutual_info_score(C, vals) for name, vals in remaining.items()} best max(base_scores, keybase_scores.get) S[best] remaining.pop(best) # 前向搜索到 K 个特征为止 while len(S) K: best_name, best_score None, -np.inf for name, fv in remaining.items(): new_info np.array([ conditional_mutual_information(fv, C, S[s], bins) for s in S ]) retain_info np.array([ conditional_mutual_information(S[s], C, fv, bins) for s in S ]) mu1, alpha new_info.mean(), new_info.std() mu2, beta retain_info.mean(), retain_info.std() score mutual_info_score(C, fv) (1 - alpha) * new_info.sum() (1 - beta) * retain_info.sum() if score best_score: best_name, best_score name, score S[best_name] remaining.pop(best_name) print(fselected {best_name}, score{best_score:.4f}) return list(S.keys())主循环里有几个工程细节需要说明。第一初始特征的选取质量会直接影响后续所有轮次因为所有条件互信息都围绕 S 中已有的特征展开如果初始特征与类别标签的相关性被高估后续选择会在这个错误基础上累积偏差。第二评分里的new_info.sum()和retain_info.sum()符合论文原式的定义实际实现时如果把求和换成取均值排序结果通常保持一致但数值大小会变遇到已知的复现版本时要以目标公式为准。第三alpha和beta是逐候选特征、逐轮重新计算的不同候选特征之间没有共享缓存这也是算法比 MRI 计算量大的主要原因。阈值 K 的设置也有讲究。从信息论角度看特征子集对类别标签的联合互信息随特征数增加而收敛K 设得太大后半段选出的特征大多只贡献冗余信息K 设得太小又可能错过几个互补性强的特征组合。原实验里 K 统一取 30对 10 个数据集都取得了不错的效果。实际使用时可以先跑一次 K50观察评分曲线在多少轮之后进入平台期再截断到一个更小的值这样能省掉不少无效计算。下面整理了 WMRI 实现里的主要参数和推荐取值参数作用推荐值注意事项K最终特征子集大小30 或观察评分平台期太小丢特征太大引入冗余bins离散化分箱数515 视样本量样本少时调低避免空格过多初始特征进入 S 的第一个特征与 C 互信息最大的特征可用过采样或方差过滤先做脏数据清理连续特征前置处理归一化到 [0,1]等宽分箱前避免极端离群值干扰4. 10 个基准数据集的 fmi 验证4.1 数据集与预处理实验选取了 10 个公开数据集覆盖图像、语音、文本、生物信息等多个领域。数据来源包括 UCI 与 ASU 两个常用仓库特征维度从 34 到 16747 不等样本量从 72 到 9298 不等类别数从 2 到 26 不等。这些特性保证了评测场景的多样性尤其是 ALLAML、Musk2 这类“特征多、样本少”的数据集对特征选择算法的稳定性要求更高。数据集特征数样本数类别数领域Musk2167474762物理探测Madelon50026002人工混合ALLAML7129722基因表达CNAE-985710809文本Mfeat-kar652200010手写数字USPS256929810手写数字Semeion257159310手写数字COIL201024144020图像WPBC341982医疗诊断Isolet617156026语音预处理的核心原则是保证所有算法在同等条件下比较。特征选择阶段没有做额外的特征缩放连续特征直接归一化到 [0,1] 后进行分箱。每轮实验都使用 6 折交叉验证5 折作为训练集1 折作为测试集特征选择过程只在训练折内完成避免测试信息泄漏。特征子集规模统一设为 30。4.2 分类器与 fmi 评价指标为了验证所选特征子集的通用性WMRI 分别配合 KNN、C4.5 决策树和随机森林三种分类器使用。评价指标采用 fmi即精确率与召回率的调和平均在多类别上的平均。fmi 的定义如下sen (1/|C|) · Σ TP_i / (Σ TP_i Σ FN_i) prc (1/|C|) · Σ TP_i / (Σ TP_i Σ FP_i) fmi 2 × prc × sen / (prc sen)对应的验证代码可以这样组织def fmi_score(y_true, y_pred, num_classes): 多类别下精确率与召回率的调和平均 precision_list, recall_list [], [] for c in range(num_classes): tp ((y_pred c) (y_true c)).sum() fp ((y_pred c) (y_true ! c)).sum() fn ((y_pred ! c) (y_true c)).sum() precision_list.append(tp / (tp fp 1e-12)) recall_list.append(tp / (tp fn 1e-12)) p np.mean(precision_list) r np.mean(recall_list) return 2 * p * r / (p r 1e-12)注意这里每个类别单独计算精确率和召回率后再取平均与其他一些库中直接按样本量加权计算的 macro-F1 略有差异。这样做的好处是每个类别在最终指标中拥有同等话语权避免某些数据集中类别样本量不均衡导致指标被大类主导。4.3 对比结果与统计分析三种分类器下的平均 fmi 结果汇总如下分类器WMRI%IG-RFE%CFR%JMIM%DCSF%MRI%KNN74.08264.02866.52566.43465.59667.636C4.570.25862.85465.51862.18366.45567.129Random Forest76.52467.80671.35967.92971.45872.630WMRI 在三种分类器下都拿到了最高的平均值。和 MRI 相比KNN 上从 67.636 提升到 74.082提升幅度超过 6 个百分点Random Forest 上同样有明显优势说明动态权重带来的增益不是某个分类器的偶然偏好。按单个数据集统计 WMRI 与其他五种算法的胜/平/负次数Random Forest 下 WMRI 是 10/0/0KNN 下最差的对比是 JMIM也有 8 胜 2 平。这说明动态加权机制在高维和中等维度数据集上都没有明显短板。个别数据集上的细节同样值得观察。在 KNN 分类器下Mfeat-kar 上 WMRI 是 95.961%略低于 IG-RFE 的 96.11%但在 CNAE-9 和 ALLAML 上与 CFR、JMIM 打成平手。可以看到WMRI 的最大增益集中在高维且特征分布差异较大的数据集上例如 Isolet、COIL20、ALLAML 这些标准差调制能有效抑制异常条件互信息的干扰而在特征本身较规整、相关性结构简单的数据集上动态权重和固定权重的差异会缩小但也没有出现明显的性能回退。另一个值得注意的点是WMRI 在 C4.5 上有 8 胜 1 平 1 负输给了 MRI 的 USPS 和 CFR 的 Madelon说明在部分数据集上简单等权策略恰好和决策树的分裂逻辑契合动态权重的优势不是绝对的。整体来看动态权重机制没有以牺牲某一类数据集为代价来换取整体均值提升这对于实际项目中作为默认特征选择方案是比较理想的性质。5. 从复现到调优WMRI 落地的三个细节5.1 分箱数量要先看样本量再定特征维度复现 WMRI 时最容易踩的坑是分箱数量一刀切。样本量只有 72 的 ALLAML如果照搬 10 个 bin三维直方图里大多数格子概率为 0条件互信息估计的方差会非常大。一个可复用的检查方法是计算离散化后的非空格子占比def check_sparsity(x, y, z, bins): h3, _ np.histogramdd([x, y, z], binsbins) total h3.size non_empty (h3 0).sum() print(fsparsity: {1 - non_empty / total:.2%})如果非空格子占比低于 15%说明分箱过细需要减小 bins。高维特征集上不同的特征分布差异很大必要时按特征粒度单独设置分箱数会比统一参数更稳。5.2 把条件互信息计算限制在增量集合内WMRI 的复杂度主要来自每轮对每个候选特征重复计算条件互信息。每轮新增一个已选特征后其实只需要针对增量的部分更新候选特征的评分。一种常见的加速方式是缓存已选特征两两之间的条件互信息表因为 S 内部的特征组合不会随候选特征遍历而变化每轮只需要计算“候选特征 f_k 与最新加入的 f_sel”的交互项再把历史缓存合并。这样可以把内层循环从 O(K·n·|S|) 降到接近 O(K·n)对 Musk2 这类 16747 维的数据集有明显收益。5.3 用标准差数值诊断特征质量WMRI 动态权重里的 alpha、beta 不只是评分的一部分还是很好的诊断信号。调试时我会把每轮每个候选特征的 alpha 值打印出来观察如果某个候选特征的 alpha 频繁高于 0.5说明它与已选特征集合的交互非常不稳定通常意味着该特征只在少量样本上出现强相关属于需要警惕的噪声特征。相反如果所有候选特征的 alpha 都趋近 0说明当前子集的信息结构已经非常平稳再增加特征数只会带来冗余这个时候即使 K 没跑满也可以提前终止搜索。用这个信号来决定停止条件比单纯按准确率阈值判断更符合互信息方法的理论逻辑。本文还有配套的精品资源点击获取
