简介基于深度神经网络DNN的回归预测项目适用于多变量输入场景面向需要快速搭建高精度回归模型的科研与工程人员。代码要求MATLAB 2018及以上版本运行核心脚本完整采用深度全连接网络结构并内置R2、MAE、MSE、RMSE、MAPE等常用评价指标方便从不同维度评估模型效果。压缩包共8个文件体积仅1.1MB以MATLAB脚本.m为核心辅以数据表格.xlsx、说明文档.docx、文本备注.txt及结果图像.png结构清晰替换数据即可复用。已有156人学习下载。资源内含可直接运行的主程序、配套示例数据、带注释的说明文档和模型结果可视化图代码组织规范注释详尽可无痛替换成自己的数据集快速完成训练与预测便于理解深度全连接网络的构建、训练与评估流程。对于刚接触深度回归的新手以及有实际预测任务需求的开发者而言这是一份轻量、实用且易于二次开发的参考实现。1. 深度全连接神经网络做回归预测为什么多变量输入才是常态工况多数入门教程都在拿单变量时间序列演示 DNN 回归可真实工业场景几乎没有单独的特征即目标这种好事。设备剩余寿命预测、化工产率估计、风功率预报、材料性能回归特征数量随便就是 20 到 200 维特征之间还带着非线性交互和量纲差异。深度全连接神经网络在这种场景下直接占优的原因很简单它有足够的参数容量去拟合任意连续映射不需要像传统回归那样人为构造交互项和多项式特征代价是模型结构和训练策略必须自己设计。这篇内容围绕多变量输入 深度全连接 回归输出 R²评估这组技术点展开适合已经在用线性回归、决策树、随机森林、SVM 等传统方法、想把预测精度往上推一档的人也适合刚接触深度学习、想搞清楚全连接网络回归版图的人。我们直接按可复现的路径走先把全连接网络为何适用于多元回归证明清楚再落代码、定参数、看指标最后解决过拟合和数据泄漏这两个最影响 R² 的隐患。2. DNN 回归预测的模型设计全连接网络为什么能拟合任意回归面2.1 从线性回归到深度全连接隐藏层到底在做什么回归预测的数学本质是寻找一个映射$$y f(x_1, x_2, ..., x_m) \epsilon$$线性回归把 $f$ 限定成 $\sum w_i x_i b$只能捕捉一阶相关性。深度全连接神经网络则通过隐藏层反复做仿射变换加非线性激活把原始输入空间逐步重映射到新的特征空间。这个映射过程可以理解为第一层学习特征之间的组合模式第二层基于这些组合模式构造更抽象的表征后续层在此基础上继续抽象最后由输出层将一个高维表征压缩成单一实数。比起带核技巧的 SVR 和树模型全连接网络最大的优势是特征交互的自动发现能力。树模型的分裂过程虽然也在做特征组合但本质是分段常数逼近输出曲面是阶梯状的DNN 的激活函数是连续可微的天然输出平滑曲面。对工程数据里常见的那种特征低时目标也低、特征高时目标反而回落的倒U型关系全连接网络用两三个神经元就能表达树模型则要堆很多层分裂才能逼近。也正是因为表达能力强DNN 同时带来了更大的假设空间和更高的方差风险。小样本数据上全连接网络很容易把训练集背下来这正是后面要讲正则化和早停的原因。2.2 神经网络的深度和宽度怎么权衡多变量回归任务里全连接网络设计的第一步就是确定结构。输入层神经元数量由特征数量决定输出层固定为 1 个神经元线性激活变量集中在中间层。宽度代表单层特征组合的丰富度深度代表抽象层次。针对多变量回归有一个从实践中沉淀下来的经验区间网络规模适用场景典型结构风险浅窄型特征数 20样本量 10001 层 × 32 神经元欠拟合R² 偏低均衡型特征数 1050样本量 100010万3 层 × (128-64-32)需要配合早停与正则化深宽型特征数 50样本量 10万4~6 层 × (256-128-64-32-16)过拟合训练成本高懒惰的做法是直接上三层 256-128-64因为大多数多变量回归任务用这个配置起步不会太差。理性的做法是从小网络开始观察训练损失和验证损失之间的距离如果验证 R² 远低于训练 R²加大 dropout 或减小宽度如果两边都低再加深加宽。2.3 激活函数、损失函数与优化器的搭配逻辑回归预测中隐藏层激活函数首选 ReLU因为它计算高效、梯度消失问题轻。但 ReLU 有一个常见的死亡问题如果某层输出的加权和进入负区间梯度恒为 0神经元就再也不更新了。多变量输入下各特征尺度过大或学习率设置过高时尤其容易踩中。应对方案有两种一是用 LeakyReLU 这类带负斜率的变体二是在网络里加入 BatchNormalization 层把每层输入拉回原点附近让 ReLU 更不容易全覆盖。输出层的激活函数必须是线性激活这一点要严格分清。回归任务的输出值域是 $(-\infty, \infty)$sigmoid 压缩到 (0,1)tanh 压缩到 (-1,1)都会强制截断预测范围导致 R² 上不去。损失函数用均方误差MSE。公式为$$L \frac{1}{N} \sum_{i1}^{N} (y_i - \hat{y}_i)^2$$MSE 对大误差施加平方惩罚梯度方向直奔 R² 最大化。如果数据里有明显离群点MSE 会被少数大误差样本主导这时可以换 Huber 损失它在线性损失和平方损失之间取折中对离群点鲁棒得多。优化器直接选 Adam默认学习率 0.001 起步。对回归任务Adam 的自适应学习率机制省去了大量手动调参工作。但要注意Adam 在训练后期可能因学习率过小而停滞在局部最优若发现损失墙可以切换到 SGD 配合 momentum 做微调有时反而能冲过阻力区。3. 用 TensorFlow 实现多变量输入的深度全连接回归模型3.1 数据集构造、标准化与划分我们需要一组能够真实反映多变量输入特点的数据样例。以下代码构造了一个 8 特征回归数据集以 sin 交互项形式生成二元非线性关系模拟工程数据的典型形态。import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler np.random.seed(42) n_samples 5000 n_features 8 X np.random.uniform(-3, 3, (n_samples, n_features)) # 构造非线性回归目标线性项 三角函数项 两两交互项 y (2.0 * X[:, 0] 1.5 * np.sin(2.0 * X[:, 1]) 0.8 * X[:, 2] * X[:, 3] 0.5 * np.exp(-X[:, 4]**2) 0.3 * X[:, 5] * X[:, 6] 0.7 * X[:, 7] np.random.normal(0, 0.3, n_samples)) X_train, X_val, y_train, y_val train_test_split( X, y, test_size0.2, random_state42 ) scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 验证集只能用训练集的均值/方差做变换防止数据泄漏 X_val_scaled scaler.transform(X_val)标准化对带 ReLU 的全连接网络几乎是硬性要求不是可选项。原因在于 ReLU 对输入的线性区域只有一个特征量纲差异大时梯度被大数值特征主导小数值特征对应的权重更新缓慢。StandardScaler 把每列拉成零均值单位方差后梯度可以更均匀地分配到各特征。验证集用训练集的参数做 transform 而不是重新 fit是防止数据泄漏的第一道防线。3.2 Keras 构建深度全连接回归模型模型采用四层全连接结构中间层用 ReLU BatchNormalization输出层线性激活import tensorflow as tf from tensorflow.keras import layers, models, callbacks def build_dnn_regression_model(input_dim): model models.Sequential([ # 输入层由 input_dim 决定第一个隐藏层同时承担输入接入 layers.Input(shape(input_dim,)), layers.Dense(256, kernel_initializerhe_normal), layers.BatchNormalization(), layers.Activation(relu), layers.Dropout(0.2), layers.Dense(128, kernel_initializerhe_normal), layers.BatchNormalization(), layers.Activation(relu), layers.Dropout(0.2), layers.Dense(64, kernel_initializerhe_normal), layers.BatchNormalization(), layers.Activation(relu), layers.Dense(1, kernel_initializerglorot_normal) # 输出层不接激活即线性激活这是回归任务的关键 ]) model.compile( optimizertf.keras.optimizers.Adam(learning_rate0.001), lossmse, metrics[tf.keras.metrics.R2Score()] ) return model model build_dnn_regression_model(X_train_scaled.shape[1]) model.summary()he_normal 初始化器配合 ReLU 使用有理论依据它根据每层输入节点数缩放权重方差避免前向传播时信号逐层衰减或爆炸。glorot_normal 用于输出层则是考虑线性输出需要在激活函数两侧都有响应。在这里直接使用tf.keras.metrics.R2Score要注意TensorFlow 各版本对 R² 的实现略有差异但绝大多数 2.x 版本都提供。如果当前环境的 Keras 版本没有该指标可以自定义 R² 计算函数后文会给出写法。训练过程中的 R² 值是基于批数据的波动较大以验证集最终评估为准。3.3 训练循环、早停与学习率衰减回归训练最怕的就是过拟合而不自知。这里我们把验证集 R² 作为监控指标配合早停和学习率衰减一起使用early_stop callbacks.EarlyStopping( monitorval_r2_score, # 映射到 metrics 里注册的 R2Score modemax, # R² 越大越好 patience50, # 连续 50 个轮次不提升就停 restore_best_weightsTrue # 恢复验证指标最优时的权重 ) reduce_lr callbacks.ReduceLROnPlateau( monitorval_r2_score, modemax, factor0.5, patience15, min_lr1e-6 ) history model.fit( X_train_scaled, y_train, validation_data(X_val_scaled, y_val), epochs500, batch_size64, callbacks[early_stop, reduce_lr], verbose1 )早停的 patience 参数决定了模型愿意为暂时没提升等多少个轮次。设太大则可能过拟合后还继续跑设太小又容易在训练中段的平台期被误杀。经验值是 30~50配合 ReduceLROnPlateau 让学习率下降后再给 15 个轮次的机会比单纯加大 patience 效果好。batch_size 对回归任务的影响不能忽视。64 是折中值在 5000 样本量级64 一批保证了每批梯度的稳定性又不会像全批量那样陷入鞍点。如果训练集只有几百个样本可以用 16 或 32同时加强正则化。4. 训练后的评估R² 计算、残差分析与过拟合诊断4.1 R² 的两种计算方式与解读边界R²决定系数是回归预测最重要的评价指标取值范围可以在 $(-\infty, 1]$。其定义是$$R^2 1 - \frac{\sum_{i1}^{N}(y_i - \hat{y}i)^2}{\sum{i1}^{N}(y_i - \bar{y})^2}$$分子是模型残差平方和分母是样本自身的方差总和因此 R² 度量的是模型相对直接用均值预测有多大的误差缩减比例。R² 0.9 意味着模型把总变异的 90% 解释掉了剩下 10% 是噪声加遗漏信息。Keras 训练日志里打印的 R²Score 是批内计算的和全局 R² 有差别。最终评估统一用 sklearn 的r2_scorefrom sklearn.metrics import r2_score, mean_absolute_error y_pred model.predict(X_val_scaled, verbose0).flatten() r2 r2_score(y_val, y_pred) mae mean_absolute_error(y_val, y_pred) print(f验证集 R² {r2:.4f}) print(f验证集 MAE {mae:.4f})R² 对异常样本非常敏感。测试集里一个偏差 10 倍的离群点可以把 R² 从 0.93 拉到 0.7所以在解读 R² 前先看一眼残差分布比只看这一个数有用得多。4.2 残差分析R² 指标之外的必做步骤预测值减去真实值得到残差。理想情况下残差应该是对称分布于 0 两侧、不随预测值变化而变化的噪声带。如果残差图出现喇叭口形状说明模型在目标数值较大区间预测误差更大这时损失函数换成 Huber 或对目标变量做 log1p 变换会有帮助。如果残差整体偏正或偏负说明模型存在系统性偏差可以在输出层后加一个偏置校正项。一个可上手的做法是直接将残差与各输入特征做相关系数计算residuals y_val - y_pred correlations pd.DataFrame({ feature: [fX{i} for i in range(n_features)], corr_with_residual: [np.corrcoef(X_val[:, i], residuals)[0, 1] for i in range(n_features)] }) print(correlations.sort_values(corr_with_residual, keyabs, ascendingFalse))如果某个特征与残差有明显的线性相关说明模型对这个特征的利用还不够充分。可能的修正方式包括检查该特征是否在标准化前有缺失值填充不当、是否被 dropout 过度抑制、或者需要在网络前面单独加一个较高容量的子网络专门学习这个特征。4.3 训练曲线判读看四张图定下一步策略训练过程记录的 loss 和 R² 曲线可以告诉我们改进方向而非实际操作。将 history.history 中的键直接绘制即可重点关注下面四类情形训练损失和验证损失同时高模型欠拟合。增加网络宽度或深度、降低 dropout 比例、增大训练轮次上限、调大学习率。训练损失低但验证损失明显高于训练损失过拟合。提高 dropout、增大 L2 正则、减少网络容量、增加训练数据扰动加噪声。训练损失下降极其缓慢梯度消失或学习率过小。检查 ReLU 死亡单元占比可以用 Layer 权重统计或换用 LeakyReLU把 BatchNormalization 放在 Dense 之后、Activation 之前。训练损失快速下降但验证损失在某个轮次后反弹典型的训练后期过拟合。验证早停的 patience 是否足够以及 ReduceLROnPlateau 是否正常触发。import matplotlib.pyplot as plt plt.figure(figsize(10, 4)) plt.subplot(1, 2, 1) plt.plot(history.history[loss], labeltrain_loss) plt.plot(history.history[val_loss], labelval_loss) plt.xlabel(epoch) plt.ylabel(loss) plt.legend() plt.subplot(1, 2, 2) plt.plot(history.history[r2_score], labeltrain_r2) plt.plot(history.history[val_r2_score], labelval_r2) plt.xlabel(epoch) plt.ylabel(R²) plt.legend() plt.tight_layout() plt.show()模型和数据规模差距悬殊时前几个 epoch 的验证 R² 可能显示为负值这表示模型偏差比均值预测还大多见于网络初始化后还没来得及收敛的阶段。随着训练进行 R² 会从负值转正。4.4 多变量输入下的特征重要性辅助判定DNN 本身不直接给出特征重要性但可以用置换重要性来做后验分析将验证集中某一列特征随机打乱重新预测并计算 R² 降幅。降幅越大则说明模型对该特征依赖越强。基于标题所描述的需求这一步通常是用 DNN 完成预测后做特征解释时最常接续的操作。下方给出一个最小实现def permutation_importance(model, X_val, y_val, n_repeats5, seed42): baseline_r2 r2_score(y_val, model.predict(X_val, verbose0).flatten()) importances [] rng np.random.default_rng(seed) for j in range(X_val.shape[1]): scores [] for _ in range(n_repeats): X_perm X_val.copy() rng.shuffle(X_perm[:, j]) y_perm_pred model.predict(X_perm, verbose0).flatten() perm_r2 r2_score(y_val, y_perm_pred) scores.append(baseline_r2 - perm_r2) importances.append(np.mean(scores)) return np.array(importances) perm_imp permutation_importance(model, X_val_scaled, y_val)置换重要性反映的不仅是特征与目标的真实关联还包括模型对该特征已经建立的依赖方向。如果发现某个领域上公认重要的特征重要性接近 0优先怀疑预处理环节出了问题这个判断往往能直接定位到问题所在。5. 从验证集到上线回归预测模型的稳定性检查与边界认知5.1 多轮重复训练以确认 R² 的置信区间单次训练得到的 R² 不能代表模型真实水平。权重初始化的随机性、train/validation 划分的偶然性、Dropout 的随机性都会让 R² 有约 0.01~0.03 的波动。用一个循环跑 5 次并计算均值与标准差成本低、信息量大r2_scores [] for i in range(5): model build_dnn_regression_model(X_train_scaled.shape[1]) model.fit(X_train_scaled, y_train, validation_data(X_val_scaled, y_val), epochs300, batch_size64, callbacks[early_stop, reduce_lr], verbose0) pred model.predict(X_val_scaled, verbose0).flatten() r2_scores.append(r2_score(y_val, pred)) print(fR² 均值 {np.mean(r2_scores):.4f} ± {np.std(r2_scores):.4f})5 次运行的标准差如果大于 0.02说明网络对初始化过于敏感。应对方向是调低初始化权重尺度、增加 BatchNormalization 稳定性、或考虑把集成机制引入最终预测把 5 个模型的预测取均值。实战中取均值这种操作能让 R² 稳定提升 0.01~0.015几乎白拿的收益。5.2 用预测-真实散点图确认回归边界R² 只是一个整体标量无法告诉我们模型在哪个取值区间失真。把验证集的预测值与真实值做散点图加上 45° 对角线y x如果点云沿对角线对称分布说明预测无偏且方差均衡。如果高值端右上角明显在对角线下方说明模型存在向均值回归的收缩效应。这个现象在训练数据分布偏斜时尤其常见极值样本数量稀少MSE 损失决定模型宁可把极端情况预测得保守一点总损失反而更小。处理手段有限最常见的有效做法是对目标变量做分位数变换或对数变换压低长尾或者反过来给极端样本在自定义损失中手动加权。直接提高网络容量并不能有效解决该问题。需要注意训练部署时预测的是原始尺度做完 log 变换后必须np.expm1还原。变换与还原对称出错会导致最终指标无法对齐。5.3 对2018及以上版本兼容性的最后提示标题中强调2018及以上版本的诉求多来自两种场景一是必须在老服务器或客户机房安装部署、TensorFlow 版本受限二是复现某份在线示例代码时发现 API 失效。TensorFlow 1.x 和 2.x 在模型构建、会话执行、乃至tf.metrics上均有明显不易迁移的差异。上面全篇代码按 TensorFlow 2.x 写法给出若必须部署在仅有 TensorFlow 1.13~1.15 的环境下运行时需要手动打开tf.compat.v1.disable_eager_execution()。但依赖老版环境时优先直接采用tf.keras被官方同步进 1.14 的那套接口它和 2.x 的模型结构兼容度较高训练循环会需要少量修改。R² 指标在旧版 Keras 中没有原生对应使用本文第 4 章 sklearn 的独立评估方式反而是规避版本差异最干净的做法——训练过程看 loss 和 MAE最终效果统一用r2_score算在任何 TensorFlow 版本下结果一致。本文还有配套的精品资源点击获取
深度全连接神经网络多变量回归预测实战：从模型设计到R²评估
简介基于深度神经网络DNN的回归预测项目适用于多变量输入场景面向需要快速搭建高精度回归模型的科研与工程人员。代码要求MATLAB 2018及以上版本运行核心脚本完整采用深度全连接网络结构并内置R2、MAE、MSE、RMSE、MAPE等常用评价指标方便从不同维度评估模型效果。压缩包共8个文件体积仅1.1MB以MATLAB脚本.m为核心辅以数据表格.xlsx、说明文档.docx、文本备注.txt及结果图像.png结构清晰替换数据即可复用。已有156人学习下载。资源内含可直接运行的主程序、配套示例数据、带注释的说明文档和模型结果可视化图代码组织规范注释详尽可无痛替换成自己的数据集快速完成训练与预测便于理解深度全连接网络的构建、训练与评估流程。对于刚接触深度回归的新手以及有实际预测任务需求的开发者而言这是一份轻量、实用且易于二次开发的参考实现。1. 深度全连接神经网络做回归预测为什么多变量输入才是常态工况多数入门教程都在拿单变量时间序列演示 DNN 回归可真实工业场景几乎没有单独的特征即目标这种好事。设备剩余寿命预测、化工产率估计、风功率预报、材料性能回归特征数量随便就是 20 到 200 维特征之间还带着非线性交互和量纲差异。深度全连接神经网络在这种场景下直接占优的原因很简单它有足够的参数容量去拟合任意连续映射不需要像传统回归那样人为构造交互项和多项式特征代价是模型结构和训练策略必须自己设计。这篇内容围绕多变量输入 深度全连接 回归输出 R²评估这组技术点展开适合已经在用线性回归、决策树、随机森林、SVM 等传统方法、想把预测精度往上推一档的人也适合刚接触深度学习、想搞清楚全连接网络回归版图的人。我们直接按可复现的路径走先把全连接网络为何适用于多元回归证明清楚再落代码、定参数、看指标最后解决过拟合和数据泄漏这两个最影响 R² 的隐患。2. DNN 回归预测的模型设计全连接网络为什么能拟合任意回归面2.1 从线性回归到深度全连接隐藏层到底在做什么回归预测的数学本质是寻找一个映射$$y f(x_1, x_2, ..., x_m) \epsilon$$线性回归把 $f$ 限定成 $\sum w_i x_i b$只能捕捉一阶相关性。深度全连接神经网络则通过隐藏层反复做仿射变换加非线性激活把原始输入空间逐步重映射到新的特征空间。这个映射过程可以理解为第一层学习特征之间的组合模式第二层基于这些组合模式构造更抽象的表征后续层在此基础上继续抽象最后由输出层将一个高维表征压缩成单一实数。比起带核技巧的 SVR 和树模型全连接网络最大的优势是特征交互的自动发现能力。树模型的分裂过程虽然也在做特征组合但本质是分段常数逼近输出曲面是阶梯状的DNN 的激活函数是连续可微的天然输出平滑曲面。对工程数据里常见的那种特征低时目标也低、特征高时目标反而回落的倒U型关系全连接网络用两三个神经元就能表达树模型则要堆很多层分裂才能逼近。也正是因为表达能力强DNN 同时带来了更大的假设空间和更高的方差风险。小样本数据上全连接网络很容易把训练集背下来这正是后面要讲正则化和早停的原因。2.2 神经网络的深度和宽度怎么权衡多变量回归任务里全连接网络设计的第一步就是确定结构。输入层神经元数量由特征数量决定输出层固定为 1 个神经元线性激活变量集中在中间层。宽度代表单层特征组合的丰富度深度代表抽象层次。针对多变量回归有一个从实践中沉淀下来的经验区间网络规模适用场景典型结构风险浅窄型特征数 20样本量 10001 层 × 32 神经元欠拟合R² 偏低均衡型特征数 1050样本量 100010万3 层 × (128-64-32)需要配合早停与正则化深宽型特征数 50样本量 10万4~6 层 × (256-128-64-32-16)过拟合训练成本高懒惰的做法是直接上三层 256-128-64因为大多数多变量回归任务用这个配置起步不会太差。理性的做法是从小网络开始观察训练损失和验证损失之间的距离如果验证 R² 远低于训练 R²加大 dropout 或减小宽度如果两边都低再加深加宽。2.3 激活函数、损失函数与优化器的搭配逻辑回归预测中隐藏层激活函数首选 ReLU因为它计算高效、梯度消失问题轻。但 ReLU 有一个常见的死亡问题如果某层输出的加权和进入负区间梯度恒为 0神经元就再也不更新了。多变量输入下各特征尺度过大或学习率设置过高时尤其容易踩中。应对方案有两种一是用 LeakyReLU 这类带负斜率的变体二是在网络里加入 BatchNormalization 层把每层输入拉回原点附近让 ReLU 更不容易全覆盖。输出层的激活函数必须是线性激活这一点要严格分清。回归任务的输出值域是 $(-\infty, \infty)$sigmoid 压缩到 (0,1)tanh 压缩到 (-1,1)都会强制截断预测范围导致 R² 上不去。损失函数用均方误差MSE。公式为$$L \frac{1}{N} \sum_{i1}^{N} (y_i - \hat{y}_i)^2$$MSE 对大误差施加平方惩罚梯度方向直奔 R² 最大化。如果数据里有明显离群点MSE 会被少数大误差样本主导这时可以换 Huber 损失它在线性损失和平方损失之间取折中对离群点鲁棒得多。优化器直接选 Adam默认学习率 0.001 起步。对回归任务Adam 的自适应学习率机制省去了大量手动调参工作。但要注意Adam 在训练后期可能因学习率过小而停滞在局部最优若发现损失墙可以切换到 SGD 配合 momentum 做微调有时反而能冲过阻力区。3. 用 TensorFlow 实现多变量输入的深度全连接回归模型3.1 数据集构造、标准化与划分我们需要一组能够真实反映多变量输入特点的数据样例。以下代码构造了一个 8 特征回归数据集以 sin 交互项形式生成二元非线性关系模拟工程数据的典型形态。import numpy as np import pandas as pd from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler np.random.seed(42) n_samples 5000 n_features 8 X np.random.uniform(-3, 3, (n_samples, n_features)) # 构造非线性回归目标线性项 三角函数项 两两交互项 y (2.0 * X[:, 0] 1.5 * np.sin(2.0 * X[:, 1]) 0.8 * X[:, 2] * X[:, 3] 0.5 * np.exp(-X[:, 4]**2) 0.3 * X[:, 5] * X[:, 6] 0.7 * X[:, 7] np.random.normal(0, 0.3, n_samples)) X_train, X_val, y_train, y_val train_test_split( X, y, test_size0.2, random_state42 ) scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) # 验证集只能用训练集的均值/方差做变换防止数据泄漏 X_val_scaled scaler.transform(X_val)标准化对带 ReLU 的全连接网络几乎是硬性要求不是可选项。原因在于 ReLU 对输入的线性区域只有一个特征量纲差异大时梯度被大数值特征主导小数值特征对应的权重更新缓慢。StandardScaler 把每列拉成零均值单位方差后梯度可以更均匀地分配到各特征。验证集用训练集的参数做 transform 而不是重新 fit是防止数据泄漏的第一道防线。3.2 Keras 构建深度全连接回归模型模型采用四层全连接结构中间层用 ReLU BatchNormalization输出层线性激活import tensorflow as tf from tensorflow.keras import layers, models, callbacks def build_dnn_regression_model(input_dim): model models.Sequential([ # 输入层由 input_dim 决定第一个隐藏层同时承担输入接入 layers.Input(shape(input_dim,)), layers.Dense(256, kernel_initializerhe_normal), layers.BatchNormalization(), layers.Activation(relu), layers.Dropout(0.2), layers.Dense(128, kernel_initializerhe_normal), layers.BatchNormalization(), layers.Activation(relu), layers.Dropout(0.2), layers.Dense(64, kernel_initializerhe_normal), layers.BatchNormalization(), layers.Activation(relu), layers.Dense(1, kernel_initializerglorot_normal) # 输出层不接激活即线性激活这是回归任务的关键 ]) model.compile( optimizertf.keras.optimizers.Adam(learning_rate0.001), lossmse, metrics[tf.keras.metrics.R2Score()] ) return model model build_dnn_regression_model(X_train_scaled.shape[1]) model.summary()he_normal 初始化器配合 ReLU 使用有理论依据它根据每层输入节点数缩放权重方差避免前向传播时信号逐层衰减或爆炸。glorot_normal 用于输出层则是考虑线性输出需要在激活函数两侧都有响应。在这里直接使用tf.keras.metrics.R2Score要注意TensorFlow 各版本对 R² 的实现略有差异但绝大多数 2.x 版本都提供。如果当前环境的 Keras 版本没有该指标可以自定义 R² 计算函数后文会给出写法。训练过程中的 R² 值是基于批数据的波动较大以验证集最终评估为准。3.3 训练循环、早停与学习率衰减回归训练最怕的就是过拟合而不自知。这里我们把验证集 R² 作为监控指标配合早停和学习率衰减一起使用early_stop callbacks.EarlyStopping( monitorval_r2_score, # 映射到 metrics 里注册的 R2Score modemax, # R² 越大越好 patience50, # 连续 50 个轮次不提升就停 restore_best_weightsTrue # 恢复验证指标最优时的权重 ) reduce_lr callbacks.ReduceLROnPlateau( monitorval_r2_score, modemax, factor0.5, patience15, min_lr1e-6 ) history model.fit( X_train_scaled, y_train, validation_data(X_val_scaled, y_val), epochs500, batch_size64, callbacks[early_stop, reduce_lr], verbose1 )早停的 patience 参数决定了模型愿意为暂时没提升等多少个轮次。设太大则可能过拟合后还继续跑设太小又容易在训练中段的平台期被误杀。经验值是 30~50配合 ReduceLROnPlateau 让学习率下降后再给 15 个轮次的机会比单纯加大 patience 效果好。batch_size 对回归任务的影响不能忽视。64 是折中值在 5000 样本量级64 一批保证了每批梯度的稳定性又不会像全批量那样陷入鞍点。如果训练集只有几百个样本可以用 16 或 32同时加强正则化。4. 训练后的评估R² 计算、残差分析与过拟合诊断4.1 R² 的两种计算方式与解读边界R²决定系数是回归预测最重要的评价指标取值范围可以在 $(-\infty, 1]$。其定义是$$R^2 1 - \frac{\sum_{i1}^{N}(y_i - \hat{y}i)^2}{\sum{i1}^{N}(y_i - \bar{y})^2}$$分子是模型残差平方和分母是样本自身的方差总和因此 R² 度量的是模型相对直接用均值预测有多大的误差缩减比例。R² 0.9 意味着模型把总变异的 90% 解释掉了剩下 10% 是噪声加遗漏信息。Keras 训练日志里打印的 R²Score 是批内计算的和全局 R² 有差别。最终评估统一用 sklearn 的r2_scorefrom sklearn.metrics import r2_score, mean_absolute_error y_pred model.predict(X_val_scaled, verbose0).flatten() r2 r2_score(y_val, y_pred) mae mean_absolute_error(y_val, y_pred) print(f验证集 R² {r2:.4f}) print(f验证集 MAE {mae:.4f})R² 对异常样本非常敏感。测试集里一个偏差 10 倍的离群点可以把 R² 从 0.93 拉到 0.7所以在解读 R² 前先看一眼残差分布比只看这一个数有用得多。4.2 残差分析R² 指标之外的必做步骤预测值减去真实值得到残差。理想情况下残差应该是对称分布于 0 两侧、不随预测值变化而变化的噪声带。如果残差图出现喇叭口形状说明模型在目标数值较大区间预测误差更大这时损失函数换成 Huber 或对目标变量做 log1p 变换会有帮助。如果残差整体偏正或偏负说明模型存在系统性偏差可以在输出层后加一个偏置校正项。一个可上手的做法是直接将残差与各输入特征做相关系数计算residuals y_val - y_pred correlations pd.DataFrame({ feature: [fX{i} for i in range(n_features)], corr_with_residual: [np.corrcoef(X_val[:, i], residuals)[0, 1] for i in range(n_features)] }) print(correlations.sort_values(corr_with_residual, keyabs, ascendingFalse))如果某个特征与残差有明显的线性相关说明模型对这个特征的利用还不够充分。可能的修正方式包括检查该特征是否在标准化前有缺失值填充不当、是否被 dropout 过度抑制、或者需要在网络前面单独加一个较高容量的子网络专门学习这个特征。4.3 训练曲线判读看四张图定下一步策略训练过程记录的 loss 和 R² 曲线可以告诉我们改进方向而非实际操作。将 history.history 中的键直接绘制即可重点关注下面四类情形训练损失和验证损失同时高模型欠拟合。增加网络宽度或深度、降低 dropout 比例、增大训练轮次上限、调大学习率。训练损失低但验证损失明显高于训练损失过拟合。提高 dropout、增大 L2 正则、减少网络容量、增加训练数据扰动加噪声。训练损失下降极其缓慢梯度消失或学习率过小。检查 ReLU 死亡单元占比可以用 Layer 权重统计或换用 LeakyReLU把 BatchNormalization 放在 Dense 之后、Activation 之前。训练损失快速下降但验证损失在某个轮次后反弹典型的训练后期过拟合。验证早停的 patience 是否足够以及 ReduceLROnPlateau 是否正常触发。import matplotlib.pyplot as plt plt.figure(figsize(10, 4)) plt.subplot(1, 2, 1) plt.plot(history.history[loss], labeltrain_loss) plt.plot(history.history[val_loss], labelval_loss) plt.xlabel(epoch) plt.ylabel(loss) plt.legend() plt.subplot(1, 2, 2) plt.plot(history.history[r2_score], labeltrain_r2) plt.plot(history.history[val_r2_score], labelval_r2) plt.xlabel(epoch) plt.ylabel(R²) plt.legend() plt.tight_layout() plt.show()模型和数据规模差距悬殊时前几个 epoch 的验证 R² 可能显示为负值这表示模型偏差比均值预测还大多见于网络初始化后还没来得及收敛的阶段。随着训练进行 R² 会从负值转正。4.4 多变量输入下的特征重要性辅助判定DNN 本身不直接给出特征重要性但可以用置换重要性来做后验分析将验证集中某一列特征随机打乱重新预测并计算 R² 降幅。降幅越大则说明模型对该特征依赖越强。基于标题所描述的需求这一步通常是用 DNN 完成预测后做特征解释时最常接续的操作。下方给出一个最小实现def permutation_importance(model, X_val, y_val, n_repeats5, seed42): baseline_r2 r2_score(y_val, model.predict(X_val, verbose0).flatten()) importances [] rng np.random.default_rng(seed) for j in range(X_val.shape[1]): scores [] for _ in range(n_repeats): X_perm X_val.copy() rng.shuffle(X_perm[:, j]) y_perm_pred model.predict(X_perm, verbose0).flatten() perm_r2 r2_score(y_val, y_perm_pred) scores.append(baseline_r2 - perm_r2) importances.append(np.mean(scores)) return np.array(importances) perm_imp permutation_importance(model, X_val_scaled, y_val)置换重要性反映的不仅是特征与目标的真实关联还包括模型对该特征已经建立的依赖方向。如果发现某个领域上公认重要的特征重要性接近 0优先怀疑预处理环节出了问题这个判断往往能直接定位到问题所在。5. 从验证集到上线回归预测模型的稳定性检查与边界认知5.1 多轮重复训练以确认 R² 的置信区间单次训练得到的 R² 不能代表模型真实水平。权重初始化的随机性、train/validation 划分的偶然性、Dropout 的随机性都会让 R² 有约 0.01~0.03 的波动。用一个循环跑 5 次并计算均值与标准差成本低、信息量大r2_scores [] for i in range(5): model build_dnn_regression_model(X_train_scaled.shape[1]) model.fit(X_train_scaled, y_train, validation_data(X_val_scaled, y_val), epochs300, batch_size64, callbacks[early_stop, reduce_lr], verbose0) pred model.predict(X_val_scaled, verbose0).flatten() r2_scores.append(r2_score(y_val, pred)) print(fR² 均值 {np.mean(r2_scores):.4f} ± {np.std(r2_scores):.4f})5 次运行的标准差如果大于 0.02说明网络对初始化过于敏感。应对方向是调低初始化权重尺度、增加 BatchNormalization 稳定性、或考虑把集成机制引入最终预测把 5 个模型的预测取均值。实战中取均值这种操作能让 R² 稳定提升 0.01~0.015几乎白拿的收益。5.2 用预测-真实散点图确认回归边界R² 只是一个整体标量无法告诉我们模型在哪个取值区间失真。把验证集的预测值与真实值做散点图加上 45° 对角线y x如果点云沿对角线对称分布说明预测无偏且方差均衡。如果高值端右上角明显在对角线下方说明模型存在向均值回归的收缩效应。这个现象在训练数据分布偏斜时尤其常见极值样本数量稀少MSE 损失决定模型宁可把极端情况预测得保守一点总损失反而更小。处理手段有限最常见的有效做法是对目标变量做分位数变换或对数变换压低长尾或者反过来给极端样本在自定义损失中手动加权。直接提高网络容量并不能有效解决该问题。需要注意训练部署时预测的是原始尺度做完 log 变换后必须np.expm1还原。变换与还原对称出错会导致最终指标无法对齐。5.3 对2018及以上版本兼容性的最后提示标题中强调2018及以上版本的诉求多来自两种场景一是必须在老服务器或客户机房安装部署、TensorFlow 版本受限二是复现某份在线示例代码时发现 API 失效。TensorFlow 1.x 和 2.x 在模型构建、会话执行、乃至tf.metrics上均有明显不易迁移的差异。上面全篇代码按 TensorFlow 2.x 写法给出若必须部署在仅有 TensorFlow 1.13~1.15 的环境下运行时需要手动打开tf.compat.v1.disable_eager_execution()。但依赖老版环境时优先直接采用tf.keras被官方同步进 1.14 的那套接口它和 2.x 的模型结构兼容度较高训练循环会需要少量修改。R² 指标在旧版 Keras 中没有原生对应使用本文第 4 章 sklearn 的独立评估方式反而是规避版本差异最干净的做法——训练过程看 loss 和 MAE最终效果统一用r2_score算在任何 TensorFlow 版本下结果一致。本文还有配套的精品资源点击获取
