Scikit-learn 1.5.0 集成学习实战：Bagging与Boosting在3个经典数据集上的性能对比

1. 集成学习核心概念与实验设计

集成学习通过组合多个基础模型来提升整体预测性能，其核心思想类似于"三个臭皮匠顶个诸葛亮"。在Scikit-learn 1.5.0中，Bagging和Boosting作为两种主流集成方法，采用了截然不同的策略：

• Bagging(Bootstrap Aggregating)：通过并行生成多个独立的基础模型，采用投票或平均方式集成结果。典型代表是随机森林(Random Forest)
• Boosting：通过串行训练一系列弱学习器，每个新模型都专注于修正前序模型的错误。常见算法包括AdaBoost和Gradient Boosting

本次实验将使用Scikit-learn 1.5.0最新版本，在以下三个经典数据集上进行对比：

1. Iris（鸢尾花分类）
2. Wine（葡萄酒分类）
3. Diabetes（糖尿病回归）

# 实验环境准备 import numpy as np from sklearn import datasets from sklearn.model_selection import train_test_split # 加载三个数据集 iris = datasets.load_iris() wine = datasets.load_wine() diabetes = datasets.load_diabetes() # 划分训练集和测试集 X_iris, X_iris_test, y_iris, y_iris_test = train_test_split(iris.data, iris.target, test_size=0.3) X_wine, X_wine_test, y_wine, y_wine_test = train_test_split(wine.data, wine.target, test_size=0.3) X_diab, X_diab_test, y_diab, y_diab_test = train_test_split(diabetes.data, diabetes.target, test_size=0.3)

2. Bagging方法实战：随机森林与ExtraTrees

2.1 随机森林实现与调参

随机森林通过构建多棵决策树并集成其预测结果，能有效降低过拟合风险。Scikit-learn提供了丰富的参数控制：

from sklearn.ensemble import RandomForestClassifier, RandomForestRegressor # 分类任务配置 rf_clf = RandomForestClassifier( n_estimators=100, max_depth=5, max_features='sqrt', min_samples_split=5, random_state=42 ) # 回归任务配置 rf_reg = RandomForestRegressor( n_estimators=200, max_depth=7, min_samples_leaf=3, random_state=42 )

关键参数说明：

2.2 ExtraTrees：更极端的随机森林

ExtraTrees(极端随机树)在随机森林基础上进一步增加随机性：

from sklearn.ensemble import ExtraTreesClassifier et_clf = ExtraTreesClassifier( n_estimators=100, max_features='auto', bootstrap=False, # 使用全量数据 random_state=42 )

注意：ExtraTrees在节点分裂时随机选择分割点而非寻找最优分割，训练速度更快但可能牺牲少量精度

3. Boosting方法实战：AdaBoost与Gradient Boosting

3.1 AdaBoost实现与样本权重机制

AdaBoost通过迭代调整样本权重，使模型聚焦于难分类样本：

from sklearn.ensemble import AdaBoostClassifier from sklearn.tree import DecisionTreeClassifier ada_clf = AdaBoostClassifier( DecisionTreeClassifier(max_depth=3), n_estimators=100, learning_rate=0.8, algorithm='SAMME.R', random_state=42 )

样本权重更新过程：

1. 初始所有样本权重相同：1/N
2. 每轮训练后增加错分样本权重
3. 根据误差率计算模型权重
4. 最终预测为加权投票结果

3.2 Gradient Boosting的梯度优化策略

Gradient Boosting通过拟合残差逐步改进模型：

from sklearn.ensemble import GradientBoostingRegressor gb_reg = GradientBoostingRegressor( n_estimators=300, learning_rate=0.05, max_depth=4, subsample=0.8, validation_fraction=0.2, n_iter_no_change=10, random_state=42 )

关键优化技巧：

• 使用早停法(n_iter_no_change)防止过拟合
• 子采样(subsample)增加多样性
• 学习率(learning_rate)控制每棵树的影响

4. 跨数据集性能对比与分析

4.1 分类任务性能对比(Iris & Wine)

我们在两个分类数据集上训练并评估各模型：

from sklearn.metrics import accuracy_score # 训练随机森林 rf_clf.fit(X_iris, y_iris) rf_pred = rf_clf.predict(X_iris_test) rf_acc = accuracy_score(y_iris_test, rf_pred) # 训练AdaBoost ada_clf.fit(X_wine, y_wine) ada_pred = ada_clf.predict(X_wine_test) ada_acc = accuracy_score(y_wine_test, ada_pred)

性能对比结果：

4.2 回归任务性能对比(Diabetes)

使用MSE和R²作为评估指标：

from sklearn.metrics import mean_squared_error, r2_score rf_reg.fit(X_diab, y_diab) rf_pred = rf_reg.predict(X_diab_test) rf_mse = mean_squared_error(y_diab_test, rf_pred) gb_reg.fit(X_diab, y_diab) gb_pred = gb_reg.predict(X_diab_test) gb_r2 = r2_score(y_diab_test, gb_pred)

回归性能对比：

4.3 关键发现与选型建议

1. 数据规模影响：

   • 小数据集：Boosting表现更优
   • 大数据集：Bagging训练效率更高

2. 特征维度影响：

   • 高维数据：随机森林的随机特征选择更有效
   • 低维数据：Gradient Boosting可以更好捕捉特征交互

3. 实践建议：

   • 分类任务优先尝试随机森林
   • 回归任务考虑Gradient Boosting
   • 计算资源有限时选择ExtraTrees

5. 高级技巧与性能优化

5.1 特征重要性与模型解释

Scikit-learn提供了特征重要性分析：

import matplotlib.pyplot as plt # 获取特征重要性 importances = rf_clf.feature_importances_ indices = np.argsort(importances)[::-1] # 可视化 plt.figure(figsize=(10,6)) plt.title("Feature Importance in RandomForest") plt.bar(range(X_iris.shape[1]), importances[indices]) plt.xticks(range(X_iris.shape[1]), iris.feature_names[indices], rotation=90) plt.show()

5.2 超参数优化策略

使用GridSearchCV进行自动化调参：

from sklearn.model_selection import GridSearchCV param_grid = { 'n_estimators': [50, 100, 200], 'max_depth': [3, 5, 7], 'learning_rate': [0.01, 0.1, 0.5] } gbm = GradientBoostingRegressor() grid_search = GridSearchCV(gbm, param_grid, cv=5, scoring='neg_mean_squared_error') grid_search.fit(X_diab, y_diab) print("最佳参数：", grid_search.best_params_)

5.3 内存与计算优化

对于大规模数据，可使用以下技巧：

• 设置n_jobs参数并行化
• 使用warm_start增量训练
• 降低max_depth减少内存占用

# 内存优化配置示例 opt_model = RandomForestClassifier( n_estimators=50, max_depth=5, max_samples=0.8, n_jobs=-1, verbose=1 )

6. 可视化分析与案例解读

6.1 决策边界可视化

比较不同方法的决策边界差异：

from sklearn.decomposition import PCA from mlxtend.plotting import plot_decision_regions # 降维可视化 pca = PCA(n_components=2) X_pca = pca.fit_transform(X_iris[:, :2]) rf_clf.fit(X_pca, y_iris) plt.figure(figsize=(10,6)) plot_decision_regions(X_pca, y_iris, clf=rf_clf) plt.title('RandomForest决策边界') plt.show()

6.2 学习曲线分析

监控训练过程中的性能变化：

from sklearn.ensemble import GradientBoostingClassifier from sklearn.model_selection import learning_curve train_sizes, train_scores, test_scores = learning_curve( GradientBoostingClassifier(), X_wine, y_wine, cv=5 ) plt.plot(train_sizes, np.mean(test_scores, axis=1)) plt.xlabel('训练样本数') plt.ylabel('准确率') plt.title('学习曲线')

6.3 实际业务场景建议

1. 金融风控：

   • 使用Gradient Boosting捕捉非线性特征关系
   • 关注特征重要性解释模型决策

2. 医疗诊断：

   • 随机森林的稳健性更适合小样本数据
   • 通过概率校准提高预测可靠性

3. 工业预测：

   • ExtraTrees处理高维传感器数据
   • 集成多个异构模型提升稳定性