从鸢尾花分类到用户流失预测：用Scikit-learn快速上手决策树实战

从鸢尾花分类到用户流失预测：用Scikit-learn快速上手决策树实战

决策树算法作为机器学习领域的经典方法，因其直观易懂、无需复杂特征工程的特点，成为数据科学家解决分类与回归问题的首选工具之一。不同于教科书式的理论讲解，本文将带您直接进入实战场景，通过两个典型案例——经典的鸢尾花分类和更具商业价值的用户流失预测，完整演示如何用Python的Scikit-learn库快速构建决策树模型，并应用于真实业务问题。

1. 决策树的核心优势与应用场景

决策树之所以在工业界广受欢迎，主要归功于其独特的三大特性：

1. 可视化决策过程：生成的树形结构可以直接展示特征判断逻辑，比"黑箱"模型更易解释
2. 自动特征选择：通过信息增益或基尼系数自动筛选重要特征，降低维度灾难风险
3. 处理混合数据类型：无需对分类变量进行独热编码，可直接处理数值型和类别型特征

在商业分析中，决策树特别适合以下场景：

• 客户分群与画像：根据消费行为自动划分客户群体
• 风险控制：评估贷款申请人的违约概率
• 运营优化：预测设备故障时间以安排预防性维护
• 营销响应：识别最可能响应促销活动的客户

# 决策树适用场景检查清单 applicable_conditions = [ "需要模型可解释性", "特征包含混合数据类型", "存在非线性决策边界", "样本量在10万以下" ]

2. 快速构建鸢尾花分类器

我们首先以经典的鸢尾花数据集为例，演示完整的建模流程。这个包含150个样本的数据集记录了三种鸢尾花（Setosa、Versicolor、Virginica）的萼片和花瓣尺寸。

2.1 数据准备与探索

Scikit-learn内置了鸢尾花数据集，加载后可通过pandas进行初步分析：

from sklearn.datasets import load_iris import pandas as pd iris = load_iris() df = pd.DataFrame(iris.data, columns=iris.feature_names) df['species'] = iris.target print(df.describe()) print("\n类别分布:\n", df['species'].value_counts())

关键观察点：

• 检查缺失值：df.isnull().sum()
• 验证类别平衡性
• 观察特征量纲差异（是否需要标准化）

2.2 基础模型训练与评估

使用Scikit-learn的决策树分类器只需几行代码：

from sklearn.tree import DecisionTreeClassifier from sklearn.model_selection import train_test_split X_train, X_test, y_train, y_test = train_test_split( iris.data, iris.target, test_size=0.2, random_state=42) clf = DecisionTreeClassifier(max_depth=3, random_state=42) clf.fit(X_train, y_train) print("测试集准确率:", clf.score(X_test, y_test))

典型输出结果：

测试集准确率: 1.0

2.3 模型可视化与解读

决策树最大的优势是可解释性。使用graphviz可视化树结构：

from sklearn.tree import export_graphviz import graphviz dot_data = export_graphviz( clf, out_file=None, feature_names=iris.feature_names, class_names=iris.target_names, filled=True, rounded=True ) graph = graphviz.Source(dot_data) graph.render("iris_tree") # 保存为PDF文件

生成的决策树显示：

• 首次分裂基于花瓣宽度 ≤ 0.8cm
• Setosa类能被完美区分
• Versicolor和Virginica需要更多判断条件

3. 用户流失预测实战

更复杂的用户流失预测场景能展示决策树的商业价值。假设我们有一个电信用户数据集，包含：

3.1 业务理解与特征工程

不同于鸢尾花数据集，真实业务数据需要更多预处理：

# 处理缺失值 df['total_charges'].replace(' ', np.nan, inplace=True) df['total_charges'] = df['total_charges'].astype(float) df['total_charges'].fillna(df['monthly_charges'], inplace=True) # 转换分类变量 cat_cols = ['gender', 'partner', 'dependents', 'phone_service'] df = pd.get_dummies(df, columns=cat_cols, drop_first=True) # 创建时间特征 df['tenure_months'] = df['tenure'] / 30

注意：虽然决策树能处理类别变量，但Scikit-learn实现要求所有输入为数值型

3.2 处理类别不平衡问题

流失预测通常是正样本（流失用户）远少于负样本的不平衡问题：

from sklearn.utils import class_weight class_weights = class_weight.compute_class_weight( 'balanced', classes=np.unique(y_train), y=y_train ) clf = DecisionTreeClassifier(class_weight={0: class_weights[0], 1: class_weights[1]})

替代方案：

• 上采样少数类（SMOTE）
• 下采样多数类
• 使用F1-score代替准确率作为评估指标

3.3 特征重要性分析

训练后可通过feature_importances_属性识别关键流失因素：

features = pd.DataFrame({ 'feature': X.columns, 'importance': clf.feature_importances_ }).sort_values('importance', ascending=False) print(features.head(10))

典型发现可能包括：

1. 月消费金额
2. 合约类型（按月/年付费）
3. 在线支付方式
4. 最近投诉次数

4. 模型优化与部署技巧

4.1 超参数调优指南

决策树关键参数及其影响：

使用GridSearchCV自动搜索最优组合：

from sklearn.model_selection import GridSearchCV param_grid = { 'max_depth': [3, 5, 7], 'min_samples_leaf': [1, 3, 5], 'criterion': ['gini', 'entropy'] } grid_search = GridSearchCV( estimator=DecisionTreeClassifier(), param_grid=param_grid, cv=5, scoring='f1' ) grid_search.fit(X_train, y_train)

4.2 部署前的关键检查

将模型投入生产环境前建议完成：

1. 稳定性验证：

   • 在不同时间窗口测试表现
   • 检查特征重要性排序是否合理

2. 监控方案设计：

   • 记录预测概率分布变化
   • 设置准确率下降警报阈值

3. 解释性增强：

   • 生成决策路径样本报告
   • 准备特征贡献力说明文档

# 导出PMML格式便于Java环境调用 from sklearn2pmml import sklearn2pmml sklearn2pmml(pipeline, "churn_model.pmml")

4.3 常见陷阱与解决方案

实际应用中容易遇到的问题：

• 问题1：树模型对微小数据变化敏感

  • 解决方案：使用随机森林提升稳定性

• 问题2：类别变量值过多导致过拟合

  • 解决方案：合并低频类别或改用数值编码

• 问题3：业务规则与模型决策冲突

  • 解决方案：通过max_features限制考虑的特征数

5. 超越基础决策树的进阶技巧

当基础决策树表现不足时，可以考虑以下进阶方法：

5.1 集成学习方法

随机森林通过构建多棵树的集体决策提升表现：

from sklearn.ensemble import RandomForestClassifier rf = RandomForestClassifier( n_estimators=100, max_features='sqrt', oob_score=True ) rf.fit(X_train, y_train) print("OOB Score:", rf.oob_score_)

梯度提升树（如XGBoost）逐步修正错误：

from xgboost import XGBClassifier xgb = XGBClassifier( max_depth=5, learning_rate=0.1, subsample=0.8, eval_metric='logloss' ) xgb.fit(X_train, y_train)

5.2 业务规则融合技巧

将领域知识融入模型的实用方法：

1. 特征约束：通过max_features优先考虑业务关键特征
2. 后处理规则：对特定客户群体覆盖模型预测
3. 集成投票：结合专家规则系统与模型输出

# 示例：对高价值客户应用不同决策阈值 def business_rules(row, pred_proba): if row['customer_value'] > 10000: return 1 if pred_proba > 0.3 else 0 return 1 if pred_proba > 0.5 else 0

5.3 可解释性增强工具

SHAP值分析可量化每个特征对预测的贡献：

import shap explainer = shap.TreeExplainer(clf) shap_values = explainer.shap_values(X_test) shap.summary_plot(shap_values, X_test, feature_names=feature_names)

LIME工具可生成局部解释：

import lime import lime.lime_tabular explainer = lime.lime_tabular.LimeTabularExplainer( training_data=X_train.values, feature_names=feature_names, class_names=['Retain', 'Churn'], mode='classification' ) exp = explainer.explain_instance(X_test.iloc[0], clf.predict_proba) exp.show_in_notebook()