1. 从赛题到解题一次完整的大数据竞赛实战复盘去年我带着团队参加了MathorCup大数据竞赛选的正是B题。说实话当时看到题目描述和那一大堆数据文件团队里几个第一次参赛的学弟学妹都有点懵。这其实是大数据类竞赛的常态题目描述往往不会给你一个明确的“标准答案”路径它更像是一个开放的、定义模糊的现实问题等着你用数据、模型和代码去“定义”和“解决”。B题的核心通常围绕一个具体的商业或社会场景比如用户行为预测、资源优化调度、风险识别等考验的是从问题抽象、数据清洗、特征工程、模型构建到结果分析的全链路能力。这篇复盘我就以我们当时的解题过程为蓝本拆解每一个环节的思考、踩过的坑以及最终成型的方案。无论你是准备参加类似竞赛的学生还是想系统性学习如何解决一个数据科学问题的从业者希望这份超过五千字的“实战手册”能给你带来实实在在的启发。我们的解题过程可以清晰地划分为四个核心阶段这也是处理绝大多数数据竞赛或数据项目的通用框架问题理解与目标定义、数据勘探与预处理、模型构建与优化、结果分析与方案呈现。下面我就按这个逻辑一步步展开。2. 第一阶段破题——将模糊描述转化为可计算的数学问题拿到赛题后最忌讳的就是一头扎进数据里。第一步必须是反复研读题目把自然语言描述转化为清晰、可量化的目标。2.1 深度解读题目与背景MathorCup B题那年的背景是关于“电商平台促销活动下的用户购买预测与优惠券精准投放策略优化”。题目给了一段背景介绍几个业务问题以及一个包含用户画像、商品信息、历史行为、促销活动等多张表的数据集。我们的做法是把题目打印出来逐句划出关键词。比如“提高促销活动的投入产出比ROI”、“在预算约束下最大化GMV商品交易总额”、“预测用户对特定优惠券的核销概率”。这些就是核心目标。同时题目中“根据用户历史行为”、“考虑商品关联性”、“避免过度营销”等描述则是约束条件与业务考量。注意很多队伍在这里会犯错要么目标定得太大想同时优化所有指标要么忽略业务约束做出理论上最优但实际不可行的方案。我们的经验是初期必须明确一个首要优化目标。经过讨论我们决定将“在给定营销预算下预测用户核销优惠券的概率并选择概率高且能带来高GMV的用户-商品-优惠券组合进行投放以实现整体GMV最大化”作为核心问题。这样问题就被分解为1) 预测概率分类/回归问题2) 组合优化运筹学问题。2.2 定义评估指标与赛题规则对齐竞赛通常会指定评估指标比如AUC、F1-Score、RMSE或者是自定义的业务指标如“总GMV - 总优惠券成本”。B题当年使用的是综合评分既考虑了预测准确性如核销概率预测的AUC也考虑了业务收益如模拟投放后的GMV提升率。这里有一个关键点你必须完全理解评估指标的计算方式因为它直接决定了你模型优化的方向。例如如果指标是AUC那么你关心的是模型对正负样本的排序能力而不必过分纠结于概率的绝对校准如果指标是RMSE那么你就要尽量减少预测值与真实值的平方误差。我们当时把组委会提供的评分公式单独拎出来用一小部分数据手动计算了一遍确保完全理解。这避免了后续盲目调参做无用功。3. 第二阶段炼数——从原始数据到模型可用的特征数据预处理和特征工程通常占据了整个项目70%以上的时间也是决定模型效果的下限。3.1 数据加载与初步探索性数据分析我们使用Python的Pandas库加载了所有CSV文件。第一步不是清洗而是探索性数据分析。这包括看概览df.info()看每列数据类型、缺失值情况df.describe()看数值列的分布均值、标准差、分位数。看唯一值对于类别型字段如用户ID、商品类别查看唯一值数量判断是低基数还是高基数特征。看缺失精确统计每一列的缺失值比例。对于B题数据我们发现“用户年龄”有约15%的缺失“商品上次促销价格”字段缺失率高达30%。高缺失率字段需要谨慎处理。看分布绘制关键字段的直方图、箱线图。例如我们发现“用户历史购买金额”严重右偏存在少量极高价值的用户鲸鱼用户。这对采样和模型都有影响。看关联计算特征之间、特征与目标标签之间的相关性对于数值型用Pearson对于类别型可以用卡方检验或可视化。初步发现“用户活跃度”与“核销行为”有较强正相关。3.2 数据清洗与缺失值处理策略清洗是基于EDA发现的“脏数据”进行处理。异常值处理对于“用户历史购买金额”的极端高值我们并未简单删除因为可能是真实的“鲸鱼用户”。我们采用了缩尾处理将高于99分位数的值用99分位数的值替代低于1分位数的值用1分位数的值替代。这保留了信息的同时减少了极端值对模型的干扰。缺失值处理策略因字段而异。“用户年龄”缺失率15%我们采用了多重插补。因为年龄与其他特征如注册时长、购买品类可能存在关联简单用中位数填充会丢失信息。我们使用fancyimpute库的IterativeImputer进行填充。“商品上次促销价格”缺失率30%且与“商品当前价格”强相关。我们采用了一种业务逻辑填充如果该商品有历史促销记录则用同类商品同期促销价的均值填充如果没有则用“商品当前价格 * 0.9”假设一个基础折扣率进行填充。这比简单均值填充更合理。少量缺失的类别型字段如“用户所在城市”我们直接填充为“未知”作为一个新的类别。3.3 特征工程构建模型“理解”世界的语言这是最体现创造力和业务理解的部分。特征可以分为几类1. 单表特征用户维度从用户表可以衍生出“注册时长天”、“是否为新用户注册30天”、“历史购买频次”、“历史平均客单价”、“历史购买品类偏好Top3”等。商品维度从商品表可以衍生出“商品价格等级”、“商品所属大类/小类”、“商品是否常参与促销”、“商品历史核销率”等。优惠券维度从优惠券表可以衍生出“优惠券折扣力度折减金额/门槛”、“优惠券类型满减、折扣、无门槛”、“优惠券有效期长度”等。2. 跨表关联特征核心用户-商品交叉“用户历史购买该商品所属品类的次数/金额”、“用户对该商品价格的敏感度历史购买相似价格商品的比例”。用户-优惠券交叉“用户历史领取同类型优惠券的数量”、“用户历史对该类型优惠券的核销率”。商品-优惠券交叉“该商品历史搭配此类优惠券的核销率”、“优惠券折扣力度相对于商品价格的比例”。用户-商品-优惠券交叉高阶这是我们构造的杀手级特征。例如“用户历史核销相似优惠券同类型、同折扣档位时购买的商品与当前商品的品类相似度”。这个特征需要利用历史行为表进行复杂的聚合和计算但能极大地刻画用户在当前场景下的偏好。3. 时间序列特征利用行为数据中的时间戳构造“用户最近一次购买距今的天数”、“用户最近一周/一个月的活跃度点击、收藏、加购次数”、“商品近期热度被浏览、加购的次数”等。这些特征能捕捉行为的时效性。4. 统计聚合特征在训练集上按用户、商品、品类等分组统计目标标签是否核销的均值、方差等作为先验概率特征。但要特别注意避免数据泄露计算某个用户的历史核销率时不能包含他当前这条样本的数据。我们采用“时间滑窗”或“全局统计”的方法来构造。实操心得特征不是越多越好。我们初期构造了200多个特征导致训练慢且可能过拟合。后续我们使用特征重要性排序基于树模型和相关性过滤去除了重要性低或与其他特征高度共线的特征最终保留了80个左右的核心特征。另外对于类别型特征我们几乎全部使用了目标编码因为它能更好地将类别信息与目标变量关联起来效果普遍优于独热编码尤其在高基数特征上。3.4 数据集划分与验证策略由于竞赛数据通常没有明确的时间标注我们采用了分层抽样来划分训练集、验证集和测试集比例约为6:2:2确保每个集合中正负样本的比例与全集一致。更重要的是我们模拟了时间序列交叉验证假设数据是按时间生成的我们按时间顺序划分多个训练/验证窗口以此来评估模型在“未来”数据上的稳定性。这比简单的随机划分更能反映模型的实际泛化能力。4. 第三阶段建模——多模型融合与精细化调优特征准备好后就进入了模型构建阶段。我们的策略是“先集成后精修融合强于单模”。4.1 基线模型建立与快速验证我们首先建立了几个基线模型用于快速验证特征的有效性和流程的正确性。逻辑回归作为最简单的线性模型它速度快可解释性强。如果特征工程做得足够好例如引入了交叉特征逻辑回归也能有不错的效果。它为我们提供了一个效果下限。随机森林可以处理非线性关系对特征量纲不敏感能输出特征重要性是我们进行特征筛选的重要工具。LightGBM这是我们的主力模型。梯度提升树在表格数据竞赛中几乎是无敌的存在它训练速度快支持大规模数据能自动处理缺失值并且提供了丰富的正则化选项防止过拟合。我们先用默认参数快速训练了这三个模型在验证集上看AUC。结果逻辑回归0.72随机森林0.78LightGBM 0.82。这证实了我们的特征工程是有效的且树模型有明显优势。4.2 核心模型LightGBM的深度调参我们将主要精力放在LightGBM的调优上。调参不是盲目网格搜索而是有章法的。控制过拟合参数优先num_leaves这是最重要的参数之一控制树的复杂度。我们从一个较小的值如31开始根据数据量逐步增加。min_data_in_leaf叶子节点最小样本数。设置一个较大的值如100可以有效防止过拟合。max_depth限制树的最大深度我们一般设为-1不限制用num_leaves和min_data_in_leaf来控制。feature_fraction/bagging_fraction每次迭代随机选取部分特征/数据这是随机森林的思想能提升模型多样性和泛化能力。lambda_l1,lambda_l2L1和L2正则化。提升精度参数learning_rate学习率。我们采用“低学习率多迭代次数”的策略通常从0.1开始配合早停法。n_estimators树的数量。通过早停法自动确定。我们的调参流程Step 1: 固定learning_rate0.1用网格搜索或贝叶斯优化调整num_leaves和min_data_in_leaf找到一组控制过拟合的较优值。Step 2: 调整feature_fraction和bagging_fraction通常在0.7-0.9之间。Step 3: 将学习率降低如到0.05或0.01按比例增加n_estimators再次训练并使用早停。Step 4: 最后微调正则化参数lambda_l1和lambda_l2。我们使用了optuna这个超参数优化框架它比网格搜索更高效。经过调优单模LightGBM的AUC从0.82提升到了0.845。4.3 模型融合 stacking的威力为了进一步提升模型效果和稳定性我们采用了Stacking融合。第一层基学习器我们训练了多个差异化的模型调参后的LightGBM主力XGBoost另一个强大的GBDT实现与LGB略有不同CatBoost擅长处理类别特征一个深度神经网络用Keras搭建的3层MLP用于捕捉可能的深层非线性交互第二层元学习器我们使用5折交叉验证生成第一层模型在训练集上的预测概率OOF预测将这些预测概率作为新的特征与原始特征的一部分我们选择了最重要的30个拼接训练一个简单的逻辑回归模型作为元学习器。踩坑记录Stacking时最容易犯的错误是数据泄露。必须确保在生成OOF预测时每一折的验证集数据都没有参与该折模型的训练。我们使用sklearn的StratifiedKFold并手动循环确保过程正确。融合后我们的模型在验证集上的AUC达到了0.852有了明显的提升。4.4 处理样本不平衡与自定义损失函数我们的数据中优惠券核销正样本的比例很低大约只有8%。严重的样本不平衡会导致模型倾向于预测负样本。常规方法我们首先尝试了LightGBM的is_unbalanceTrue参数以及给正样本设置更高的scale_pos_weight例如设置为负样本数/正样本数。进阶方法我们采用了分层采样来保证每个训练批次中正负样本都有一定的比例。更重要的是我们尝试了Focal Loss作为自定义损失函数。Focal Loss通过减少易分类样本的权重让模型更关注难分类的样本通常是稀少的正样本。在LightGBM中我们需要自定义损失函数的一阶梯度负梯度和二阶梯度Hessian。这需要一定的推导但实现后对提升AUC有进一步帮助。5. 第四阶段求解——将预测转化为业务决策预测出用户核销优惠券的概率后竞赛任务只完成了一半。题目要求的是“在预算约束下制定投放策略”这是一个组合优化问题。5.1 问题建模0-1整数规划假设我们有N个待投放的用户-优惠券组合每个组合i有一个预测的核销概率 p_i一个预估的GMV贡献 g_i可由商品价格和折扣估算以及一个优惠券成本 c_i。我们的目标是选择一部分组合进行投放使得总期望GMV最大同时总成本不超过预算B。这是一个经典的0-1背包问题的变体。我们可以为每个组合定义一个决策变量 x_i ∈ {0, 1}表示是否投放。目标函数和约束如下目标函数Maximize Σ (p_i * g_i * x_i)约束条件Σ (c_i * x_i) ≤ B决策变量x_i ∈ {0, 1}, for i 1 to N5.2 求解算法贪心与动态规划对于大规模问题N可能上万精确求解整数规划比较耗时。我们采用了高效的近似算法。性价比排序贪心算法这是最直观有效的方法。我们计算每个投放组合的“性价比”即期望收益 / 成本 (p_i * g_i) / c_i。然后按照性价比从高到低排序依次选取组合加入投放列表直到总成本达到预算B。这种方法计算速度快在大多数情况下能得到接近最优的解。动态规划对于预算B不是特别大的情况我们可以用动态规划来求精确解。定义dp[j]为花费恰好j成本时能获得的最大期望GMV。遍历所有组合状态转移方程为dp[j] max(dp[j], dp[j - c_i] p_i * g_i) (if j c_i)。最终答案就是max(dp[0...B])。我们实现了这个算法作为对比发现当B较大时贪心算法的结果与动态规划的结果差距在1%以内但速度快几个数量级。5.3 策略模拟与结果输出我们编写了一个模拟函数按照我们最终的投放策略由贪心算法得出在测试集上进行模拟“投放”并计算模拟产生的总期望GMV和总成本。最终提交的结果文件需要包含两部分所有测试样本的预测核销概率。推荐的投放列表即x_i1的那些组合ID以及该策略下的模拟总期望GMV和总成本。我们额外输出了一份策略分析报告指出哪些特征如用户活跃度、优惠券折扣力度对最终被选中的组合贡献最大这为业务解释提供了依据。6. 代码工程与协作要点一个完整的竞赛项目代码的清晰度和可复现性至关重要。6.1 项目结构管理我们使用了标准的项目结构这极大地提升了协作效率。MathorCup_B/ ├── data/ # 存放原始数据和预处理后的数据 ├── src/ # 源代码 │ ├── 01_eda.ipynb # 探索性数据分析 │ ├── 02_preprocessing.py # 数据清洗与预处理函数 │ ├── 03_feature_engineering.py # 特征工程函数 │ ├── 04_model_training.py # 模型训练与调参 │ ├── 05_optimization.py # 策略优化求解 │ └── utils.py # 通用工具函数 ├── configs/ # 配置文件模型参数、路径等 ├── models/ # 保存训练好的模型文件 ├── outputs/ # 生成的特征文件、预测结果、提交文件 ├── requirements.txt # 项目依赖包列表 └── README.md # 项目说明文档使用Jupyter Notebook进行EDA和快速实验将稳定的流程封装成.py脚本便于复用和自动化。6.2 版本控制与实验记录我们使用Git进行代码版本控制。更重要的是对于模型实验我们使用了MLflow来跟踪每一次实验的超参数、评估指标和对应的特征集。这能让我们清晰地知道哪些改动带来了提升哪些是无效的避免了重复劳动和混乱。6.3 性能优化技巧大数据处理当特征工程导致数据量很大时Pandas可能内存不足。我们使用了dtype参数在读取数据时指定类型如int32代替int64并使用category类型存储类别变量。对于极大的中间数据我们会使用parquet格式存储它比CSV更省空间读写更快。并行计算LightGBM和特征工程中的许多操作如groupby聚合都支持并行。我们确保充分利用了多核CPU。缓存中间结果特征工程脚本中我们将处理好的特征数据保存为.pkl或.feather文件。这样在多次迭代建模时无需重复运行耗时的预处理步骤。回顾整个解题过程从最初的茫然到最终形成一套完整的解决方案最大的收获不是某个具体的模型或技巧而是建立起一套解决复杂数据问题的系统性思维框架定义问题 - 理解数据 - 设计特征 - 迭代建模 - 业务求解。这套框架适用于绝大多数数据科学任务。比赛中那些熬夜调参、为了一点点AUC提升而绞尽脑汁的经历以及和队友为了一个特征设计争得面红耳赤的时刻现在想来都是最宝贵的财富。最后给参赛者的建议是尽早动手重视基础和流程大胆尝试但也要学会做减法。代码和思路的清晰往往比使用一个花哨的模型更重要。
大数据竞赛实战：从特征工程到模型融合的完整解题框架
1. 从赛题到解题一次完整的大数据竞赛实战复盘去年我带着团队参加了MathorCup大数据竞赛选的正是B题。说实话当时看到题目描述和那一大堆数据文件团队里几个第一次参赛的学弟学妹都有点懵。这其实是大数据类竞赛的常态题目描述往往不会给你一个明确的“标准答案”路径它更像是一个开放的、定义模糊的现实问题等着你用数据、模型和代码去“定义”和“解决”。B题的核心通常围绕一个具体的商业或社会场景比如用户行为预测、资源优化调度、风险识别等考验的是从问题抽象、数据清洗、特征工程、模型构建到结果分析的全链路能力。这篇复盘我就以我们当时的解题过程为蓝本拆解每一个环节的思考、踩过的坑以及最终成型的方案。无论你是准备参加类似竞赛的学生还是想系统性学习如何解决一个数据科学问题的从业者希望这份超过五千字的“实战手册”能给你带来实实在在的启发。我们的解题过程可以清晰地划分为四个核心阶段这也是处理绝大多数数据竞赛或数据项目的通用框架问题理解与目标定义、数据勘探与预处理、模型构建与优化、结果分析与方案呈现。下面我就按这个逻辑一步步展开。2. 第一阶段破题——将模糊描述转化为可计算的数学问题拿到赛题后最忌讳的就是一头扎进数据里。第一步必须是反复研读题目把自然语言描述转化为清晰、可量化的目标。2.1 深度解读题目与背景MathorCup B题那年的背景是关于“电商平台促销活动下的用户购买预测与优惠券精准投放策略优化”。题目给了一段背景介绍几个业务问题以及一个包含用户画像、商品信息、历史行为、促销活动等多张表的数据集。我们的做法是把题目打印出来逐句划出关键词。比如“提高促销活动的投入产出比ROI”、“在预算约束下最大化GMV商品交易总额”、“预测用户对特定优惠券的核销概率”。这些就是核心目标。同时题目中“根据用户历史行为”、“考虑商品关联性”、“避免过度营销”等描述则是约束条件与业务考量。注意很多队伍在这里会犯错要么目标定得太大想同时优化所有指标要么忽略业务约束做出理论上最优但实际不可行的方案。我们的经验是初期必须明确一个首要优化目标。经过讨论我们决定将“在给定营销预算下预测用户核销优惠券的概率并选择概率高且能带来高GMV的用户-商品-优惠券组合进行投放以实现整体GMV最大化”作为核心问题。这样问题就被分解为1) 预测概率分类/回归问题2) 组合优化运筹学问题。2.2 定义评估指标与赛题规则对齐竞赛通常会指定评估指标比如AUC、F1-Score、RMSE或者是自定义的业务指标如“总GMV - 总优惠券成本”。B题当年使用的是综合评分既考虑了预测准确性如核销概率预测的AUC也考虑了业务收益如模拟投放后的GMV提升率。这里有一个关键点你必须完全理解评估指标的计算方式因为它直接决定了你模型优化的方向。例如如果指标是AUC那么你关心的是模型对正负样本的排序能力而不必过分纠结于概率的绝对校准如果指标是RMSE那么你就要尽量减少预测值与真实值的平方误差。我们当时把组委会提供的评分公式单独拎出来用一小部分数据手动计算了一遍确保完全理解。这避免了后续盲目调参做无用功。3. 第二阶段炼数——从原始数据到模型可用的特征数据预处理和特征工程通常占据了整个项目70%以上的时间也是决定模型效果的下限。3.1 数据加载与初步探索性数据分析我们使用Python的Pandas库加载了所有CSV文件。第一步不是清洗而是探索性数据分析。这包括看概览df.info()看每列数据类型、缺失值情况df.describe()看数值列的分布均值、标准差、分位数。看唯一值对于类别型字段如用户ID、商品类别查看唯一值数量判断是低基数还是高基数特征。看缺失精确统计每一列的缺失值比例。对于B题数据我们发现“用户年龄”有约15%的缺失“商品上次促销价格”字段缺失率高达30%。高缺失率字段需要谨慎处理。看分布绘制关键字段的直方图、箱线图。例如我们发现“用户历史购买金额”严重右偏存在少量极高价值的用户鲸鱼用户。这对采样和模型都有影响。看关联计算特征之间、特征与目标标签之间的相关性对于数值型用Pearson对于类别型可以用卡方检验或可视化。初步发现“用户活跃度”与“核销行为”有较强正相关。3.2 数据清洗与缺失值处理策略清洗是基于EDA发现的“脏数据”进行处理。异常值处理对于“用户历史购买金额”的极端高值我们并未简单删除因为可能是真实的“鲸鱼用户”。我们采用了缩尾处理将高于99分位数的值用99分位数的值替代低于1分位数的值用1分位数的值替代。这保留了信息的同时减少了极端值对模型的干扰。缺失值处理策略因字段而异。“用户年龄”缺失率15%我们采用了多重插补。因为年龄与其他特征如注册时长、购买品类可能存在关联简单用中位数填充会丢失信息。我们使用fancyimpute库的IterativeImputer进行填充。“商品上次促销价格”缺失率30%且与“商品当前价格”强相关。我们采用了一种业务逻辑填充如果该商品有历史促销记录则用同类商品同期促销价的均值填充如果没有则用“商品当前价格 * 0.9”假设一个基础折扣率进行填充。这比简单均值填充更合理。少量缺失的类别型字段如“用户所在城市”我们直接填充为“未知”作为一个新的类别。3.3 特征工程构建模型“理解”世界的语言这是最体现创造力和业务理解的部分。特征可以分为几类1. 单表特征用户维度从用户表可以衍生出“注册时长天”、“是否为新用户注册30天”、“历史购买频次”、“历史平均客单价”、“历史购买品类偏好Top3”等。商品维度从商品表可以衍生出“商品价格等级”、“商品所属大类/小类”、“商品是否常参与促销”、“商品历史核销率”等。优惠券维度从优惠券表可以衍生出“优惠券折扣力度折减金额/门槛”、“优惠券类型满减、折扣、无门槛”、“优惠券有效期长度”等。2. 跨表关联特征核心用户-商品交叉“用户历史购买该商品所属品类的次数/金额”、“用户对该商品价格的敏感度历史购买相似价格商品的比例”。用户-优惠券交叉“用户历史领取同类型优惠券的数量”、“用户历史对该类型优惠券的核销率”。商品-优惠券交叉“该商品历史搭配此类优惠券的核销率”、“优惠券折扣力度相对于商品价格的比例”。用户-商品-优惠券交叉高阶这是我们构造的杀手级特征。例如“用户历史核销相似优惠券同类型、同折扣档位时购买的商品与当前商品的品类相似度”。这个特征需要利用历史行为表进行复杂的聚合和计算但能极大地刻画用户在当前场景下的偏好。3. 时间序列特征利用行为数据中的时间戳构造“用户最近一次购买距今的天数”、“用户最近一周/一个月的活跃度点击、收藏、加购次数”、“商品近期热度被浏览、加购的次数”等。这些特征能捕捉行为的时效性。4. 统计聚合特征在训练集上按用户、商品、品类等分组统计目标标签是否核销的均值、方差等作为先验概率特征。但要特别注意避免数据泄露计算某个用户的历史核销率时不能包含他当前这条样本的数据。我们采用“时间滑窗”或“全局统计”的方法来构造。实操心得特征不是越多越好。我们初期构造了200多个特征导致训练慢且可能过拟合。后续我们使用特征重要性排序基于树模型和相关性过滤去除了重要性低或与其他特征高度共线的特征最终保留了80个左右的核心特征。另外对于类别型特征我们几乎全部使用了目标编码因为它能更好地将类别信息与目标变量关联起来效果普遍优于独热编码尤其在高基数特征上。3.4 数据集划分与验证策略由于竞赛数据通常没有明确的时间标注我们采用了分层抽样来划分训练集、验证集和测试集比例约为6:2:2确保每个集合中正负样本的比例与全集一致。更重要的是我们模拟了时间序列交叉验证假设数据是按时间生成的我们按时间顺序划分多个训练/验证窗口以此来评估模型在“未来”数据上的稳定性。这比简单的随机划分更能反映模型的实际泛化能力。4. 第三阶段建模——多模型融合与精细化调优特征准备好后就进入了模型构建阶段。我们的策略是“先集成后精修融合强于单模”。4.1 基线模型建立与快速验证我们首先建立了几个基线模型用于快速验证特征的有效性和流程的正确性。逻辑回归作为最简单的线性模型它速度快可解释性强。如果特征工程做得足够好例如引入了交叉特征逻辑回归也能有不错的效果。它为我们提供了一个效果下限。随机森林可以处理非线性关系对特征量纲不敏感能输出特征重要性是我们进行特征筛选的重要工具。LightGBM这是我们的主力模型。梯度提升树在表格数据竞赛中几乎是无敌的存在它训练速度快支持大规模数据能自动处理缺失值并且提供了丰富的正则化选项防止过拟合。我们先用默认参数快速训练了这三个模型在验证集上看AUC。结果逻辑回归0.72随机森林0.78LightGBM 0.82。这证实了我们的特征工程是有效的且树模型有明显优势。4.2 核心模型LightGBM的深度调参我们将主要精力放在LightGBM的调优上。调参不是盲目网格搜索而是有章法的。控制过拟合参数优先num_leaves这是最重要的参数之一控制树的复杂度。我们从一个较小的值如31开始根据数据量逐步增加。min_data_in_leaf叶子节点最小样本数。设置一个较大的值如100可以有效防止过拟合。max_depth限制树的最大深度我们一般设为-1不限制用num_leaves和min_data_in_leaf来控制。feature_fraction/bagging_fraction每次迭代随机选取部分特征/数据这是随机森林的思想能提升模型多样性和泛化能力。lambda_l1,lambda_l2L1和L2正则化。提升精度参数learning_rate学习率。我们采用“低学习率多迭代次数”的策略通常从0.1开始配合早停法。n_estimators树的数量。通过早停法自动确定。我们的调参流程Step 1: 固定learning_rate0.1用网格搜索或贝叶斯优化调整num_leaves和min_data_in_leaf找到一组控制过拟合的较优值。Step 2: 调整feature_fraction和bagging_fraction通常在0.7-0.9之间。Step 3: 将学习率降低如到0.05或0.01按比例增加n_estimators再次训练并使用早停。Step 4: 最后微调正则化参数lambda_l1和lambda_l2。我们使用了optuna这个超参数优化框架它比网格搜索更高效。经过调优单模LightGBM的AUC从0.82提升到了0.845。4.3 模型融合 stacking的威力为了进一步提升模型效果和稳定性我们采用了Stacking融合。第一层基学习器我们训练了多个差异化的模型调参后的LightGBM主力XGBoost另一个强大的GBDT实现与LGB略有不同CatBoost擅长处理类别特征一个深度神经网络用Keras搭建的3层MLP用于捕捉可能的深层非线性交互第二层元学习器我们使用5折交叉验证生成第一层模型在训练集上的预测概率OOF预测将这些预测概率作为新的特征与原始特征的一部分我们选择了最重要的30个拼接训练一个简单的逻辑回归模型作为元学习器。踩坑记录Stacking时最容易犯的错误是数据泄露。必须确保在生成OOF预测时每一折的验证集数据都没有参与该折模型的训练。我们使用sklearn的StratifiedKFold并手动循环确保过程正确。融合后我们的模型在验证集上的AUC达到了0.852有了明显的提升。4.4 处理样本不平衡与自定义损失函数我们的数据中优惠券核销正样本的比例很低大约只有8%。严重的样本不平衡会导致模型倾向于预测负样本。常规方法我们首先尝试了LightGBM的is_unbalanceTrue参数以及给正样本设置更高的scale_pos_weight例如设置为负样本数/正样本数。进阶方法我们采用了分层采样来保证每个训练批次中正负样本都有一定的比例。更重要的是我们尝试了Focal Loss作为自定义损失函数。Focal Loss通过减少易分类样本的权重让模型更关注难分类的样本通常是稀少的正样本。在LightGBM中我们需要自定义损失函数的一阶梯度负梯度和二阶梯度Hessian。这需要一定的推导但实现后对提升AUC有进一步帮助。5. 第四阶段求解——将预测转化为业务决策预测出用户核销优惠券的概率后竞赛任务只完成了一半。题目要求的是“在预算约束下制定投放策略”这是一个组合优化问题。5.1 问题建模0-1整数规划假设我们有N个待投放的用户-优惠券组合每个组合i有一个预测的核销概率 p_i一个预估的GMV贡献 g_i可由商品价格和折扣估算以及一个优惠券成本 c_i。我们的目标是选择一部分组合进行投放使得总期望GMV最大同时总成本不超过预算B。这是一个经典的0-1背包问题的变体。我们可以为每个组合定义一个决策变量 x_i ∈ {0, 1}表示是否投放。目标函数和约束如下目标函数Maximize Σ (p_i * g_i * x_i)约束条件Σ (c_i * x_i) ≤ B决策变量x_i ∈ {0, 1}, for i 1 to N5.2 求解算法贪心与动态规划对于大规模问题N可能上万精确求解整数规划比较耗时。我们采用了高效的近似算法。性价比排序贪心算法这是最直观有效的方法。我们计算每个投放组合的“性价比”即期望收益 / 成本 (p_i * g_i) / c_i。然后按照性价比从高到低排序依次选取组合加入投放列表直到总成本达到预算B。这种方法计算速度快在大多数情况下能得到接近最优的解。动态规划对于预算B不是特别大的情况我们可以用动态规划来求精确解。定义dp[j]为花费恰好j成本时能获得的最大期望GMV。遍历所有组合状态转移方程为dp[j] max(dp[j], dp[j - c_i] p_i * g_i) (if j c_i)。最终答案就是max(dp[0...B])。我们实现了这个算法作为对比发现当B较大时贪心算法的结果与动态规划的结果差距在1%以内但速度快几个数量级。5.3 策略模拟与结果输出我们编写了一个模拟函数按照我们最终的投放策略由贪心算法得出在测试集上进行模拟“投放”并计算模拟产生的总期望GMV和总成本。最终提交的结果文件需要包含两部分所有测试样本的预测核销概率。推荐的投放列表即x_i1的那些组合ID以及该策略下的模拟总期望GMV和总成本。我们额外输出了一份策略分析报告指出哪些特征如用户活跃度、优惠券折扣力度对最终被选中的组合贡献最大这为业务解释提供了依据。6. 代码工程与协作要点一个完整的竞赛项目代码的清晰度和可复现性至关重要。6.1 项目结构管理我们使用了标准的项目结构这极大地提升了协作效率。MathorCup_B/ ├── data/ # 存放原始数据和预处理后的数据 ├── src/ # 源代码 │ ├── 01_eda.ipynb # 探索性数据分析 │ ├── 02_preprocessing.py # 数据清洗与预处理函数 │ ├── 03_feature_engineering.py # 特征工程函数 │ ├── 04_model_training.py # 模型训练与调参 │ ├── 05_optimization.py # 策略优化求解 │ └── utils.py # 通用工具函数 ├── configs/ # 配置文件模型参数、路径等 ├── models/ # 保存训练好的模型文件 ├── outputs/ # 生成的特征文件、预测结果、提交文件 ├── requirements.txt # 项目依赖包列表 └── README.md # 项目说明文档使用Jupyter Notebook进行EDA和快速实验将稳定的流程封装成.py脚本便于复用和自动化。6.2 版本控制与实验记录我们使用Git进行代码版本控制。更重要的是对于模型实验我们使用了MLflow来跟踪每一次实验的超参数、评估指标和对应的特征集。这能让我们清晰地知道哪些改动带来了提升哪些是无效的避免了重复劳动和混乱。6.3 性能优化技巧大数据处理当特征工程导致数据量很大时Pandas可能内存不足。我们使用了dtype参数在读取数据时指定类型如int32代替int64并使用category类型存储类别变量。对于极大的中间数据我们会使用parquet格式存储它比CSV更省空间读写更快。并行计算LightGBM和特征工程中的许多操作如groupby聚合都支持并行。我们确保充分利用了多核CPU。缓存中间结果特征工程脚本中我们将处理好的特征数据保存为.pkl或.feather文件。这样在多次迭代建模时无需重复运行耗时的预处理步骤。回顾整个解题过程从最初的茫然到最终形成一套完整的解决方案最大的收获不是某个具体的模型或技巧而是建立起一套解决复杂数据问题的系统性思维框架定义问题 - 理解数据 - 设计特征 - 迭代建模 - 业务求解。这套框架适用于绝大多数数据科学任务。比赛中那些熬夜调参、为了一点点AUC提升而绞尽脑汁的经历以及和队友为了一个特征设计争得面红耳赤的时刻现在想来都是最宝贵的财富。最后给参赛者的建议是尽早动手重视基础和流程大胆尝试但也要学会做减法。代码和思路的清晰往往比使用一个花哨的模型更重要。
