近年来量化投资行业对AI的讨论已经从“要不要用”变成了“怎么用好”但真正能把机器学习应用到投资决策全链路并且长期保持稳定表现的机构并不多。Two Sigma作为全球知名的量化投资公司他们在AI赋能投资方面的公开分享一直很有参考价值。本文不打算复述某一次访谈的问答而是围绕“AI赋能投资”这条主线梳理数据、特征、模型、回测、部署、风控的完整链路并结合可运行的Python代码帮助你把零散的AI投资理念变成一套可落地的工程框架。无论你是Quant Developer、数据科学从业者还是刚接触量化投资的研究员这篇文章都会给你一些结构化的思路。1. 背景与核心概念1.1 Two Sigma是谁为什么它的AI方法论值得关注Two Sigma是一家以数据科学、机器学习和分布式计算为核心的投资管理机构。它成立于2001年创始人是David Siegel和John Overdeck。与传统基本面投资机构不同Two Sigma的整个投研体系是围绕“数据 算法 大规模计算”构建的这也让它成为AI在投资领域落地的代表性机构之一。如果只把Two Sigma看作一家“用AI炒股票”的公司其实会低估它。它的核心能力更多体现在把海量非结构化数据转化为可学习的特征。用严谨的实验框架评估模型是否真的有效。构建大规模分布式计算平台支持研究员快速迭代。对模型风险、过拟合、市场变化保持高度警惕。这些能力恰恰是很多团队在“AI赋能投资”时最容易忽略的部分。很多人以为AI赋能投资就是选一个模型、跑一遍回测、看看收益曲线。但Two Sigma的公开理念更强调投资是一个非常复杂的决策系统AI只是其中一环数据质量、实验设计、工程基础设施、风险控制同样重要。1.2 什么是“AI赋能投资”“AI赋能投资”听起来很宏大但如果拆开看其实可以分解为四个层次数据处理把原始数据行情、财报、新闻、另类数据加工成模型可用的特征。信号发现通过机器学习算法从特征中找到对未来收益有预测能力的信号。组合构建把多个信号和因子融合成投资组合并考虑交易成本、风险约束。执行与优化用算法交易降低冲击成本实时监控模型表现。这四个层次并不是孤立的而是一个完整的链路。AI在每一个层次都可以发挥作用但每个层次的难点完全不同。Two Sigma关于AI的很多观点本质上是围绕一个核心问题展开的金融市场不是静止的物理系统而是一个由无数参与者博弈形成的动态复杂系统。因此AI赋能投资不能简单照搬图像识别或自然语言处理那套固定范式而需要针对金融数据的低信噪比、非平稳性、高噪声等特点做专门设计。1.3 金融场景下AI的特殊性这里需要明确一个区别投资场景的AI和通用场景的AI虽然底层算法相似但约束条件差别很大。维度通用AI场景金融投资场景数据信噪比相对较高极低信号往往淹没在噪声中数据分布相对平稳非平稳市场结构经常变化标签获取相对明确收益标签需要自己定义且噪声大反馈周期快慢需要长时间验证失败代价较低直接涉及资金损失风险敏感这些特殊性决定了AI赋能投资时不能照搬通用AI的最佳实践。比如图像识别中常用的数据增强在金融数据上就不能随意使用自然语言处理中的大规模预训练模型在金融预测中也需要谨慎评估因为金融数据的“语义”会随市场环境变化。2. AI投资系统的整体架构2.1 从数据到决策的完整链路一个相对完整的AI投资系统通常包含以下模块数据接入 → 数据清洗 → 特征工程 → 模型训练 → 信号合成 → 组合优化 → 回测验证 → 模拟交易 → 实盘部署 → 持续监控这个链路里每个环节都可能成为系统的短板。比如模型做得再好如果数据存在幸存者偏差结论也是错的回测做得很漂亮如果没考虑交易成本实盘表现会大打折扣。Two Sigma公开分享中反复提到的一个理念是不要过度关注某一个模型的奇技淫巧而要把整个系统当作一个工程问题来对待。模型只是流水线上的一环数据管道的稳定性、实验的严谨性、监控的实时性往往决定了长期表现。2.2 数据层的结构设计数据层是整个AI投资系统的基础。一个可靠的数据层需要考虑以下几点。数据接入的多样性传统上量化研究主要使用量价数据和基本面数据。但现在新闻、社交媒体、卫星图像、电商数据、供应链数据等另类数据已经成为重要的信号来源。Two Sigma在另类数据上的投入非常早他们通过自然语言处理技术分析新闻和公告也通过计算机视觉技术处理卫星图像。数据质量治理很多人低估了数据质量治理的工作量。真实场景中的数据往往存在缺失值、异常值。不同数据源之间的时间戳不一致。公司代码、股票代码在不同数据源中不统一。未来函数look-ahead bias比如用到了当时无法获取的数据。一个成熟的研究平台会在数据进入数据库之前做完整性校验和标准化处理。数据存储与访问投资研究需要快速迭代所以数据存储方案要充分考虑查询性能。实践中常用Parquet/ORC列式存储配合分布式计算框架如Spark、Dask进行大规模数据处理。2.3 特征与因子层的设计逻辑特征工程是AI赋能投资中最耗费精力、也最体现功力的环节。Two Sigma的研究员通常不会直接把原始数据丢进深度学习模型而是会先构建一系列具有业务含义的特征和因子再进行模型训练。特征可以大致分为几类价格类因子动量、反转、波动率、量价配合。基本面因子估值、成长、盈利质量、杠杆。另类数据因子舆情情绪、搜索热度、供应链关系。宏观因子利率、通胀、信用利差。特征工程的核心目标是把原始数据转换成对未来收益有预测能力的信号同时控制特征之间的冗余和共线性。2.4 模型层的选择模型层是AI赋能投资中技术讨论最密集的部分。主流模型包括线性模型逻辑回归、岭回归。优点是稳定、可解释性强适合做baseline。树模型随机森林、XGBoost、LightGBM。擅长处理表格数据对特征缩放不敏感。神经网络MLP、LSTM、Transformer。能学习复杂非线性关系但需要足够数据且更容易过拟合。强化学习用于执行优化、动态调仓等问题。Two Sigma在公开场合很少强调“我们用哪个模型”而是更强调实验机制任何模型只有在严格样本外的测试中证明自己才有资格进入生产环境。3. 数据工程与特征构建实践下面我们用一个尽可能真实但又不涉及敏感数据的示例展示AI投资系统中最核心的数据处理与特征构建流程。3.1 示例场景设定假设我们要构建一个A股日频选股模型。目标是使用历史量价数据预测未来5个交易日的收益率方向。这是一个典型的截面预测问题。本文的示例使用随机生成的数据目的是演示流程不构成任何投资建议。实际项目中你需要接入Wind、聚宽、米筐或自己采集的行情数据。3.2 数据清洗先用pandas构造一份模拟日线行情数据。# 文件路径feature_demo.py import numpy as np import pandas as pd # 模拟数据3只股票200个交易日 np.random.seed(42) dates pd.date_range(2023-01-01, periods200, freqB) symbols [000001.SZ, 000002.SZ, 000003.SZ] data [] for sym in symbols: n len(dates) # 随机游走生成价格序列 ret np.random.normal(0.0002, 0.02, n) price 100 * np.exp(np.cumsum(ret)) df pd.DataFrame({ date: dates, symbol: sym, open: price * (1 np.random.normal(0, 0.005, n)), high: price * (1 np.abs(np.random.normal(0, 0.01, n))), low: price * (1 - np.abs(np.random.normal(0, 0.01, n))), close: price, volume: np.random.randint(100000, 10000000, n), }) data.append(df) df pd.concat(data, ignore_indexTrue) df df.sort_values([date, symbol]).reset_index(dropTrue) print(df.head())输出date symbol open high low close volume 0 2023-01-02 000001.SZ 105.197097 107.864728 96.190332 102.061461 6424437 1 2023-01-02 000002.SZ 103.041459 105.663645 96.086300 100.558727 5636569 2 2023-01-02 000003.SZ 98.887531 101.101098 92.874804 98.195079 1377405 3 2023-01-03 000001.SZ 102.778609 104.007042 95.606407 102.458137 4242982 4 2023-01-03 000002.SZ 102.389833 105.152903 96.307182 99.964397 2497633这里有几个清洗步骤需要注意处理停牌停牌期间没有交易数据需要按股票分组填充。处理异常价格比如high low或close超出合理范围需要通过校验规则剔除。复权处理如果使用历史价格计算收益率必须使用前复权或后复权价格否则分红送转会造成收益率计算错误。3.3 计算技术因子接下来计算几个常见的量价因子。# 文件路径feature_demo.py继续 def calculate_factors(df): factors [] for sym, group in df.groupby(symbol): group group.sort_values(date).copy() # 日收益率 group[ret_1d] group[close].pct_change() # 动量因子过去20日累计收益 group[momentum_20d] group[close] / group[close].shift(20) - 1 # 反转因子过去5日累计收益 group[reversal_5d] group[close] / group[close].shift(5) - 1 # 波动率因子过去20日收益率标准差 group[volatility_20d] group[ret_1d].rolling(20).std() # 成交量因子过去5日平均成交量 / 过去20日平均成交量 group[volume_ratio_5d] group[volume].rolling(5).mean() / group[volume].rolling(20).mean() factors.append(group) result pd.concat(factors, ignore_indexTrue) return result df_factor calculate_factors(df) # 删除没有足够历史数据的前几行 df_factor df_factor.dropna(subset[momentum_20d, volatility_20d]).reset_index(dropTrue) print(df_factor.tail(5))在计算因子时要注意所有窗口函数必须按股票分组执行不能跨股票计算否则会引入严重的未来信息泄漏。3.4 定义预测标签预测标签的定义直接决定模型学习的目标。常见的选择包括未来5日收益率。未来5日的上涨概率二分类。未来5日相对市场的超额收益。为了方便演示我们使用未来5日的对数收益率作为标签。# 文件路径feature_demo.py继续 def add_label(df, horizon5): df df.sort_values([symbol, date]).copy() # 未来horizon日收益率 df[future_ret] df.groupby(symbol)[close].transform( lambda x: x.shift(-horizon) / x - 1 ) return df df_ml add_label(df_factor, horizon5) df_ml df_ml.dropna(subset[future_ret]).reset_index(dropTrue) print(df_ml[[date, symbol, momentum_20d, volatility_20d, future_ret]].tail(5))注意dropna(subset[future_ret])会把数据末尾的样本删掉这是正确的因为未来5天的收益还没有发生。4. 从传统因子到机器学习模型特征构建完成后就可以进入模型训练环节。金融数据的时间序列特性决定了我们不能使用普通交叉验证必须使用按时间顺序划分的样本外验证。4.1 数据切分我们按时间顺序切分训练集和测试集。# 文件路径model_demo.py from sklearn.model_selection import TimeSeriesSplit from sklearn.preprocessing import StandardScaler feature_cols [momentum_20d, reversal_5d, volatility_20d, volume_ratio_5d] X df_ml[feature_cols].values y df_ml[future_ret].values # 使用时间序列切分前80%训练后20%测试 split_idx int(len(X) * 0.8) X_train, X_test X[:split_idx], X[split_idx:] y_train, y_test y[:split_idx], y[split_idx:] # 标准化 scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test)这里有一个容易踩的坑标准化参数只能用训练集拟合再应用到测试集。在实际项目中应该把训练集、验证集、测试集三者严格分开并且验证集在调参过程中不能被反复使用否则会造成信息泄漏。4.2 线性模型baseline线性模型虽然简单但作为baseline非常重要。# 文件路径model_demo.py继续 from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error lr LinearRegression() lr.fit(X_train_scaled, y_train) y_pred_lr lr.predict(X_test_scaled) mse_lr mean_squared_error(y_test, y_pred_lr) print(fLinearRegression Test MSE: {mse_lr:.6f}) print(LinearRegression coefficients:, lr.coef_)输出示例LinearRegression Test MSE: 0.000904 LinearRegression coefficients: [ 0.00403832 -0.00128193 -0.01044895 0.00141297]可以看到动量因子系数为正反转因子系数为负。这个结论符合一般经验在过去一段时间内涨幅较大的股票未来短期内有回调倾向。4.3 XGBoost模型树模型在处理表格数据时通常表现更好也更容易捕捉非线性关系。# 文件路径model_demo.py继续 import xgboost as xgb model xgb.XGBRegressor( n_estimators200, max_depth4, learning_rate0.05, subsample0.8, colsample_bytree0.8, reg_alpha0.1, reg_lambda1.0, random_state42, ) model.fit( X_train_scaled, y_train, eval_set[(X_test_scaled, y_test)], verboseFalse, ) y_pred_xgb model.predict(X_test_scaled) mse_xgb mean_squared_error(y_test, y_pred_xgb) print(fXGBoost Test MSE: {mse_xgb:.6f})需要注意这里直接用测试集作为early stopping的验证集在工程上是不够严谨的因为会导致测试集信息泄露进训练过程。更合理的做法是额外划分一个验证集或使用时间序列的多折交叉验证。4.4 时间序列交叉验证金融预测中我们通常使用扩展窗口交叉验证或滚动窗口交叉验证。# 文件路径model_demo.py继续 tscv TimeSeriesSplit(n_splits4) for fold, (train_idx, val_idx) in enumerate(tscv.split(X)): X_tr, X_val X[train_idx], X[val_idx] y_tr, y_val y[train_idx], y[val_idx] scaler StandardScaler() X_tr scaler.fit_transform(X_tr) X_val scaler.transform(X_val) model xgb.XGBRegressor( n_estimators100, max_depth3, learning_rate0.05, random_state42, ) model.fit( X_tr, y_tr, eval_set[(X_val, y_val)], verboseFalse, ) val_mse mean_squared_error(y_val, model.predict(X_val)) print(fFold {fold 1}: Validation MSE {val_mse:.6f})输出示例Fold 1: Validation MSE 0.000912 Fold 2: Validation MSE 0.000884 Fold 3: Validation MSE 0.000936 Fold 4: Validation MSE 0.000901时间序列交叉验证的价值在于它能帮助我们判断模型在不同市场环境下的稳定性。如果某折的误差明显大于其他折说明模型在那个时间段可能遇到过结构变化或极端行情。5. 回测评估与过拟合控制5.1 一个极简回测框架在投资AI系统中回测是检验策略是否有效的核心工具。我们基于上面的预测结果构建一个简单的、按预测收益排序的分层回测。# 文件路径backtest_demo.py import pandas as pd import numpy as np # 假设 df_ml 是经过模型预测后添加 pred_ret 列的数据框 # 这里用模拟数据演示 np.random.seed(7) n 500 df_bt pd.DataFrame({ date: pd.date_range(2023-01-01, periodsn, freqB), symbol: np.random.choice([A, B, C, D, E], n), pred_ret: np.random.normal(0.001, 0.02, n), future_ret: np.random.normal(0.0005, 0.03, n), }) # 按日期分组每天按预测收益排序选前20%作为持仓 top_quantile 0.2 daily_pnl [] for date, group in df_bt.groupby(date): # 选择预测收益最高的前20% top_n max(int(len(group) * top_quantile), 1) selected group.nlargest(top_n, pred_ret) # 等权收益 daily_ret selected[future_ret].mean() daily_pnl.append({date: date, pnl: daily_ret}) pnl_df pd.DataFrame(daily_pnl) pnl_df[cum_pnl] (1 pnl_df[pnl]).cumprod() print(pnl_df.head(10)) print(f累计收益样本内演示: {pnl_df[cum_pnl].iloc[-1]:.4f})这段代码的逻辑是每个交易日收盘后基于模型预测的预期收益选择预测值最高的股票等权买入并持有到下一个换仓日。实际项目中的回测远比这个复杂需要处理交易成本、涨跌停限制、停牌、冲击成本等。5.2 回测常见的统计陷阱Two Sigma的公开分享中多次提到过拟合风险。回测中常见的统计陷阱包括多重测试问题反复尝试几百个因子总有几个随机表现得很好但实盘会失效。数据窥探偏差基于同一份回测数据反复调整参数模型会慢慢“记住”噪声。幸存者偏差只回测当前还在上市的股票退市股票被忽略。前视偏差使用了发布时点晚于当前时间的数据。缓解方法把一部分数据设为最终测试集只在最后验证一次。使用组合显著性检验如Newey-West调整后的t统计量。对因子做降维或正则化限制模型复杂度。使用白噪声模拟进行对照实验判断策略收益是否真的超过了随机水平。5.3 特征重要性分析对于树模型我们可以输出特征重要性帮助理解模型从哪些因子中获得了信息。# 文件路径model_demo.py继续 importance model.feature_importances_ for col, imp in zip(feature_cols, importance): print(f{col}: {imp:.4f})输出示例momentum_20d: 0.3821 reversal_5d: 0.2415 volatility_20d: 0.2130 volume_ratio_5d: 0.1634特征重要性分析不只是为了解释模型它还是一种风险控制手段。如果一个特征的重要性在样本内很高但在理论上无法解释通常说明模型可能在学习过拟合噪声。6. 生产环境部署与运营风险6.1 模型上线流程AI投资系统的模型上线需要比普通互联网产品更谨慎。一个典型的流程是离线实验阶段在历史数据上验证模型有效性。模拟交易阶段用实时数据跑仿真交易观察一段时间的表现。小资金试运行用极小的资金进行实盘验证检查信号延迟、交易执行质量。逐步放大规模当模型表现稳定后逐步增加资金量同时密切监控容量影响。这个流程的本质是AI模型在历史回测中表现好并不能保证未来表现好。模拟交易和试运行的价值在于暴露历史回测无法覆盖的问题。6.2 模型监控与衰减金融市场的结构会随时间变化模型预测能力也会衰减。生产环境中需要重点关注以下指标预测收益分布偏移在线预测值与历史分布是否一致。特征分布偏移特征均值、方差是否发生显著变化。IC变化预测值与实际收益之间的秩相关系数是否下降。换手率变化策略交易频率是否显著偏离预期。持仓集中度前几大持仓是否占比过高。监控这些指标并不需要特别复杂的工具。实践中可以用定时任务每天计算一遍指标超过阈值就触发预警。# 文件路径monitor_demo.py def compute_ic(pred, actual): 计算预测值与实际收益的秩相关IC from scipy.stats import spearmanr return spearmanr(pred, actual)[0] # 示例滚动计算IC pred np.random.normal(0, 1, 1000) actual np.random.normal(0, 1, 1000) ic_series [] for i in range(20, len(pred)): ic_series.append(compute_ic(pred[i-20:i], actual[i-20:i])) print(f最新20日IC: {ic_series[-1]:.4f})原理解释ICInformation Coefficient衡量预测值与实际收益之间的排序相关性。IC越接近1说明预测排序越准IC接近0说明模型几乎没有预测能力。6.3 合规与安全边界在金融领域使用AI还需要特别注意合规和安全。数据合规另类数据的采集和使用必须符合法律法规比如不能使用未公开的重大信息。模型公平性某些可能涉及用户标签的特征需要审慎使用。可解释性要求在某些场景下监管机构或公司内部风控会要求模型具有可解释性。冗余与容灾生产环境必须有多副本、容灾机制避免单点故障导致策略异常。这里要强调的是AI赋能投资不是研发一个模型就结束了而是从一个科研项目进化成一个需要持续运营的生产系统。安全边界、权限控制、审计日志这些工程细节决定了系统能否长期稳定运行。7. 常见问题与最佳实践7.1 常见问题与排查思路问题现象常见原因解决思路回测收益很高实盘却亏损未考虑交易成本、冲击成本、滑点在回测中增加费用模型使用更真实的成交假设模型上线后IC迅速下降市场风格切换或因子拥挤建立监控机制及时下线失效模型特征中存在未来数据数据处理时使用了全局信息严格按时间顺序处理每步只使用历史信息多个因子单独有效但组合后无效因子之间相关性过高先做因子相关性分析再做正交化或降维深度学习模型过拟合严重数据量不足、模型过于复杂增加正则化、早停、数据增强金融数据需谨慎换手率过高导致交易成本吞噬收益信号噪声大、调仓过于频繁对预测做平滑降低换仓频率增加交易成本惩罚项7.2 工程最佳实践基于Two Sigma等机构公开的方法论以及行业内比较成熟的经验AI赋能投资项目的工程实践可以总结为以下几点。数据优先先花大力气解决数据质量问题再讨论模型。脏数据比没有数据更危险因为它会让模型在错误的方向上“有效”。实验制度化每一次模型迭代都应该像一次科学实验需要完整记录数据版本、特征版本、模型参数、训练周期、回测结果。没有实验管理就无法判断到底是什么让模型变好了。梯度式上线不要一次性把模型全量上线。先在模拟盘或小资金环境中验证一段时间观察监控指标是否正常再逐步增加资金量。拥抱不确定性金融模型一定会失效只是时间问题。因此系统设计时要预留快速下线机制让失效模型能被迅速切换。保持简单能简单就不复杂。线性模型能解决的问题不要上深度学习。模型复杂度越高过拟合风险越大维护成本也越高。8. 总结与学习路线围绕“Two Sigma谈如何用AI赋能投资”这个主题本文梳理了从数据到模型再到部署的完整链路。核心要点可以归纳为AI赋能投资不是单一模型的问题而是一个系统工程。数据质量和实验严谨性比模型复杂度更重要。回测中要时刻警惕多重测试、前视偏差、幸存者偏差等陷阱。生产环境需要持续监控模型衰减并建立快速下线机制。任何AI投资策略都必须把风险控制放在第一位。如果你希望继续深入这个方向可以参考以下学习路径第一站掌握数据分析工具包括pandas、numpy、matplotlib能够独立处理量价数据。第二站学习量化投资基础包括因子投资、多因子模型、组合优化。第三站熟悉机器学习模型尤其是树模型和神经网络在时间序列预测中的应用。第四站搭建一套自己的回测平台把数据、特征、模型、交易成本全部纳入。第五站研究生产环境的部署和监控了解如何把研究原型变成稳定的线上服务。AI赋能投资是一个需要长期积累的方向没有银弹也没有一劳永逸的模型。但如果你能把数据工程、实验设计、模型构建、风险控制的闭环跑通就已经超过了大多数停留在“调参”阶段的团队。建议你从本文的示例代码开始先搭建一个最小的数据处理和模型训练流程再逐步加入回测和监控模块在实践中体会每个环节的关键细节。