简介一套基于管理层讨论与分析MDA文本信息与房地产企业潜在风险预测的Python研究项目包面向计算机相关专业毕业设计、期末大作业及金融文本分析实战学习者。项目经导师指导并以98分评审通过源码均可本地编译运行整体难度适中。压缩包共37个文件约101.93MB涵盖ipynb分析脚本、txt语料与风险词典、xlsx/xls财务及评级数据、model词向量模型、csv指标表、png可视化图、lda主题分析及readme说明结构清晰。已有44人学习下载。通过该项目可完整走通“风险词表构建—词向量训练—文本指标生成—财务指标融合—回归分析”的研究流程并附文本聚类、词云展示等辅助模块有助于理解NLP在财务风险预测中的实际应用可直接基于现有模型扩展数据或调整特征。1. 为什么房地产风险会先写在 MDA 里再体现到报表上房地产企业的信用恶化链条经常是先出现在文字里再坐实于数字里。财务指标是滞后加审计平滑的结果而“经营情况讨论与分析”MDA是管理层主动书写的叙事这一段文字里的风险词密度、语气偏向、对“质押”“回款”“土储”的提法往往比三大报表早暴露一到两个季度。许多房企在债券违约公告出现前半年年报 MDA 中相关风险词频就已经发生了明显跳变。这个研究项目的交付物是源代码、模型、数据三件套目标很直接把 MDA 文本加工成可量化的风险特征再喂给分类模型做提前预警。它和通用财务造假识别不一样文本特征必须按房地产行业语境设计且样本规模决定了轻量模型比大模型更可靠。2. 数据侧房地产年报文本与风险标签的配对2.1 从 PDF 年报里切出 MDA 章节数据管线第一关数据决定模型上限而这条管线耗时最多的不是建模是把年报 PDF 转成干净文本。房企年报从交易所或巨潮资讯网拿到 PDF 后常见做法是用 poppler-utils 自带的pdftotext抽取全文再用正则按章节标题切出 MDA。A 股房企这些年报里的章节名有两种习惯早期叫“管理层讨论与分析”近五年更多叫“经营情况讨论与分析”个别公司把它并进“董事会报告”。处理时维护一个标题候选列表命中起始位置后截到下一个一级标题即可。pdftotext -layout annual_report.pdf annual_report.txt sed -i /^\s*$/N;/^\s*\n\s*$/D annual_report.txt-layout参数保留表格列结构方便后续按“行首为数字”的规则识别并剔除表格行sed的作用是合并连续空行避免章节标题和正文之间被折行打断。抽取结果的原始版本单独归档清洗逻辑不要回写到源头文件。扫描版年报在这一步会出现 OCR 乱码如果检索“经营情况讨论与分析”始终命中不了先用pdfimages看页面是否为图片再决定是否补一层 OCR。2.2 风险标签用事件时点替代 ST 状态房地产企业的风险显性化普遍滞后ST 是连续亏损叠加多项违规的终态而这里要做的是“潜在风险预测”标签不能直接用“是否 ST”。行业里更可靠的方案是以可核实事件作为正样本时点包括债券或贷款违约公告、银行借款逾期、股权质押爆仓或强平、非标信托计划延期、核心项目停工或交付逾期。每家公司每一年度生成一条样本观察窗口是事件发生日之前最近一期年报的 MDA 全文。事件类型数据来源观察窗口建议债券/贷款违约上清所、银行间披露、诉讼公告违约日前最近一期年报股权质押强平证券质押公告、司法拍卖信息强平前 1 个季度财报非标信托延期信托产品公告、上市公司公告公告日前最近一期年报项目停工/交付逾期项目公司公告、政府公示事件前 1 个年度年报按事件时点标注的好处是样本正负比例更真实也方便后续扩展成生存分析类任务。如果只标记“是否 ST”模型学到的更多是“这家公司亏损多久了”而不是“MDA 里有没有风险信号”。2.3 时间切分与标签对齐源代码里最容易出错的一段逻辑用第 t 年年报里的 MDA 去预测第 t1 年会不会出事所以标签必须整体后移一年。如果直接用当年的“是否发生风险事件”当标签年报发布时事件往往已经发生做出来的模型没有预警意义。另一个常见错误是随机切分训练集和验证集——同一家公司的 2018 年和 2020 年样本被拆到两边验证集里混入了训练年份的信息AUC 虚高。正确做法是按年度时间窗切。import pandas as pd announce pd.read_csv(risk_events.csv) # company, event_date, event_type announce[year] pd.to_datetime(announce[event_date]).dt.year had_event announce.groupby([company, year]).size().reset_index(namehad_event) df annual_text.merge(had_event, on[company, year], howleft) df[had_event] df[had_event].fillna(0).astype(int) df df.sort_values([company, year]).reset_index(dropTrue) # 用第t年的MDA预测第t1年事件标签后移一年 df[label_next] df.groupby(company)[had_event].shift(-1).fillna(0).astype(int) # 丢掉没有“下一年”的最后一条样本 df df[~df.groupby(company)[year].shift(-1).isna()] train df[df[year].between(2016, 2019)] valid df[df[year].eq(2020)] test df[df[year].between(2021, 2022)] print(train[label_next].mean(), valid[label_next].mean(), test[label_next].mean())groupby([company, year]).size()统计每家公司每个年度命中的事件数shift(-1)把下一年的had_event移到当前行fillna(0)处理无事件年份。三个集合正样本比例都偏低如果某一年正样本恰好为 0要换窗口重新切分不要把 2020 和 2021 合并否则验证集时间跨度就失效了。3. 特征工程把 MDA 段落转成可预测的风险向量3.1 语料清洗与金额归一化MDA 全文中表格、页眉页脚和“单位亿元”这样的表头注释会污染后续统计。清洗顺序建议是先剔除页眉页脚再按空行切段最后把“表格行”识别后剔除。表格行的判断逻辑不复杂行内数字字段超过 5 个或者行首是四位数年份加“年”字。剔除后按段合并得到一个按段落组织的文本列表这个列表是后面词典和向量特征共用的基础数据。房地产年报里大量金额表述需要归一化“2.51亿元”“25100万元”“2,510百万”在原文里交替出现不统一的话词频特征会失真。最省事的方案是只保留数量级特征是否出现“亿元”、金额数字落在哪个区间不要试图把所有单位都折算成元。import re def normalize_amount(text): 把匹配到的金额倍数归一化 text re.sub(r(\d[\d,]*)(?:\.\d)?\s*百万元, lambda m: str(round(float(m.group(1).replace(,, )) / 10, 2)) 亿元, text) return text这个函数只处理“百万元转亿元”这一种高频情况其他单位在清洗阶段统一替换成占位符。比起精确数值模型更需要的是“有没有被反复提钱、提到多大数量级”这种相对信号。3.2 风险词典、词频统计与否定句式抵扣通用金融情感词典在房地产文本上效果很差“拿地”“土储”“去化”“受限资金”这些词在通用语料里是中性词放到地产风险场景里却是高频信号。第一次做这个项目时我踩过直接套用通用词典的坑——计算出的风险评分和真实违约样本几乎不相关。正确的做法是自己维护一个有行业性质的种子词典优先保证召回。维度种子词示例权重融资压力质押、冻结、逾期、违约、兑付、展期、非标、信托高销售回款回款、去化、不及预期、尾盘高交付与停工停工、延期交付、业主、竣工中治理与诉讼诉讼、仲裁、被执行、担保、关联方中缓释词充足、可控、正常、无重大低抵扣用统计词频前先向 jieba 添加自定词否则“受限资金”会被切成“受限”和“资金”后面的频次统计完全失效。考虑长词并不必重点解决行业复合词的分词错误即可。import jieba from collections import Counter feature_words {融资压力: [质押, 冻结, 逾期, 违约, 展期], 经营风险: [停工, 延期交付, 去化, 土储]} jieba.add_word(受限资金) jieba.add_word(有息负债) jieba.add_word(经营情况讨论与分析) tokens jieba.lcut(mda_text) freq Counter(tokens) vec {ffreq_{w}: freq.get(w, 0) for words in feature_words.values() for w in words}一个必须处理的坑是否定句式“不存在重大违约”“无逾期情形”在 MDA 里频繁出现直接统计词频会把这两句话记成风险信号。我一般会在风险词前后三个 token 范围内做否定词检查命中“未/无/不/不存在”就扣减一个计数。def risk_sentence_hit(text, keyword): pattern r([^。]{0,30} keyword r[^。]{0,30}) for m in re.finditer(pattern, text): sent m.group(0) before sent[: sent.find(keyword)] if any(w in before[-3:] for w in [未, 无, 不, 否]): continue yield sent正则中[^。]{0,30}限定风险词前后 30 个字符把匹配范围控制在半句话内before[-3:]只看关键词前三个字避免远处无关的“不”把整句抵扣掉。这一步过滤后得到的风险句子数量比总词频更能代表“实打实提到了问题”。3.3 加载本地模型做句向量TF-IDF 不够时补语义特征词典法覆盖的是已知风险表述但 MDA 里更多风险是迂回表达的例如“受行业环境影响公司调整了本年度投资节奏”这句话在词典法下是干净的语义上却是收缩信号。要覆盖这类表达需要用文本向量。先跑一组 TF-IDF 加 SVD 的统计语义特征速度快且后续方便反查词项。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.decomposition import TruncatedSVD vec TfidfVectorizer(ngram_range(1, 2), max_features5000, min_df3) X_tf vec.fit_transform(segment_texts) svd TruncatedSVD(n_components128, random_state42) X_sem svd.fit_transform(X_tf)ngram_range(1, 2)让“质押比例”“偿债压力”这类双词短语能保留下来min_df3过滤只在少数报告里出现一次的噪声词。SVD 把 5000 维稀疏向量压到 128 维稠密向量GBDT 在稠密特征上的训练速度会快很多。如果还想再加一层上下文语义一般是在离线环境加载本地预训练模型对每个段落编码后做平均池化得到整篇 MDA 的句向量。顺便说一个经常被问到的点transformer 模型处理长文本有 512 token 上限直接编码整篇年报会被截断而 MDA 动辄几千字。行业的通用做法是按句切分、逐句编码再对句向量取平均。from sentence_transformers import SentenceTransformer model SentenceTransformer(/data/models/text2vec-base-chinese) # 本地路径 sent_vecs model.encode(sentences, normalize_embeddingsTrue) doc_vec sent_vecs.mean(axis0)normalize_embeddingsTrue把句向量归一化到单位长度平均池化时不会因句长差异产生偏差。注意句向量对“风险语气”的捕捉不如词典特征精准但它的价值在覆盖面。3.4 单变量特征的快速体检把几十个特征堆进模型之前先逐个算一遍单特征 AUC能快速发现清洗或构造逻辑的问题。实际做下来最容易出现高区分度的特征集中在“质押”和“受限资金”相关词频上其次是金额关联特征“是否出现亿元级受限金额”。单特征 AUC 超过 0.65 的特征要重点检查是不是发生了信息泄漏比如文本里直接写了“债务违约”四个字而标签恰好在同一年——这种情况通常是标签对齐出了问题。4. 模型侧不平衡样本下的风险预测管线4.1 为什么在这个场景里不优先微调大模型房地产企业的样本规模就是几百家公司乘以可追溯年份正样本占比通常很低。直接把 MDA 文本丢进预训练语言模型做 fine-tune在这个数据量下对噪声非常敏感训练一两次结果就换一副样子且风险表述的可解释性要依赖注意力权重很难向风控同事交代清楚哪些词驱动了预警。行业里更常用的路线是“预提取特征 轻量模型”先把第 3 章的词典特征、统计语义特征、句向量拼接成一张特征表再交给逻辑回归和 LightGBM。逻辑回归承担可解释基线LightGBM 承担精度上限。4.2 类别不平衡与关键参数设定地产风险样本占比常年低于 5%默认 0.5 的决策阈值会让模型把所有样本都判为安全。两类处理手段最有效scale_pos_weight对少数类加权以及早停机制防止在少数类上反复震荡过拟合。不建议在文本特征上用 SMOTE 合成样本——合成出来的“风险语句”在词频分布上失真最终学到的边界是虚构的。参数设定作用objectivebinary二分类任务metricauc时间外验证主指标scale_pos_weight负样本数 / 正样本数对少数类加权max_depth4~6防止树过深num_leaves15~31与 max_depth 匹配learning_rate0.02~0.05小学习率配合多轮early_stopping_rounds100连续一百轮无提升即停4.3 训练代码、阈值选择与时间外评估import lightgbm as lgb from sklearn.metrics import roc_auc_score, precision_recall_curve # X 为第3章拼接好的特征矩阵train/valid/test 使用2.3节的时间切分索引 model lgb.LGBMClassifier( objectivebinary, metricauc, scale_pos_weight(train_y 0).sum() / max((train_y 1).sum(), 1), max_depth5, num_leaves20, learning_rate0.03, n_estimators2000, verbosity-1, ) model.fit(train_X, train_y, eval_set[(valid_X, valid_y)], eval_metricauc, callbacks[lgb.early_stopping(100), lgb.log_evaluation(200)]) pred_valid model.predict_proba(valid_X)[:, 1] print(valid auc:, roc_auc_score(valid_y, pred_valid)) prec, rec, ths precision_recall_curve(valid_y, pred_valid) f1 2 * prec * rec / (prec rec 1e-9) best_th ths[f1.argmax()]eval_set传入验证集而不是训练集早停才有意义scale_pos_weight的计算必须在训练集内部完成不能把验证集的比例混进来做过时间切分后三份数据的正负比例本来就不一样。阈值用验证集 PR 曲线的最优 F1 来确定测试集只做最后一次性评估。推理端部署时要单独存一份特征构造代码不能从训练脚本里拷贝函数再改三处参数否则线上数据拼接顺序一变模型输出基本就废了。4.4 误报与漏报都看什么时间外测试集上观察错误样本的分布比看总 AUC 更有价值。误报样本往往集中在“高周转但有大量合联营投资”的公司它们的 MDA 里“合作开发”词频高被模型当成了关联交易信号漏报样本则多为突然爆发的流动性危机对应年报的 MDA 文本写作平滑风险词几乎没出现。这两类错误在评估报告里要分开描述前者是特征设计偏差后者是文本本身的覆盖盲区。5. 从预测到可解释风险点溯源与交付物整理5.1 用 SHAP 把风险归因到句子LightGBM 输出的是分数风控场景需要的是“为什么”。SHAP 可以直接给出每个特征对预测值的贡献但文本特征的 SHAP 值不够直观。我一般先把模型里贡献最高的特征列表导出再反查词典把最高贡献特征对应的词映射回原句输出成“命中词 上下文句子”的列表。import shap explainer shap.TreeExplainer(model) shap_values explainer.shap_values(test_X) shap.summary_plot(shap_values, test_X, feature_namesfeature_names, max_display20)TreeExplainer适用于 LightGBM 原生模型max_display20只画前 20 个特征避免特征列表过长。对单条样本可以用shap.force_plot或shap.waterfall_plot定位该样本的主要风险来源再结合规则命中的原文句子一起写进预警说明。5.2 源代码与数据目录的交付结构项目源码的目录组织建议把数据、模型、特征定义分离方便后续替换数据源和版本回滚。md_a_risk/ ├── data/raw/ # 年报 PDF 与 txt 原文只读目录 ├── data/processed/ # 清洗后段落、label 表 ├── features/ # 词典、规则、特征向量 pkl ├── models/ # lgb 模型文件与 best_th 阈值 ├── scripts/ # 01_extract.py, 02_events.py, 03_features.py, 04_train.py └── output/ # shap 图、预测结果 csv原始 PDF 体积大且不需要进版本库脚本目录里放一个manifest.json记录原始年报文件名加 sha256 校验值保证任何一步数据处理都能追溯到源头。5.3 一个不能跳过的验证回读漏报样本的原文测试集预测结束后把漏报样本的 MDA 片段导出人工读十到二十条。这个步骤的成本不高但经常能发现别人发现不了的问题正则切分时漏掉了“经营情况讨论与分析续”这样的重复标题导致后半段文本根本没有进入特征表格合并时把表头“单位亿元”拼进了正文段落金额特征被污染了一整年。把这一步加进管线验收标准之后换数据、换模型版本时都能保证文本侧没有悄悄失效。本文还有配套的精品资源点击获取
房地产年报MDA文本与风险预警模型构建
简介一套基于管理层讨论与分析MDA文本信息与房地产企业潜在风险预测的Python研究项目包面向计算机相关专业毕业设计、期末大作业及金融文本分析实战学习者。项目经导师指导并以98分评审通过源码均可本地编译运行整体难度适中。压缩包共37个文件约101.93MB涵盖ipynb分析脚本、txt语料与风险词典、xlsx/xls财务及评级数据、model词向量模型、csv指标表、png可视化图、lda主题分析及readme说明结构清晰。已有44人学习下载。通过该项目可完整走通“风险词表构建—词向量训练—文本指标生成—财务指标融合—回归分析”的研究流程并附文本聚类、词云展示等辅助模块有助于理解NLP在财务风险预测中的实际应用可直接基于现有模型扩展数据或调整特征。1. 为什么房地产风险会先写在 MDA 里再体现到报表上房地产企业的信用恶化链条经常是先出现在文字里再坐实于数字里。财务指标是滞后加审计平滑的结果而“经营情况讨论与分析”MDA是管理层主动书写的叙事这一段文字里的风险词密度、语气偏向、对“质押”“回款”“土储”的提法往往比三大报表早暴露一到两个季度。许多房企在债券违约公告出现前半年年报 MDA 中相关风险词频就已经发生了明显跳变。这个研究项目的交付物是源代码、模型、数据三件套目标很直接把 MDA 文本加工成可量化的风险特征再喂给分类模型做提前预警。它和通用财务造假识别不一样文本特征必须按房地产行业语境设计且样本规模决定了轻量模型比大模型更可靠。2. 数据侧房地产年报文本与风险标签的配对2.1 从 PDF 年报里切出 MDA 章节数据管线第一关数据决定模型上限而这条管线耗时最多的不是建模是把年报 PDF 转成干净文本。房企年报从交易所或巨潮资讯网拿到 PDF 后常见做法是用 poppler-utils 自带的pdftotext抽取全文再用正则按章节标题切出 MDA。A 股房企这些年报里的章节名有两种习惯早期叫“管理层讨论与分析”近五年更多叫“经营情况讨论与分析”个别公司把它并进“董事会报告”。处理时维护一个标题候选列表命中起始位置后截到下一个一级标题即可。pdftotext -layout annual_report.pdf annual_report.txt sed -i /^\s*$/N;/^\s*\n\s*$/D annual_report.txt-layout参数保留表格列结构方便后续按“行首为数字”的规则识别并剔除表格行sed的作用是合并连续空行避免章节标题和正文之间被折行打断。抽取结果的原始版本单独归档清洗逻辑不要回写到源头文件。扫描版年报在这一步会出现 OCR 乱码如果检索“经营情况讨论与分析”始终命中不了先用pdfimages看页面是否为图片再决定是否补一层 OCR。2.2 风险标签用事件时点替代 ST 状态房地产企业的风险显性化普遍滞后ST 是连续亏损叠加多项违规的终态而这里要做的是“潜在风险预测”标签不能直接用“是否 ST”。行业里更可靠的方案是以可核实事件作为正样本时点包括债券或贷款违约公告、银行借款逾期、股权质押爆仓或强平、非标信托计划延期、核心项目停工或交付逾期。每家公司每一年度生成一条样本观察窗口是事件发生日之前最近一期年报的 MDA 全文。事件类型数据来源观察窗口建议债券/贷款违约上清所、银行间披露、诉讼公告违约日前最近一期年报股权质押强平证券质押公告、司法拍卖信息强平前 1 个季度财报非标信托延期信托产品公告、上市公司公告公告日前最近一期年报项目停工/交付逾期项目公司公告、政府公示事件前 1 个年度年报按事件时点标注的好处是样本正负比例更真实也方便后续扩展成生存分析类任务。如果只标记“是否 ST”模型学到的更多是“这家公司亏损多久了”而不是“MDA 里有没有风险信号”。2.3 时间切分与标签对齐源代码里最容易出错的一段逻辑用第 t 年年报里的 MDA 去预测第 t1 年会不会出事所以标签必须整体后移一年。如果直接用当年的“是否发生风险事件”当标签年报发布时事件往往已经发生做出来的模型没有预警意义。另一个常见错误是随机切分训练集和验证集——同一家公司的 2018 年和 2020 年样本被拆到两边验证集里混入了训练年份的信息AUC 虚高。正确做法是按年度时间窗切。import pandas as pd announce pd.read_csv(risk_events.csv) # company, event_date, event_type announce[year] pd.to_datetime(announce[event_date]).dt.year had_event announce.groupby([company, year]).size().reset_index(namehad_event) df annual_text.merge(had_event, on[company, year], howleft) df[had_event] df[had_event].fillna(0).astype(int) df df.sort_values([company, year]).reset_index(dropTrue) # 用第t年的MDA预测第t1年事件标签后移一年 df[label_next] df.groupby(company)[had_event].shift(-1).fillna(0).astype(int) # 丢掉没有“下一年”的最后一条样本 df df[~df.groupby(company)[year].shift(-1).isna()] train df[df[year].between(2016, 2019)] valid df[df[year].eq(2020)] test df[df[year].between(2021, 2022)] print(train[label_next].mean(), valid[label_next].mean(), test[label_next].mean())groupby([company, year]).size()统计每家公司每个年度命中的事件数shift(-1)把下一年的had_event移到当前行fillna(0)处理无事件年份。三个集合正样本比例都偏低如果某一年正样本恰好为 0要换窗口重新切分不要把 2020 和 2021 合并否则验证集时间跨度就失效了。3. 特征工程把 MDA 段落转成可预测的风险向量3.1 语料清洗与金额归一化MDA 全文中表格、页眉页脚和“单位亿元”这样的表头注释会污染后续统计。清洗顺序建议是先剔除页眉页脚再按空行切段最后把“表格行”识别后剔除。表格行的判断逻辑不复杂行内数字字段超过 5 个或者行首是四位数年份加“年”字。剔除后按段合并得到一个按段落组织的文本列表这个列表是后面词典和向量特征共用的基础数据。房地产年报里大量金额表述需要归一化“2.51亿元”“25100万元”“2,510百万”在原文里交替出现不统一的话词频特征会失真。最省事的方案是只保留数量级特征是否出现“亿元”、金额数字落在哪个区间不要试图把所有单位都折算成元。import re def normalize_amount(text): 把匹配到的金额倍数归一化 text re.sub(r(\d[\d,]*)(?:\.\d)?\s*百万元, lambda m: str(round(float(m.group(1).replace(,, )) / 10, 2)) 亿元, text) return text这个函数只处理“百万元转亿元”这一种高频情况其他单位在清洗阶段统一替换成占位符。比起精确数值模型更需要的是“有没有被反复提钱、提到多大数量级”这种相对信号。3.2 风险词典、词频统计与否定句式抵扣通用金融情感词典在房地产文本上效果很差“拿地”“土储”“去化”“受限资金”这些词在通用语料里是中性词放到地产风险场景里却是高频信号。第一次做这个项目时我踩过直接套用通用词典的坑——计算出的风险评分和真实违约样本几乎不相关。正确的做法是自己维护一个有行业性质的种子词典优先保证召回。维度种子词示例权重融资压力质押、冻结、逾期、违约、兑付、展期、非标、信托高销售回款回款、去化、不及预期、尾盘高交付与停工停工、延期交付、业主、竣工中治理与诉讼诉讼、仲裁、被执行、担保、关联方中缓释词充足、可控、正常、无重大低抵扣用统计词频前先向 jieba 添加自定词否则“受限资金”会被切成“受限”和“资金”后面的频次统计完全失效。考虑长词并不必重点解决行业复合词的分词错误即可。import jieba from collections import Counter feature_words {融资压力: [质押, 冻结, 逾期, 违约, 展期], 经营风险: [停工, 延期交付, 去化, 土储]} jieba.add_word(受限资金) jieba.add_word(有息负债) jieba.add_word(经营情况讨论与分析) tokens jieba.lcut(mda_text) freq Counter(tokens) vec {ffreq_{w}: freq.get(w, 0) for words in feature_words.values() for w in words}一个必须处理的坑是否定句式“不存在重大违约”“无逾期情形”在 MDA 里频繁出现直接统计词频会把这两句话记成风险信号。我一般会在风险词前后三个 token 范围内做否定词检查命中“未/无/不/不存在”就扣减一个计数。def risk_sentence_hit(text, keyword): pattern r([^。]{0,30} keyword r[^。]{0,30}) for m in re.finditer(pattern, text): sent m.group(0) before sent[: sent.find(keyword)] if any(w in before[-3:] for w in [未, 无, 不, 否]): continue yield sent正则中[^。]{0,30}限定风险词前后 30 个字符把匹配范围控制在半句话内before[-3:]只看关键词前三个字避免远处无关的“不”把整句抵扣掉。这一步过滤后得到的风险句子数量比总词频更能代表“实打实提到了问题”。3.3 加载本地模型做句向量TF-IDF 不够时补语义特征词典法覆盖的是已知风险表述但 MDA 里更多风险是迂回表达的例如“受行业环境影响公司调整了本年度投资节奏”这句话在词典法下是干净的语义上却是收缩信号。要覆盖这类表达需要用文本向量。先跑一组 TF-IDF 加 SVD 的统计语义特征速度快且后续方便反查词项。from sklearn.feature_extraction.text import TfidfVectorizer from sklearn.decomposition import TruncatedSVD vec TfidfVectorizer(ngram_range(1, 2), max_features5000, min_df3) X_tf vec.fit_transform(segment_texts) svd TruncatedSVD(n_components128, random_state42) X_sem svd.fit_transform(X_tf)ngram_range(1, 2)让“质押比例”“偿债压力”这类双词短语能保留下来min_df3过滤只在少数报告里出现一次的噪声词。SVD 把 5000 维稀疏向量压到 128 维稠密向量GBDT 在稠密特征上的训练速度会快很多。如果还想再加一层上下文语义一般是在离线环境加载本地预训练模型对每个段落编码后做平均池化得到整篇 MDA 的句向量。顺便说一个经常被问到的点transformer 模型处理长文本有 512 token 上限直接编码整篇年报会被截断而 MDA 动辄几千字。行业的通用做法是按句切分、逐句编码再对句向量取平均。from sentence_transformers import SentenceTransformer model SentenceTransformer(/data/models/text2vec-base-chinese) # 本地路径 sent_vecs model.encode(sentences, normalize_embeddingsTrue) doc_vec sent_vecs.mean(axis0)normalize_embeddingsTrue把句向量归一化到单位长度平均池化时不会因句长差异产生偏差。注意句向量对“风险语气”的捕捉不如词典特征精准但它的价值在覆盖面。3.4 单变量特征的快速体检把几十个特征堆进模型之前先逐个算一遍单特征 AUC能快速发现清洗或构造逻辑的问题。实际做下来最容易出现高区分度的特征集中在“质押”和“受限资金”相关词频上其次是金额关联特征“是否出现亿元级受限金额”。单特征 AUC 超过 0.65 的特征要重点检查是不是发生了信息泄漏比如文本里直接写了“债务违约”四个字而标签恰好在同一年——这种情况通常是标签对齐出了问题。4. 模型侧不平衡样本下的风险预测管线4.1 为什么在这个场景里不优先微调大模型房地产企业的样本规模就是几百家公司乘以可追溯年份正样本占比通常很低。直接把 MDA 文本丢进预训练语言模型做 fine-tune在这个数据量下对噪声非常敏感训练一两次结果就换一副样子且风险表述的可解释性要依赖注意力权重很难向风控同事交代清楚哪些词驱动了预警。行业里更常用的路线是“预提取特征 轻量模型”先把第 3 章的词典特征、统计语义特征、句向量拼接成一张特征表再交给逻辑回归和 LightGBM。逻辑回归承担可解释基线LightGBM 承担精度上限。4.2 类别不平衡与关键参数设定地产风险样本占比常年低于 5%默认 0.5 的决策阈值会让模型把所有样本都判为安全。两类处理手段最有效scale_pos_weight对少数类加权以及早停机制防止在少数类上反复震荡过拟合。不建议在文本特征上用 SMOTE 合成样本——合成出来的“风险语句”在词频分布上失真最终学到的边界是虚构的。参数设定作用objectivebinary二分类任务metricauc时间外验证主指标scale_pos_weight负样本数 / 正样本数对少数类加权max_depth4~6防止树过深num_leaves15~31与 max_depth 匹配learning_rate0.02~0.05小学习率配合多轮early_stopping_rounds100连续一百轮无提升即停4.3 训练代码、阈值选择与时间外评估import lightgbm as lgb from sklearn.metrics import roc_auc_score, precision_recall_curve # X 为第3章拼接好的特征矩阵train/valid/test 使用2.3节的时间切分索引 model lgb.LGBMClassifier( objectivebinary, metricauc, scale_pos_weight(train_y 0).sum() / max((train_y 1).sum(), 1), max_depth5, num_leaves20, learning_rate0.03, n_estimators2000, verbosity-1, ) model.fit(train_X, train_y, eval_set[(valid_X, valid_y)], eval_metricauc, callbacks[lgb.early_stopping(100), lgb.log_evaluation(200)]) pred_valid model.predict_proba(valid_X)[:, 1] print(valid auc:, roc_auc_score(valid_y, pred_valid)) prec, rec, ths precision_recall_curve(valid_y, pred_valid) f1 2 * prec * rec / (prec rec 1e-9) best_th ths[f1.argmax()]eval_set传入验证集而不是训练集早停才有意义scale_pos_weight的计算必须在训练集内部完成不能把验证集的比例混进来做过时间切分后三份数据的正负比例本来就不一样。阈值用验证集 PR 曲线的最优 F1 来确定测试集只做最后一次性评估。推理端部署时要单独存一份特征构造代码不能从训练脚本里拷贝函数再改三处参数否则线上数据拼接顺序一变模型输出基本就废了。4.4 误报与漏报都看什么时间外测试集上观察错误样本的分布比看总 AUC 更有价值。误报样本往往集中在“高周转但有大量合联营投资”的公司它们的 MDA 里“合作开发”词频高被模型当成了关联交易信号漏报样本则多为突然爆发的流动性危机对应年报的 MDA 文本写作平滑风险词几乎没出现。这两类错误在评估报告里要分开描述前者是特征设计偏差后者是文本本身的覆盖盲区。5. 从预测到可解释风险点溯源与交付物整理5.1 用 SHAP 把风险归因到句子LightGBM 输出的是分数风控场景需要的是“为什么”。SHAP 可以直接给出每个特征对预测值的贡献但文本特征的 SHAP 值不够直观。我一般先把模型里贡献最高的特征列表导出再反查词典把最高贡献特征对应的词映射回原句输出成“命中词 上下文句子”的列表。import shap explainer shap.TreeExplainer(model) shap_values explainer.shap_values(test_X) shap.summary_plot(shap_values, test_X, feature_namesfeature_names, max_display20)TreeExplainer适用于 LightGBM 原生模型max_display20只画前 20 个特征避免特征列表过长。对单条样本可以用shap.force_plot或shap.waterfall_plot定位该样本的主要风险来源再结合规则命中的原文句子一起写进预警说明。5.2 源代码与数据目录的交付结构项目源码的目录组织建议把数据、模型、特征定义分离方便后续替换数据源和版本回滚。md_a_risk/ ├── data/raw/ # 年报 PDF 与 txt 原文只读目录 ├── data/processed/ # 清洗后段落、label 表 ├── features/ # 词典、规则、特征向量 pkl ├── models/ # lgb 模型文件与 best_th 阈值 ├── scripts/ # 01_extract.py, 02_events.py, 03_features.py, 04_train.py └── output/ # shap 图、预测结果 csv原始 PDF 体积大且不需要进版本库脚本目录里放一个manifest.json记录原始年报文件名加 sha256 校验值保证任何一步数据处理都能追溯到源头。5.3 一个不能跳过的验证回读漏报样本的原文测试集预测结束后把漏报样本的 MDA 片段导出人工读十到二十条。这个步骤的成本不高但经常能发现别人发现不了的问题正则切分时漏掉了“经营情况讨论与分析续”这样的重复标题导致后半段文本根本没有进入特征表格合并时把表头“单位亿元”拼进了正文段落金额特征被污染了一整年。把这一步加进管线验收标准之后换数据、换模型版本时都能保证文本侧没有悄悄失效。本文还有配套的精品资源点击获取
