简介面向金融机构风控建模、信用评级与数据治理从业者这份536页的PDF方案文档系统梳理了基于DeepSeek-VL2构建信用评级体系的完整技术路径覆盖多源异构数据采集、清洗归一化、知识图谱构建、时空对齐、特征空间统一、编码器适配改造、注意力权重动态分配、PCA与自编码器降维以及存储架构设计等核心环节共54个大章节支持目录跳转与阅读器书签大纲定位。压缩包内仅含1个PDF文件大小约15.06MB文档文字、图表与目录等元素显示正常结构完整、条理清晰。目前已有155人学习。读者可依次掌握财报与交易流水清洗、舆情研报与法务文书实体识别、财报截图与风控凭证的视觉特征提取、XML与JSON监管报文解析、缺失与异常值智能修复等实操思路并获得评级标签体系设计、模型自优化与工程化落地的参考框架。1. 信用评级为什么从“单表打分”转向多源异构融合与自优化某农商行把外部数据源从 3 个扩到 11 个之后评分卡的 KS 反而从 0.38 掉到 0.31。排查下来不是数据没用而是三张表里企业名称写法不一致、融资口径一个含票据一个不含融合后同一家客户被拆成两个主体特征直接互相打架。信用评级技术走到今天单表打分已经不够用客户信息散在征信、工商、税务、发票、供应链、司法等多个系统里格式、频率、口径全不一样多源异构数据融合是第一步市场环境变化快模型上线三个月就漂移评级模型自优化是第二步财报、公告、裁判文书这类非结构化文本占比越来越高DeepSeek 这类大模型补上了字段抽取和因子挖掘的缺口。这套方案面向银行、消金、小贷和供应链金融的风控建模、数据工程与评级系统开发人员按数据融合、模型自优化、大模型解析、回测调优四条线推进每一段都尽量落到可复现的命令、代码和参数上。2. 多源异构数据融合金融机构的字段对齐与特征管道2.1 数据源清单与主键对齐策略做融合之前先把数据源盘清楚不然后面每加一个源就要改一次管道。我一般会先填一张数据源登记表把主键、频率、口径和已知质量问题写死再动手写代码。数据源关键字段更新频率对齐主键典型问题央行征信未结清贷款、逾期次数月统一社会信用代码查询授权与频次限制工商登记注册资本、股东、变更记录日/周统一社会信用代码名称别名多、历史变更税务发票开票金额、上下游户数月纳税人识别号含税/不含税口径不一供应链平台订单、账期、履约率实时平台企业 IDID 映射关系缺失司法涉诉被执行、裁判文书日企业名称名称不规范、重名主键首选统一社会信用代码18 位、唯一性强。麻烦在于很多存量数据只有组织机构代码、工商注册号甚至纯名称。常见做法是建一张 ID 映射表优先用代码精确匹配匹配不上的用「企业名称 法定代表人 注册地址」做模糊匹配兜底并把匹配置信度落库。低于阈值的记录不直接进模型先挂人工复核队列。这里有个反直觉的点不要把「匹配不上」当成缺失值丢掉。匹配失败的客户往往本身就是信息不规范的高风险群体丢掉等于把坏样本从训练集里删了模型区分度会虚高。2.2 用 Python 搭建可复现的融合管道管道要满足三个条件源数据可替换、融合过程可追溯、覆盖率可监控。下面是一段最小可跑的融合脚本。import pandas as pd # 1. 读入各源数据统一主键列名。parquet 保留列类型读取比 csv 快 credit pd.read_parquet(credit.parquet)[[uscc, overdue_cnt, loan_balance]] biz pd.read_parquet(biz.parquet)[[uscc, reg_capital, est_date]] invoice pd.read_parquet(invoice.parquet)[[tax_id, inv_amt_12m, upstream_cnt]] # 2. 税务侧主键统一到 uscc缺失的走映射表兜底 id_map pd.read_csv(id_map.csv) # 列tax_id, uscc, match_score invoice invoice.merge(id_map, ontax_id, howleft) invoice invoice.drop(columns[tax_id]) # 3. 按 uscc 左连接保留信贷主体全量外部数据缺失即为未采集 df credit.merge(biz, onuscc, howleft) \ .merge(invoice, onuscc, howleft) # 4. 记录各源覆盖率低于阈值的数据源单独告警 coverage {c: round(df[c].notna().mean(), 4) for c in [reg_capital, inv_amt_12m]} print(coverage) assert coverage[inv_amt_12m] 0.35, 发票源覆盖率异常检查映射表逻辑上分四步统一主键、映射兜底、左连接保全量、覆盖率断言。参数上howleft保证主体表不被过滤match_score留着后面做置信度加权覆盖率断言是给调度用的数据源接入断掉时能第一时间发现而不是等模型分数异常才回头查。实际生产中我会把这段拆成 Airflow 或调度平台上的独立任务每个源产出中间宽表主流程只做 join便于单源重跑。2.3 口径不一致与缺失值的处理边界口径问题比技术问题更耗时间。含税和不含税要统一到不含税12 个月滚动窗口和自然年窗口要统一到滚动金额单位要统一到元或万元并写进字段注释。这些必须在管道里显式转换不能靠模型自己去学。缺失值也不能一律填 0。要区分两种缺失真实为零比如从未开票和未采集比如没授权查询。前者填 0 合理后者填 0 会把「无业务」和「未采集」混成一类引入系统性偏差。import numpy as np # 用哨兵列显式标记缺失来源 df[inv_missing_flag] df[inv_amt_12m].isna().astype(int) df[inv_amt_12m_filled] df[inv_amt_12m].fillna(0) # 金额类字段缩尾避免极端值主导标准化 def winsorize(s, lower0.01, upper0.99): lo, hi s.quantile([lower, upper]) return s.clip(lo, hi) df[inv_amt_12m_w] winsorize(df[inv_amt_12m_filled])lower和upper是分位参数样本量小时可以放到 0.05/0.95避免缩尾过狠损失信息。inv_missing_flag会作为独立特征进模型让模型自己决定「没数据」这件事是否有风险含义。缩尾之后再做标准化或分箱顺序不能反否则极端值会把均值方差带偏。注意缩尾的分位点只能用训练集算然后应用到验证集和线上不能每期重算否则同一客户在不同期会被切到不同区间分数不可比。3. 评级模型自优化从评分卡到自动重训的闭环3.1 基线模型选型与可解释性约束很多机构一上来就想上深度学习实际上评级场景受监管可解释性约束很紧模型要能说清每个变量为什么加减分。我的做法是评分卡打底、树模型补充、深度模型只在行为序列数据足够时尝试。模型可解释性区分度经验训练成本适用场景逻辑回归评分卡高监管友好中低小微企业标准化评级决策树/GBDT中需 SHAP中高中中型企业、多源特征LightGBM/XGBoost中需 SHAP高中特征维度大、样本充足深度模型低高高行为序列数据充足时选型时还要看样本量。几千条坏样本硬上深度模型过拟合几乎必然。评分卡的优势在于单调性可约束、系数可解释、上线后容易做人工调整监管问询时能直接拿变量分箱表解释。树模型用来捕捉评分卡抓不到的交互项比如「开票金额下降」叠加「对外担保上升」的组合风险。3.2 自优化的目标函数与超参搜索实现「自优化」不是让模型自己瞎调而是把重训、超参搜索、特征筛选、阈值选择串成一条可复现的闭环。目标函数要选业务真正关心的指标风控场景我更倾向用 KS 而不是 AUC。import optuna import numpy as np from scipy.stats import ks_2samp from sklearn.model_selection import StratifiedKFold from lightgbm import LGBMClassifier def ks_score(y_true, y_prob): return ks_2samp(y_prob[y_true 1], y_prob[y_true 0]).statistic def objective(trial): params { n_estimators: trial.suggest_int(n_estimators, 200, 800), learning_rate: trial.suggest_float(learning_rate, 0.01, 0.1, logTrue), num_leaves: trial.suggest_int(num_leaves, 15, 63), min_child_samples: trial.suggest_int(min_child_samples, 20, 100), subsample: trial.suggest_float(subsample, 0.6, 1.0), reg_lambda: trial.suggest_float(reg_lambda, 1e-3, 10, logTrue), } skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) scores [] for tr, va in skf.split(X, y): model LGBMClassifier(**params, random_state42) model.fit(X.iloc[tr], y.iloc[tr]) prob model.predict_proba(X.iloc[va])[:, 1] scores.append(ks_score(y.iloc[va].values, prob)) return float(np.mean(scores)) study optuna.create_study(directionmaximize) study.optimize(objective, n_trials60, timeout1800) print(study.best_params, study.best_value)参数说明n_trials和timeout双保险防止搜索跑飞StratifiedKFold保证每折坏样本比例一致样本不平衡时比 KFold 稳learning_rate取对数均匀采样避免小学习率区间被压缩reg_lambda控制 L2 正则抑制过拟合。需要强调的是上面的交叉验证只能用于调参最终评估必须走时间外样本OOT。随机切分会让未来信息泄漏到训练集KS 虚高几个点很常见。我一般按放款月份切靠前的月份训练中间月份调参最后几个月完全不碰只在定版时跑一次。3.3 上线后的漂移监控与自动重训触发模型上线只是开始。特征分布漂移是评级失效最常见的原因用 PSI 逐特征监控。import numpy as np import pandas as pd def psi(base, curr, bins10): # 用训练集分位点切箱保证两期口径一致 cuts np.quantile(base, np.linspace(0, 1, bins 1)) cuts[0], cuts[-1] -np.inf, np.inf b pd.cut(base, cuts).value_counts(normalizeTrue).sort_index() c pd.cut(curr, cuts).value_counts(normalizeTrue).sort_index() b, c b.replace(0, 1e-6), c.replace(0, 1e-6) return float(((c - b) * np.log(c / b)).sum()) drift {col: psi(train[col], recent[col]) for col in feature_cols} trigger [k for k, v in drift.items() if v 0.25] print(触发重训评估的特征:, trigger)PSI 区间含义动作 0.1稳定正常监控0.1 ~ 0.25轻中度漂移加密监控排查口径变更 0.25显著漂移触发重训评估检查是否需要重新分箱bins默认 10样本量小可以降到 5否则每箱样本太少 PSI 不稳定。阈值 0.25 是行业常用经验值但要看业务容忍度零售类可以更敏感对公类可以放宽。触发重训不等于立刻重训还要看区分度是否同步下降、坏账率是否异常三个信号同时亮才动手避免被单次数据波动带节奏。4. DeepSeek 在评级体系中的两个落点报告解析与因子挖掘4.1 调用 DeepSeek API 抽取非结构化财报字段财报、审计报告、公告、裁判文书里的信息传统正则和模板很难覆盖措辞一变就失效。这类任务适合用 DeepSeek 的开放平台接口做结构化抽取。import os, json, requests BASE_URL os.getenv(DEEPSEEK_BASE_URL) # 从开放平台控制台获取 API_KEY os.getenv(DEEPSEEK_API_KEY) PROMPT_TEMPLATE 从下面文本抽取字段缺失填 null不要推测 - 营业收入万元 - 净利润万元 - 资产负债率0~1 小数 - 对外担保金额万元 - 是否有重大诉讼true/false 只输出 JSON键固定为 revenue, net_profit, debt_ratio, guarantee, litigation。 文本 {text} def extract_fields(text: str) - dict: payload { model: deepseek-chat, messages: [ {role: system, content: 你是财务信息抽取助手只输出 JSON。}, {role: user, content: PROMPT_TEMPLATE.format(texttext[:8000])}, ], temperature: 0, # 抽取任务要稳定不要创造性 response_format: {type: json_object}, # 强制 JSON 输出 max_tokens: 1024, } r requests.post(f{BASE_URL}/chat/completions, headers{Authorization: fBearer {API_KEY}, Content-Type: application/json}, jsonpayload, timeout60) r.raise_for_status() return json.loads(r.json()[choices][0][message][content])参数上temperature0是抽取任务的默认选择追求同一输入稳定输出response_format指定 JSON 后解析失败率会明显下降text[:8000]是截断策略长报告要分段抽取再合并不能直接超长提交。真实接入时把 BASE_URL 和 KEY 放环境变量或密钥管理服务不要硬编码在代码里。4.2 提示词模板与结果校验的工程细节提示词要固定键名、固定单位、明确缺失处理不然后面字段对不上。抽取结果不能直接进模型必须过一遍结构校验。抽取字段来源文本用途缺失处理营业收入年报、审计报告规模因子留缺失标记不填 0资产负债率年报杠杆因子行业均值填充 标记对外担保公告或有负债因子缺失视为 0 并加标记重大诉讼裁判文书风险事件因子缺失视为未知单独一档from jsonschema import validate, ValidationError SCHEMA { type: object, properties: { revenue: {type: [number, null]}, net_profit: {type: [number, null]}, debt_ratio: {type: [number, null], minimum: 0, maximum: 2}, guarantee: {type: [number, null]}, litigation: {type: [boolean, null]}, }, required: [revenue, net_profit, debt_ratio], } def safe_extract(text): try: data extract_fields(text) validate(data, SCHEMA) return data except (ValidationError, json.JSONDecodeError) as e: return {error: str(e), raw: None}debt_ratio上限放到 2 是兼容资不抵债的情况超过就校验失败说明抽取可能有误。校验失败的不进模型落到人工复核队列。这一步很关键大模型抽取一定有错误率靠 schema 兜住明显异常比事后查分数异常省事得多。4.3 把 LLM 因子接回评分模型抽取结果作为补充特征与结构化特征按主键合并。llm_df pd.DataFrame([safe_extract(t) for t in report_texts]) llm_df[litigation_flag] llm_df[litigation].map({True: 1, False: 0}) llm_df[debt_ratio_c] llm_df[debt_ratio].clip(0, 1.5) llm_df[llm_missing] llm_df[revenue].isna().astype(int) final base_df.merge(llm_df[[uscc, litigation_flag, debt_ratio_c, llm_missing]], onuscc, howleft)LLM 因子缺失率通常偏高不建议直接当主特征先做规则变量或用缺失指示列参与训练更稳。上线要记录模型版本和提示词版本两者任一变更都要重新跑一遍 OOT否则分数变化来源说不清。遇到「对话长度上限」这类接口返回要有重试和分段逻辑别让整批抽取任务因为单条失败全挂。5. 评级体系回测与阈值调优的具体技巧回测切分方式决定结论可信度。按放款月份做时间切分前 9 个月训练中间 2 个月验证调参最后 1 个月做 OOT。OOT 只跑一次看的是模型在完全没见过的未来数据上的表现KS 掉 0.03 以内算正常掉 0.08 以上要回头查特征泄漏或口径变化。阈值选择不能直接取 KS 最大点要结合业务通过率和坏账容忍度做权衡。import numpy as np import pandas as pd def threshold_table(y_true, score, thresholds): rows [] for t in thresholds: passed score t # 分数越高越好 approved passed.mean() bad_rate y_true[passed].mean() if passed.sum() else 0.0 rejected_bad 1 - y_true[passed].sum() / y_true.sum() rows.append({threshold: t, approval: round(approved, 4), bad_rate: round(bad_rate, 4), rejected_bad: round(rejected_bad, 4)}) return pd.DataFrame(rows) print(threshold_table(y_oot, score_oot, np.arange(0.55, 0.70, 0.05)))阈值通过率坏账率拒绝掉的坏客户占比0.5568%1.9%82%0.6061%1.5%88%0.6553%1.2%92%看这张表的方式如果业务目标是坏账压到 1.5% 以内选 0.60如果规模优先0.55 也能接受但要配套提高额度管控或贷后频率。阈值不是一次定死的每季度用最新 OOT 重跑一遍。还有一个容易忽略的细节抽取类因子的版本管理。把提示词版本号、模型版本、抽取批次写进特征元数据表重训时按批次回溯就能定位到是哪一版抽取结果改变了分数分布而不是对着一个说不清来源的分数干瞪眼。本文还有配套的精品资源点击获取
多源异构融合与自优化：DeepSeek 信用评级实战
简介面向金融机构风控建模、信用评级与数据治理从业者这份536页的PDF方案文档系统梳理了基于DeepSeek-VL2构建信用评级体系的完整技术路径覆盖多源异构数据采集、清洗归一化、知识图谱构建、时空对齐、特征空间统一、编码器适配改造、注意力权重动态分配、PCA与自编码器降维以及存储架构设计等核心环节共54个大章节支持目录跳转与阅读器书签大纲定位。压缩包内仅含1个PDF文件大小约15.06MB文档文字、图表与目录等元素显示正常结构完整、条理清晰。目前已有155人学习。读者可依次掌握财报与交易流水清洗、舆情研报与法务文书实体识别、财报截图与风控凭证的视觉特征提取、XML与JSON监管报文解析、缺失与异常值智能修复等实操思路并获得评级标签体系设计、模型自优化与工程化落地的参考框架。1. 信用评级为什么从“单表打分”转向多源异构融合与自优化某农商行把外部数据源从 3 个扩到 11 个之后评分卡的 KS 反而从 0.38 掉到 0.31。排查下来不是数据没用而是三张表里企业名称写法不一致、融资口径一个含票据一个不含融合后同一家客户被拆成两个主体特征直接互相打架。信用评级技术走到今天单表打分已经不够用客户信息散在征信、工商、税务、发票、供应链、司法等多个系统里格式、频率、口径全不一样多源异构数据融合是第一步市场环境变化快模型上线三个月就漂移评级模型自优化是第二步财报、公告、裁判文书这类非结构化文本占比越来越高DeepSeek 这类大模型补上了字段抽取和因子挖掘的缺口。这套方案面向银行、消金、小贷和供应链金融的风控建模、数据工程与评级系统开发人员按数据融合、模型自优化、大模型解析、回测调优四条线推进每一段都尽量落到可复现的命令、代码和参数上。2. 多源异构数据融合金融机构的字段对齐与特征管道2.1 数据源清单与主键对齐策略做融合之前先把数据源盘清楚不然后面每加一个源就要改一次管道。我一般会先填一张数据源登记表把主键、频率、口径和已知质量问题写死再动手写代码。数据源关键字段更新频率对齐主键典型问题央行征信未结清贷款、逾期次数月统一社会信用代码查询授权与频次限制工商登记注册资本、股东、变更记录日/周统一社会信用代码名称别名多、历史变更税务发票开票金额、上下游户数月纳税人识别号含税/不含税口径不一供应链平台订单、账期、履约率实时平台企业 IDID 映射关系缺失司法涉诉被执行、裁判文书日企业名称名称不规范、重名主键首选统一社会信用代码18 位、唯一性强。麻烦在于很多存量数据只有组织机构代码、工商注册号甚至纯名称。常见做法是建一张 ID 映射表优先用代码精确匹配匹配不上的用「企业名称 法定代表人 注册地址」做模糊匹配兜底并把匹配置信度落库。低于阈值的记录不直接进模型先挂人工复核队列。这里有个反直觉的点不要把「匹配不上」当成缺失值丢掉。匹配失败的客户往往本身就是信息不规范的高风险群体丢掉等于把坏样本从训练集里删了模型区分度会虚高。2.2 用 Python 搭建可复现的融合管道管道要满足三个条件源数据可替换、融合过程可追溯、覆盖率可监控。下面是一段最小可跑的融合脚本。import pandas as pd # 1. 读入各源数据统一主键列名。parquet 保留列类型读取比 csv 快 credit pd.read_parquet(credit.parquet)[[uscc, overdue_cnt, loan_balance]] biz pd.read_parquet(biz.parquet)[[uscc, reg_capital, est_date]] invoice pd.read_parquet(invoice.parquet)[[tax_id, inv_amt_12m, upstream_cnt]] # 2. 税务侧主键统一到 uscc缺失的走映射表兜底 id_map pd.read_csv(id_map.csv) # 列tax_id, uscc, match_score invoice invoice.merge(id_map, ontax_id, howleft) invoice invoice.drop(columns[tax_id]) # 3. 按 uscc 左连接保留信贷主体全量外部数据缺失即为未采集 df credit.merge(biz, onuscc, howleft) \ .merge(invoice, onuscc, howleft) # 4. 记录各源覆盖率低于阈值的数据源单独告警 coverage {c: round(df[c].notna().mean(), 4) for c in [reg_capital, inv_amt_12m]} print(coverage) assert coverage[inv_amt_12m] 0.35, 发票源覆盖率异常检查映射表逻辑上分四步统一主键、映射兜底、左连接保全量、覆盖率断言。参数上howleft保证主体表不被过滤match_score留着后面做置信度加权覆盖率断言是给调度用的数据源接入断掉时能第一时间发现而不是等模型分数异常才回头查。实际生产中我会把这段拆成 Airflow 或调度平台上的独立任务每个源产出中间宽表主流程只做 join便于单源重跑。2.3 口径不一致与缺失值的处理边界口径问题比技术问题更耗时间。含税和不含税要统一到不含税12 个月滚动窗口和自然年窗口要统一到滚动金额单位要统一到元或万元并写进字段注释。这些必须在管道里显式转换不能靠模型自己去学。缺失值也不能一律填 0。要区分两种缺失真实为零比如从未开票和未采集比如没授权查询。前者填 0 合理后者填 0 会把「无业务」和「未采集」混成一类引入系统性偏差。import numpy as np # 用哨兵列显式标记缺失来源 df[inv_missing_flag] df[inv_amt_12m].isna().astype(int) df[inv_amt_12m_filled] df[inv_amt_12m].fillna(0) # 金额类字段缩尾避免极端值主导标准化 def winsorize(s, lower0.01, upper0.99): lo, hi s.quantile([lower, upper]) return s.clip(lo, hi) df[inv_amt_12m_w] winsorize(df[inv_amt_12m_filled])lower和upper是分位参数样本量小时可以放到 0.05/0.95避免缩尾过狠损失信息。inv_missing_flag会作为独立特征进模型让模型自己决定「没数据」这件事是否有风险含义。缩尾之后再做标准化或分箱顺序不能反否则极端值会把均值方差带偏。注意缩尾的分位点只能用训练集算然后应用到验证集和线上不能每期重算否则同一客户在不同期会被切到不同区间分数不可比。3. 评级模型自优化从评分卡到自动重训的闭环3.1 基线模型选型与可解释性约束很多机构一上来就想上深度学习实际上评级场景受监管可解释性约束很紧模型要能说清每个变量为什么加减分。我的做法是评分卡打底、树模型补充、深度模型只在行为序列数据足够时尝试。模型可解释性区分度经验训练成本适用场景逻辑回归评分卡高监管友好中低小微企业标准化评级决策树/GBDT中需 SHAP中高中中型企业、多源特征LightGBM/XGBoost中需 SHAP高中特征维度大、样本充足深度模型低高高行为序列数据充足时选型时还要看样本量。几千条坏样本硬上深度模型过拟合几乎必然。评分卡的优势在于单调性可约束、系数可解释、上线后容易做人工调整监管问询时能直接拿变量分箱表解释。树模型用来捕捉评分卡抓不到的交互项比如「开票金额下降」叠加「对外担保上升」的组合风险。3.2 自优化的目标函数与超参搜索实现「自优化」不是让模型自己瞎调而是把重训、超参搜索、特征筛选、阈值选择串成一条可复现的闭环。目标函数要选业务真正关心的指标风控场景我更倾向用 KS 而不是 AUC。import optuna import numpy as np from scipy.stats import ks_2samp from sklearn.model_selection import StratifiedKFold from lightgbm import LGBMClassifier def ks_score(y_true, y_prob): return ks_2samp(y_prob[y_true 1], y_prob[y_true 0]).statistic def objective(trial): params { n_estimators: trial.suggest_int(n_estimators, 200, 800), learning_rate: trial.suggest_float(learning_rate, 0.01, 0.1, logTrue), num_leaves: trial.suggest_int(num_leaves, 15, 63), min_child_samples: trial.suggest_int(min_child_samples, 20, 100), subsample: trial.suggest_float(subsample, 0.6, 1.0), reg_lambda: trial.suggest_float(reg_lambda, 1e-3, 10, logTrue), } skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) scores [] for tr, va in skf.split(X, y): model LGBMClassifier(**params, random_state42) model.fit(X.iloc[tr], y.iloc[tr]) prob model.predict_proba(X.iloc[va])[:, 1] scores.append(ks_score(y.iloc[va].values, prob)) return float(np.mean(scores)) study optuna.create_study(directionmaximize) study.optimize(objective, n_trials60, timeout1800) print(study.best_params, study.best_value)参数说明n_trials和timeout双保险防止搜索跑飞StratifiedKFold保证每折坏样本比例一致样本不平衡时比 KFold 稳learning_rate取对数均匀采样避免小学习率区间被压缩reg_lambda控制 L2 正则抑制过拟合。需要强调的是上面的交叉验证只能用于调参最终评估必须走时间外样本OOT。随机切分会让未来信息泄漏到训练集KS 虚高几个点很常见。我一般按放款月份切靠前的月份训练中间月份调参最后几个月完全不碰只在定版时跑一次。3.3 上线后的漂移监控与自动重训触发模型上线只是开始。特征分布漂移是评级失效最常见的原因用 PSI 逐特征监控。import numpy as np import pandas as pd def psi(base, curr, bins10): # 用训练集分位点切箱保证两期口径一致 cuts np.quantile(base, np.linspace(0, 1, bins 1)) cuts[0], cuts[-1] -np.inf, np.inf b pd.cut(base, cuts).value_counts(normalizeTrue).sort_index() c pd.cut(curr, cuts).value_counts(normalizeTrue).sort_index() b, c b.replace(0, 1e-6), c.replace(0, 1e-6) return float(((c - b) * np.log(c / b)).sum()) drift {col: psi(train[col], recent[col]) for col in feature_cols} trigger [k for k, v in drift.items() if v 0.25] print(触发重训评估的特征:, trigger)PSI 区间含义动作 0.1稳定正常监控0.1 ~ 0.25轻中度漂移加密监控排查口径变更 0.25显著漂移触发重训评估检查是否需要重新分箱bins默认 10样本量小可以降到 5否则每箱样本太少 PSI 不稳定。阈值 0.25 是行业常用经验值但要看业务容忍度零售类可以更敏感对公类可以放宽。触发重训不等于立刻重训还要看区分度是否同步下降、坏账率是否异常三个信号同时亮才动手避免被单次数据波动带节奏。4. DeepSeek 在评级体系中的两个落点报告解析与因子挖掘4.1 调用 DeepSeek API 抽取非结构化财报字段财报、审计报告、公告、裁判文书里的信息传统正则和模板很难覆盖措辞一变就失效。这类任务适合用 DeepSeek 的开放平台接口做结构化抽取。import os, json, requests BASE_URL os.getenv(DEEPSEEK_BASE_URL) # 从开放平台控制台获取 API_KEY os.getenv(DEEPSEEK_API_KEY) PROMPT_TEMPLATE 从下面文本抽取字段缺失填 null不要推测 - 营业收入万元 - 净利润万元 - 资产负债率0~1 小数 - 对外担保金额万元 - 是否有重大诉讼true/false 只输出 JSON键固定为 revenue, net_profit, debt_ratio, guarantee, litigation。 文本 {text} def extract_fields(text: str) - dict: payload { model: deepseek-chat, messages: [ {role: system, content: 你是财务信息抽取助手只输出 JSON。}, {role: user, content: PROMPT_TEMPLATE.format(texttext[:8000])}, ], temperature: 0, # 抽取任务要稳定不要创造性 response_format: {type: json_object}, # 强制 JSON 输出 max_tokens: 1024, } r requests.post(f{BASE_URL}/chat/completions, headers{Authorization: fBearer {API_KEY}, Content-Type: application/json}, jsonpayload, timeout60) r.raise_for_status() return json.loads(r.json()[choices][0][message][content])参数上temperature0是抽取任务的默认选择追求同一输入稳定输出response_format指定 JSON 后解析失败率会明显下降text[:8000]是截断策略长报告要分段抽取再合并不能直接超长提交。真实接入时把 BASE_URL 和 KEY 放环境变量或密钥管理服务不要硬编码在代码里。4.2 提示词模板与结果校验的工程细节提示词要固定键名、固定单位、明确缺失处理不然后面字段对不上。抽取结果不能直接进模型必须过一遍结构校验。抽取字段来源文本用途缺失处理营业收入年报、审计报告规模因子留缺失标记不填 0资产负债率年报杠杆因子行业均值填充 标记对外担保公告或有负债因子缺失视为 0 并加标记重大诉讼裁判文书风险事件因子缺失视为未知单独一档from jsonschema import validate, ValidationError SCHEMA { type: object, properties: { revenue: {type: [number, null]}, net_profit: {type: [number, null]}, debt_ratio: {type: [number, null], minimum: 0, maximum: 2}, guarantee: {type: [number, null]}, litigation: {type: [boolean, null]}, }, required: [revenue, net_profit, debt_ratio], } def safe_extract(text): try: data extract_fields(text) validate(data, SCHEMA) return data except (ValidationError, json.JSONDecodeError) as e: return {error: str(e), raw: None}debt_ratio上限放到 2 是兼容资不抵债的情况超过就校验失败说明抽取可能有误。校验失败的不进模型落到人工复核队列。这一步很关键大模型抽取一定有错误率靠 schema 兜住明显异常比事后查分数异常省事得多。4.3 把 LLM 因子接回评分模型抽取结果作为补充特征与结构化特征按主键合并。llm_df pd.DataFrame([safe_extract(t) for t in report_texts]) llm_df[litigation_flag] llm_df[litigation].map({True: 1, False: 0}) llm_df[debt_ratio_c] llm_df[debt_ratio].clip(0, 1.5) llm_df[llm_missing] llm_df[revenue].isna().astype(int) final base_df.merge(llm_df[[uscc, litigation_flag, debt_ratio_c, llm_missing]], onuscc, howleft)LLM 因子缺失率通常偏高不建议直接当主特征先做规则变量或用缺失指示列参与训练更稳。上线要记录模型版本和提示词版本两者任一变更都要重新跑一遍 OOT否则分数变化来源说不清。遇到「对话长度上限」这类接口返回要有重试和分段逻辑别让整批抽取任务因为单条失败全挂。5. 评级体系回测与阈值调优的具体技巧回测切分方式决定结论可信度。按放款月份做时间切分前 9 个月训练中间 2 个月验证调参最后 1 个月做 OOT。OOT 只跑一次看的是模型在完全没见过的未来数据上的表现KS 掉 0.03 以内算正常掉 0.08 以上要回头查特征泄漏或口径变化。阈值选择不能直接取 KS 最大点要结合业务通过率和坏账容忍度做权衡。import numpy as np import pandas as pd def threshold_table(y_true, score, thresholds): rows [] for t in thresholds: passed score t # 分数越高越好 approved passed.mean() bad_rate y_true[passed].mean() if passed.sum() else 0.0 rejected_bad 1 - y_true[passed].sum() / y_true.sum() rows.append({threshold: t, approval: round(approved, 4), bad_rate: round(bad_rate, 4), rejected_bad: round(rejected_bad, 4)}) return pd.DataFrame(rows) print(threshold_table(y_oot, score_oot, np.arange(0.55, 0.70, 0.05)))阈值通过率坏账率拒绝掉的坏客户占比0.5568%1.9%82%0.6061%1.5%88%0.6553%1.2%92%看这张表的方式如果业务目标是坏账压到 1.5% 以内选 0.60如果规模优先0.55 也能接受但要配套提高额度管控或贷后频率。阈值不是一次定死的每季度用最新 OOT 重跑一遍。还有一个容易忽略的细节抽取类因子的版本管理。把提示词版本号、模型版本、抽取批次写进特征元数据表重训时按批次回溯就能定位到是哪一版抽取结果改变了分数分布而不是对着一个说不清来源的分数干瞪眼。本文还有配套的精品资源点击获取
