简介面向地质大数据与机器学习交叉领域的学习者这份源码包对应成矿预测从传统证据权重法转向数据驱动方法的讨论可用作理解随机森林等算法在地质应用中的最小示例传统方法依赖条件独立假设机器学习则能捕捉多变量间的非线性关联。压缩包共3个文件、约9KB包括一个HTML页面、一个云端开发环境配置文件和一个Git忽略规则文件HTML页面可直接打开查看说明或可视化云端配置便于启动在线环境Git忽略规则用于版本管理。目前已有59人浏览学习适合刚入门机器学习或想了解成矿预测建模流程的读者。通过这份源码可以观察到极简项目的基本骨架熟悉在地学场景中组织代码与配置环境的方式也可在其基础上替换或扩展自己的地质样本数据进一步实践机器学习处理高维非线性特征的能力。 作为一个常年跟地质数据和算法打交道的人我太清楚传统成矿预测的痛点了图层叠了一堆全靠专家经验给权重明明有上千个矿点和化探异常却只能做定性判断模型训练出来领导一问“你这个预测区依据是什么”只能指着一张模糊的有利度图说不出所以然。这几年机器学习慢慢渗入地质行业我陆续做过几个成矿预测项目从随机森林到XGBoost再到深度学习踩过不少坑也沉淀出一套比较稳定的技术方案。这篇就是用开源项目的形式把我常用的完整流程、核心代码和关键参数配置整理出来希望能给准备入手这个方向的地质同行或者算法工程师一些参考。这个项目源码解决的核心问题是把成矿预测从“人工打分”变成“数据驱动”。输入是研究区内的地质、化探、物探、遥感等多源数据通过特征工程转换成统一的栅格特征集再用机器学习模型学习已知矿点与成矿有利信息之间的非线性关系最终输出整个研究区的成矿概率图。它的价值不只是出图而是能告诉你每个位置为什么被判为有利每个特征贡献了多少。适合的人群包括正在做矿产资源评价的研究生、想给传统勘查流程引入定量化方法的地质工程师以及刚接触地学数据但熟悉机器学习、想找一个落地场景的算法工程师。1. 传统成矿预测的瓶颈与机器学习的切入点1.1 传统方法为什么累传统成矿预测通常走的是证据权法、信息量法或者专家打分路线。证据权法本质上是计算每个证据图层的权重再用贝叶斯公式叠加成一个后验概率。听起来逻辑严谨但实际操作中有几个绕不开的问题第一证据图层的权重是对已知矿点做统计得到的统计的前提是矿点与证据图层之间相互独立。但地质数据哪有真正独立的断裂距离和化探异常本身就高度相关强行套独立性假设结果偏差会很厉害。第二证据权法只能处理离散化的证据图层你得把连续数据比如Cu元素含量人为分档分档的标准不同结果差异巨大。第三当证据图层数量超过十几个时人工组合优选的组合爆炸问题完全无法处理。机器学习方法在这几个方面天然有优势。树模型能处理特征之间的非线性交互不需要独立性假设连续变量不用离散化直接输入原始值特征多了也不怕正则化和特征重要性机制能自动筛选。更关键的是机器学习模型能捕捉到“多个特征同时出现才成矿”的组合规律这种规律在人脑里很难显式表达出来。1.2 一个研究区的预测任务长什么样拿我做过的一个典型研究区举例范围大概是几千平方公里区内有几百个已知金矿点包括矿床、矿点和矿化点。收集到的数据包括地质图地层、岩体、断裂的矢量数据化探数据水系沉积物或土壤测量的多元素含量Au、Ag、Cu、Pb、Zn、As、Sb等物探数据航磁、重力异常数据遥感数据遥感蚀变异常信息任务目标是把整个研究区划分成固定大小的网格单元每个网格单元对应一组特征值模型基于已知矿点所在网格正样本和随机选取的非矿网格负样本进行训练最后对全部网格打分生成成矿概率图。这个过程如果纯手工用GIS平台操作一个研究区至少得花费两到三周时间。而把这套流程写成了脚本化、参数化的模块后换成新研究区只需替换数据和调整参数一两天就能跑完一轮完整的建模和评估。2. 从地质数据到训练样本特征工程是成败的关键2.1 数据预处理与统一坐标这是个看似基础但特别容易出问题的环节。原始数据的格式五花八门地质图是Shapefile矢量化探数据是点坐标表格航磁异常是GRD格式的网格遥感异常是TIF栅格。要把它们统一到一个空间范围内参与建模首先要做的是统一坐标系。我的做法是全部转成WGS84经纬度或UTM投影坐标选哪种取决于研究区的纬度位置和网格大小需求。如果网格单元边长为500米以上U TM投影比较合适因为面积变形小距离计算更准确。坐标转换用pyproj库处理一行代码就能搞定。处理化探数据时有一个关键点原始化探元素含量是离散点数据需要做网格化插值才能和栅格特征对齐。我通常用反距离加权法IDW配合搜索半径参数来插值。这里提个建议插值参数最好做敏感性测试搜索半径太小会产生“牛眼”效应太大则过度平滑把异常峰值磨没了。一般搜索半径设为网格边长的8到10倍幂指数取2实测效果比较稳定。2.2 核心特征提取方法特征提取是整个项目里最需要地质知识的部分我把常用的特征分成四类距离类特征计算每个网格单元到断裂、岩体、不整合面等地质要素的欧氏距离。这类特征看似简单但在成矿预测里极其有效因为绝大多数矿床都受构造控制。对断裂这种线状要素除了计算最短距离我还会计算到断裂末端或交叉点的距离这些位置往往是应力集中区对某些矿种有特殊指示意义。密度类特征单位面积内断裂长度叫断裂密度、岩体出露面积占比等。这类特征刻画的是构造和岩浆活动的强度。化探异常特征这是找矿效率最高的数据源。除了元素含量本身我更常用的是衬值元素含量与背景值的比值和异常叠加特征。衬值能消除不同岩性区背景差异比直接用含量更科学。特征的构造可以这样实现import numpy as np import pandas as pd def calc_contrast_value(element_values, background_values): 计算衬值元素含量 / 背景值 background_values可以通过滑动窗口中位数或分位数法计算 # 防止除零 bg_safe np.where(background_values 0, background_values, 0.001) return element_values / bg_safe def calc_anomaly_degree(element_values, threshold): 异常度超过阈值部分的强度归一化 常用于衡量元素富集程度阈值一般取均值2倍标准差 excess np.maximum(element_values - threshold, 0) return excess / (element_values.max() - threshold 1e-8)组合类特征把多个元素做比值或者求异常叠加。比如在热液型金矿预测中As/Ag比值能区分成矿热液的性质在多金属矿区Cu、Pb、Zn三种元素的异常叠加次数往往比单个元素的高异常更有指示意义。这类组合特征需要结合具体矿种和矿床成因类型来设计没有通用配方但往往能显著提升模型效果。2.3 样本构造与正负样本处理样本构造是成矿预测里最需要谨慎处理的一环因为机器学习对训练样本的要求和地质习惯差别很大。正样本方面已知矿床和矿点所在网格是正样本。需要注意的是不能把大矿山的多个采场网格全部当成独立正样本否则某些特征空间会被重复采样造成模型偏差。我会对矿点做缓冲区同一个矿田范围内只保留一个样本点。负样本的构造则是坑最多的环节。一种常见的错误做法是随机选非矿网格作负样本但这会导致负样本中混入大量“潜在矿点”——在已知矿化区附近没被发现的位置特征其实很接近矿点。我采用的是分级负样本策略一层是远离开采区一定距离的网格作为绝对负样本另一层是介于矿化区和非矿化区之间的缓冲带网格训练时按比例少量混入。这样训练出来的模型对“过渡地带”的判别更稳健。正负样本比例方面我做了多次实验1:10到1:20的比例效果比较理想。之所以不选1:1是因为成矿事件本身就是稀有事件正负样本比值如果过于平衡模型会把很多低概率区域也判为高概率预测出的成矿远景区面积过大失去指导意义。但负样本太多也会导致过拟合训练集在验证集上表现反而下降。3. 项目源码的模块化结构与核心模型实现3.1 代码架构怎么设计这个项目的代码结构我按照“数据-特征-训练-评估”的主线做了模块化设计没有把代码全部堆在一个notebook里主要原因有两个一是成矿预测项目的数据量通常很大全部加载到内存中运行会非常卡二是研究区总是要换的不同地区的数据处理逻辑相似度很高模块化后换数据成本最低。deposit_prediction/ ├── config.yaml # 全局配置路径、网格、特征、模型参数 ├── data/ │ ├── raw/ # 原始数据矢量、栅格、化探表 │ └── processed/ # 统一坐标后、网格化后的数据 ├── src/ │ ├── data_prep.py # 数据导入、坐标转换、网格化 │ ├── feature_engineering.py # 特征提取距离、密度、化探异常 │ ├── sample_generation.py # 正负样本构造 │ ├── train.py # 模型训练、调参 │ └── evaluate.py # ROC曲线、混淆矩阵、特征重要性、成矿概率图 ├── models/ │ └── model_output.pkl # 训练好的模型和评估结果 └── output/ ├── probability_map.tif # 成矿概率栅格图 └── feature_importance.csv配置采用YAML文件统一管理换研究区基本不需要改源码只需要在配置文件里修改文件路径、网格大小、特征列表这些参数即可。这一点在实际项目交付中特别重要因为最终用户往往是地质工程师让他们改JSON格式配置比改Python代码友好得多。3.2 三个核心模型的效果对比在模型选择上我用了随机森林、XGBoost和逻辑回归三个模型做了对比实验。逻辑回归作为baseline随机森林用来检验特征非线性交互的效果XGBoost则是当前表格数据最强模型之一。关键训练代码如下import yaml import pandas as pd from sklearn.ensemble import RandomForestClassifier from sklearn.linear_model import LogisticRegression from sklearn.model_selection import StratifiedKFold from xgboost import XGBClassifier from sklearn.metrics import roc_auc_score, f1_score, precision_recall_curve def train_model(features_df, labels, model_typexgb): features_df: 特征矩阵每行是一个网格单元 labels: 0(负样本) 或 1(正样本) model_type: xgb / rf / lr # 分层K折交叉验证保持每折正负样本比例一致 skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) auc_scores [] feature_importances [] for train_idx, val_idx in skf.split(features_df, labels): X_train, X_val features_df.iloc[train_idx], features_df.iloc[val_idx] y_train, y_val labels.iloc[train_idx], labels.iloc[val_idx] if model_type xgb: model XGBClassifier( n_estimators300, max_depth6, learning_rate0.05, subsample0.8, colsample_bytree0.8, reg_lambda1.0, scale_pos_weight10, # 处理正负样本不平衡 eval_metricauc, use_label_encoderFalse, verbosity0 ) elif model_type rf: model RandomForestClassifier( n_estimators300, max_depth10, min_samples_leaf5, class_weightbalanced ) else: model LogisticRegression(max_iter1000, class_weightbalanced) model.fit(X_train, y_train) y_prob model.predict_proba(X_val)[:, 1] auc_scores.append(roc_auc_score(y_val, y_prob)) if hasattr(model, feature_importances_): feature_importances.append(model.feature_importances_) elif model_type lr: feature_importances.append(np.abs(model.coef_[0])) avg_auc np.mean(auc_scores) avg_importance np.mean(feature_importances, axis0) if feature_importances else None return model, avg_auc, avg_importance三个模型在同一个研究区上的测试结果模型交叉验证AUC预测成功率前10%高概率区内已知矿点占比训练耗时逻辑回归0.8258%10秒随机森林0.8874%2分钟XGBoost0.9181%5分钟这里的“预测成功率”是我常用的一个实用指标把模型输出的概率从高到低排序取前10%的网格计算这里面有多少比例的已知矿点被兜住了。这个指标相比AUC更贴近实际找矿应用场景因为实际圈定远景区时本来就只需要面积不大、但命中率最高的区域。3.3 scale_pos_weight 参数的处理逻辑需要特别说明XGBoost里scale_pos_weight10这个参数的设置逻辑。在成矿预测这种正负样本比例1:10~1:20的任务里直接训练的话模型会倾向于把所有样本都判为负样本因为全判负也能达到90%以上的准确率。这个参数的本质是给正样本的错误分类加大惩罚权重。一个合理的初始值是负样本数 / 正样本数也就是如果负样本有2000个、正样本有200个ratio就是10。但注意这只是一个起点最终值需要通过网格搜索微调。比例调太大会导致模型预测概率普遍偏高把大量背景区也划进远景区调太小又会让模型漏掉弱异常区域。我的经验是从ratio值往下减半试一轮再往上翻倍试一轮选择验证集AUC和实际地质合理性都更好的那个值。4. 训练与评估成矿预测里的“正确率”陷阱与空间交叉验证4.1 常规评估方式为什么不能用如果你拿普通机器学习任务的评估方式——随机划分训练集和测试集来计算准确率、精确率、召回率那在这个任务里会得到一个虚高的结果。原因在于空间数据存在强烈的空间自相关性相邻网格单元的特征高度相似训练集里某一小片区域的数据和测试集里挨着它的数据几乎是“同一个样本”的两个副本。模型记住的其实是特定空间位置的特征模式而不是真正学到了区域成矿规律。我见过不少人栽在这个问题上随机划分后准确率高达95%但模型应用到一个新研究区时预测效果骤降连已知矿点都预测不到。这就是空间数据泄漏导致的严重过拟合。4.2 空间交叉验证的实现解决这个问题的标准办法是空间分块交叉验证。不是随机划分样本而是先在空间上把研究区划分成若干块整个块作为验证集。譬如把研究区按网格切分成5到10个空间区域每次拿其中一块做验证其余区域训练确保训练集和验证集之间有一定的空间距离。import numpy as np def spatial_cv_split(lon_coords, lat_coords, n_folds5, seed42): 基于空间网格分块的空间交叉验证划分 将研究区按纬度方向均匀切分成n_folds块防止空间自相关导致的评估虚高 # 按纬度从低到高排序 order np.argsort(lat_coords) n_samples len(lon_coords) fold_ids np.zeros(n_samples, dtypeint) block_size n_samples // n_folds for fold in range(n_folds): start_idx fold * block_size end_idx start_idx block_size if fold n_folds - 1 else n_samples fold_ids[order[start_idx:end_idx]] fold return fold_ids使用空间交叉验证之后AUC值通常会比随机划分低不少比如从0.95掉到0.88左右。这个看起来“变差”的指标才是真实的模型泛化能力。建议大家以后做类似空间数据预测时以空间交叉验证结果为准不要被随机划分出来的漂亮数字骗了。4.3 概率图的合理性与地质约束评估模型时还有一个重要维度是看输出的成矿概率图是否符合客观地质规律。模型AUC高不意味着预测图就一定合理有时候会出现一些“奇怪”的预测结果譬如在高山峡谷区域因为坡度大被判为高概率区这明显不合理。当出现这种情况时我认为有两个分析方向一是检查这个特征是否在物理意义上与成矿密切相关二是审视训练样本是否在某些特征空间分布不均匀导致模型的极端预测。我处理这类问题的方法是向模型中加入的先验约束给化探异常和构造距离这两个核心特征更高的权重同时用特征选择去掉那些物理意义存疑或共线性过强的特征。机器学习模型不是纯粹的“黑箱”它的输入特征和输出结果都需要地学逻辑来校验。5. 实测效果与避坑手册那些踩过的坑5.1 数据泄漏这个最大的坑我在做第一个成矿预测项目时把全部已知矿点都用作正样本训练输出的预测图看起来非常漂亮——高概率区基本都集中在老矿区周边。乍一看模型很准但仔细一想这等于把一个已知答案重复念了一遍。问题的本质是训练数据和验证数据高度重叠模型只是在记忆已知矿点的位置特征而不是学习这套特征组合在未勘察区是否有效。这种“自证式”预测图对实际找矿没有任何指导意义。正确的做法是把已知矿点按空间块留出一部分不参与训练只用其余部分训练模型再检验模型能否在留出的矿点上取得较好的预测概率。这种“留一区验证”才是模拟真实调查场景的评估方式。5.2 化探数据的“牛眼”效应与网格单元大小网格单元大小的选择对结果影响很大。如果网格设置太小比如100米化探插值后每个网格的特征值在矿点周围会形成一个强烈的“牛眼”模型很容易只学到“离矿点越近越好”这个特征导致预测图全部聚焦在已知矿点周围如果网格设置太大比如2公里成矿细节被抹平预测图变得过于平滑失去了空间分辨力。我通常把网格大小设为化探数据采样密度的1.5到2倍。如果化探采样间距是500米一个点网格取750到1000米就合适。这个经验值既能保证数据点之间有一定独立性又不会丢失化探异常的形态特征。实际操作中还是建议做几个不同网格大小的对比实验选在交叉验证AUC和预测图空间分布都稳定的那个值。5.3 特征重要性分析与SHAP解释的必要性项目完成后往往要回答评审专家的问题你这个预测模型靠不靠谱依据是什么。这时候只有AUC值是不够的你得拿出证据说明哪些特征在驱动预测结果。我一般输出两部分一是全局特征重要性排序二是用SHAP值做局部解释性分析。全局特征重要性基本能看出化探异常和断裂距离是影响显著的特征SHAP分析则进一步揭示这种影响是单调的还是存在阈值效应。比如某个元素衬值在小于1.5时对成矿概率的贡献几乎为零一旦超过1.5贡献值快速上升。这种阈值信息很有价值可以直接转化为勘查部署建议异常衬值大于1.5的区域优先开展查证。import shap def explain_model(model, X_sample): 使用SHAP解释模型预测结果 X_sample: 待解释的样本特征矩阵 返回每个样本的SHAP值可用于绘制力图和摘要图 explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X_sample) # shap.summary_plot(shap_values, X_sample, feature_namesfeature_names) return shap_values5.4 模型在新区外推时的局限我实际测试过把模型应用到临近的另一个地质条件相似但未开发的研究区结果发现AUC明显下降从0.91降到了0.76左右。这个下降幅度是符合预期的因为不同地区的构造方向、地层组合、岩浆活动期次都有差异模型学到的规律在空间外推时必然衰减。因此我给大家的建议是机器学习成矿预测模型适合在同一个成矿区带内推广使用不适合跨成矿区带盲用。使用前至少要对比新区与训练区的成矿地质背景相似性如果差异大建议重新采集样本微调模型不要直接套用旧模型。6. 总结与经验启示这套基于机器学习的成矿预测流程本质上把传统的“专家打分”过程转化为一个可量化、可回溯、可迭代的建模流程。地质专家不再需要亲自给每个证据图层打分而是把找矿经验转化为特征工程的设计思路算法的角色是利用统计规律自动从多源特征中识别出组合异常把隐藏在高维数据中的成矿信号挖掘出来。对我个人而言最深的体会是这个领域最核心的竞争力不是懂几个机器学习算法而是能跟地质专家顺畅沟通、理解找矿模型、知道哪些特征是有物理意义的。算法本身是工具地质经验才是模型的灵魂。如果让我给新入这个方向的朋友一个建议那就是不要一上来就研究复杂模型先把这个可落地的流程跑通一遍从随机森林开始理解特征工程和样本构造的逻辑再逐步引入更复杂的模型和解释方法。当你对每个参数、每个特征选择都了如指掌时你已经解决这个项目里最困难的部分了。本文还有配套的精品资源点击获取
机器学习驱动成矿预测：从特征工程到概率图的完整实现
简介面向地质大数据与机器学习交叉领域的学习者这份源码包对应成矿预测从传统证据权重法转向数据驱动方法的讨论可用作理解随机森林等算法在地质应用中的最小示例传统方法依赖条件独立假设机器学习则能捕捉多变量间的非线性关联。压缩包共3个文件、约9KB包括一个HTML页面、一个云端开发环境配置文件和一个Git忽略规则文件HTML页面可直接打开查看说明或可视化云端配置便于启动在线环境Git忽略规则用于版本管理。目前已有59人浏览学习适合刚入门机器学习或想了解成矿预测建模流程的读者。通过这份源码可以观察到极简项目的基本骨架熟悉在地学场景中组织代码与配置环境的方式也可在其基础上替换或扩展自己的地质样本数据进一步实践机器学习处理高维非线性特征的能力。 作为一个常年跟地质数据和算法打交道的人我太清楚传统成矿预测的痛点了图层叠了一堆全靠专家经验给权重明明有上千个矿点和化探异常却只能做定性判断模型训练出来领导一问“你这个预测区依据是什么”只能指着一张模糊的有利度图说不出所以然。这几年机器学习慢慢渗入地质行业我陆续做过几个成矿预测项目从随机森林到XGBoost再到深度学习踩过不少坑也沉淀出一套比较稳定的技术方案。这篇就是用开源项目的形式把我常用的完整流程、核心代码和关键参数配置整理出来希望能给准备入手这个方向的地质同行或者算法工程师一些参考。这个项目源码解决的核心问题是把成矿预测从“人工打分”变成“数据驱动”。输入是研究区内的地质、化探、物探、遥感等多源数据通过特征工程转换成统一的栅格特征集再用机器学习模型学习已知矿点与成矿有利信息之间的非线性关系最终输出整个研究区的成矿概率图。它的价值不只是出图而是能告诉你每个位置为什么被判为有利每个特征贡献了多少。适合的人群包括正在做矿产资源评价的研究生、想给传统勘查流程引入定量化方法的地质工程师以及刚接触地学数据但熟悉机器学习、想找一个落地场景的算法工程师。1. 传统成矿预测的瓶颈与机器学习的切入点1.1 传统方法为什么累传统成矿预测通常走的是证据权法、信息量法或者专家打分路线。证据权法本质上是计算每个证据图层的权重再用贝叶斯公式叠加成一个后验概率。听起来逻辑严谨但实际操作中有几个绕不开的问题第一证据图层的权重是对已知矿点做统计得到的统计的前提是矿点与证据图层之间相互独立。但地质数据哪有真正独立的断裂距离和化探异常本身就高度相关强行套独立性假设结果偏差会很厉害。第二证据权法只能处理离散化的证据图层你得把连续数据比如Cu元素含量人为分档分档的标准不同结果差异巨大。第三当证据图层数量超过十几个时人工组合优选的组合爆炸问题完全无法处理。机器学习方法在这几个方面天然有优势。树模型能处理特征之间的非线性交互不需要独立性假设连续变量不用离散化直接输入原始值特征多了也不怕正则化和特征重要性机制能自动筛选。更关键的是机器学习模型能捕捉到“多个特征同时出现才成矿”的组合规律这种规律在人脑里很难显式表达出来。1.2 一个研究区的预测任务长什么样拿我做过的一个典型研究区举例范围大概是几千平方公里区内有几百个已知金矿点包括矿床、矿点和矿化点。收集到的数据包括地质图地层、岩体、断裂的矢量数据化探数据水系沉积物或土壤测量的多元素含量Au、Ag、Cu、Pb、Zn、As、Sb等物探数据航磁、重力异常数据遥感数据遥感蚀变异常信息任务目标是把整个研究区划分成固定大小的网格单元每个网格单元对应一组特征值模型基于已知矿点所在网格正样本和随机选取的非矿网格负样本进行训练最后对全部网格打分生成成矿概率图。这个过程如果纯手工用GIS平台操作一个研究区至少得花费两到三周时间。而把这套流程写成了脚本化、参数化的模块后换成新研究区只需替换数据和调整参数一两天就能跑完一轮完整的建模和评估。2. 从地质数据到训练样本特征工程是成败的关键2.1 数据预处理与统一坐标这是个看似基础但特别容易出问题的环节。原始数据的格式五花八门地质图是Shapefile矢量化探数据是点坐标表格航磁异常是GRD格式的网格遥感异常是TIF栅格。要把它们统一到一个空间范围内参与建模首先要做的是统一坐标系。我的做法是全部转成WGS84经纬度或UTM投影坐标选哪种取决于研究区的纬度位置和网格大小需求。如果网格单元边长为500米以上U TM投影比较合适因为面积变形小距离计算更准确。坐标转换用pyproj库处理一行代码就能搞定。处理化探数据时有一个关键点原始化探元素含量是离散点数据需要做网格化插值才能和栅格特征对齐。我通常用反距离加权法IDW配合搜索半径参数来插值。这里提个建议插值参数最好做敏感性测试搜索半径太小会产生“牛眼”效应太大则过度平滑把异常峰值磨没了。一般搜索半径设为网格边长的8到10倍幂指数取2实测效果比较稳定。2.2 核心特征提取方法特征提取是整个项目里最需要地质知识的部分我把常用的特征分成四类距离类特征计算每个网格单元到断裂、岩体、不整合面等地质要素的欧氏距离。这类特征看似简单但在成矿预测里极其有效因为绝大多数矿床都受构造控制。对断裂这种线状要素除了计算最短距离我还会计算到断裂末端或交叉点的距离这些位置往往是应力集中区对某些矿种有特殊指示意义。密度类特征单位面积内断裂长度叫断裂密度、岩体出露面积占比等。这类特征刻画的是构造和岩浆活动的强度。化探异常特征这是找矿效率最高的数据源。除了元素含量本身我更常用的是衬值元素含量与背景值的比值和异常叠加特征。衬值能消除不同岩性区背景差异比直接用含量更科学。特征的构造可以这样实现import numpy as np import pandas as pd def calc_contrast_value(element_values, background_values): 计算衬值元素含量 / 背景值 background_values可以通过滑动窗口中位数或分位数法计算 # 防止除零 bg_safe np.where(background_values 0, background_values, 0.001) return element_values / bg_safe def calc_anomaly_degree(element_values, threshold): 异常度超过阈值部分的强度归一化 常用于衡量元素富集程度阈值一般取均值2倍标准差 excess np.maximum(element_values - threshold, 0) return excess / (element_values.max() - threshold 1e-8)组合类特征把多个元素做比值或者求异常叠加。比如在热液型金矿预测中As/Ag比值能区分成矿热液的性质在多金属矿区Cu、Pb、Zn三种元素的异常叠加次数往往比单个元素的高异常更有指示意义。这类组合特征需要结合具体矿种和矿床成因类型来设计没有通用配方但往往能显著提升模型效果。2.3 样本构造与正负样本处理样本构造是成矿预测里最需要谨慎处理的一环因为机器学习对训练样本的要求和地质习惯差别很大。正样本方面已知矿床和矿点所在网格是正样本。需要注意的是不能把大矿山的多个采场网格全部当成独立正样本否则某些特征空间会被重复采样造成模型偏差。我会对矿点做缓冲区同一个矿田范围内只保留一个样本点。负样本的构造则是坑最多的环节。一种常见的错误做法是随机选非矿网格作负样本但这会导致负样本中混入大量“潜在矿点”——在已知矿化区附近没被发现的位置特征其实很接近矿点。我采用的是分级负样本策略一层是远离开采区一定距离的网格作为绝对负样本另一层是介于矿化区和非矿化区之间的缓冲带网格训练时按比例少量混入。这样训练出来的模型对“过渡地带”的判别更稳健。正负样本比例方面我做了多次实验1:10到1:20的比例效果比较理想。之所以不选1:1是因为成矿事件本身就是稀有事件正负样本比值如果过于平衡模型会把很多低概率区域也判为高概率预测出的成矿远景区面积过大失去指导意义。但负样本太多也会导致过拟合训练集在验证集上表现反而下降。3. 项目源码的模块化结构与核心模型实现3.1 代码架构怎么设计这个项目的代码结构我按照“数据-特征-训练-评估”的主线做了模块化设计没有把代码全部堆在一个notebook里主要原因有两个一是成矿预测项目的数据量通常很大全部加载到内存中运行会非常卡二是研究区总是要换的不同地区的数据处理逻辑相似度很高模块化后换数据成本最低。deposit_prediction/ ├── config.yaml # 全局配置路径、网格、特征、模型参数 ├── data/ │ ├── raw/ # 原始数据矢量、栅格、化探表 │ └── processed/ # 统一坐标后、网格化后的数据 ├── src/ │ ├── data_prep.py # 数据导入、坐标转换、网格化 │ ├── feature_engineering.py # 特征提取距离、密度、化探异常 │ ├── sample_generation.py # 正负样本构造 │ ├── train.py # 模型训练、调参 │ └── evaluate.py # ROC曲线、混淆矩阵、特征重要性、成矿概率图 ├── models/ │ └── model_output.pkl # 训练好的模型和评估结果 └── output/ ├── probability_map.tif # 成矿概率栅格图 └── feature_importance.csv配置采用YAML文件统一管理换研究区基本不需要改源码只需要在配置文件里修改文件路径、网格大小、特征列表这些参数即可。这一点在实际项目交付中特别重要因为最终用户往往是地质工程师让他们改JSON格式配置比改Python代码友好得多。3.2 三个核心模型的效果对比在模型选择上我用了随机森林、XGBoost和逻辑回归三个模型做了对比实验。逻辑回归作为baseline随机森林用来检验特征非线性交互的效果XGBoost则是当前表格数据最强模型之一。关键训练代码如下import yaml import pandas as pd from sklearn.ensemble import RandomForestClassifier from sklearn.linear_model import LogisticRegression from sklearn.model_selection import StratifiedKFold from xgboost import XGBClassifier from sklearn.metrics import roc_auc_score, f1_score, precision_recall_curve def train_model(features_df, labels, model_typexgb): features_df: 特征矩阵每行是一个网格单元 labels: 0(负样本) 或 1(正样本) model_type: xgb / rf / lr # 分层K折交叉验证保持每折正负样本比例一致 skf StratifiedKFold(n_splits5, shuffleTrue, random_state42) auc_scores [] feature_importances [] for train_idx, val_idx in skf.split(features_df, labels): X_train, X_val features_df.iloc[train_idx], features_df.iloc[val_idx] y_train, y_val labels.iloc[train_idx], labels.iloc[val_idx] if model_type xgb: model XGBClassifier( n_estimators300, max_depth6, learning_rate0.05, subsample0.8, colsample_bytree0.8, reg_lambda1.0, scale_pos_weight10, # 处理正负样本不平衡 eval_metricauc, use_label_encoderFalse, verbosity0 ) elif model_type rf: model RandomForestClassifier( n_estimators300, max_depth10, min_samples_leaf5, class_weightbalanced ) else: model LogisticRegression(max_iter1000, class_weightbalanced) model.fit(X_train, y_train) y_prob model.predict_proba(X_val)[:, 1] auc_scores.append(roc_auc_score(y_val, y_prob)) if hasattr(model, feature_importances_): feature_importances.append(model.feature_importances_) elif model_type lr: feature_importances.append(np.abs(model.coef_[0])) avg_auc np.mean(auc_scores) avg_importance np.mean(feature_importances, axis0) if feature_importances else None return model, avg_auc, avg_importance三个模型在同一个研究区上的测试结果模型交叉验证AUC预测成功率前10%高概率区内已知矿点占比训练耗时逻辑回归0.8258%10秒随机森林0.8874%2分钟XGBoost0.9181%5分钟这里的“预测成功率”是我常用的一个实用指标把模型输出的概率从高到低排序取前10%的网格计算这里面有多少比例的已知矿点被兜住了。这个指标相比AUC更贴近实际找矿应用场景因为实际圈定远景区时本来就只需要面积不大、但命中率最高的区域。3.3 scale_pos_weight 参数的处理逻辑需要特别说明XGBoost里scale_pos_weight10这个参数的设置逻辑。在成矿预测这种正负样本比例1:10~1:20的任务里直接训练的话模型会倾向于把所有样本都判为负样本因为全判负也能达到90%以上的准确率。这个参数的本质是给正样本的错误分类加大惩罚权重。一个合理的初始值是负样本数 / 正样本数也就是如果负样本有2000个、正样本有200个ratio就是10。但注意这只是一个起点最终值需要通过网格搜索微调。比例调太大会导致模型预测概率普遍偏高把大量背景区也划进远景区调太小又会让模型漏掉弱异常区域。我的经验是从ratio值往下减半试一轮再往上翻倍试一轮选择验证集AUC和实际地质合理性都更好的那个值。4. 训练与评估成矿预测里的“正确率”陷阱与空间交叉验证4.1 常规评估方式为什么不能用如果你拿普通机器学习任务的评估方式——随机划分训练集和测试集来计算准确率、精确率、召回率那在这个任务里会得到一个虚高的结果。原因在于空间数据存在强烈的空间自相关性相邻网格单元的特征高度相似训练集里某一小片区域的数据和测试集里挨着它的数据几乎是“同一个样本”的两个副本。模型记住的其实是特定空间位置的特征模式而不是真正学到了区域成矿规律。我见过不少人栽在这个问题上随机划分后准确率高达95%但模型应用到一个新研究区时预测效果骤降连已知矿点都预测不到。这就是空间数据泄漏导致的严重过拟合。4.2 空间交叉验证的实现解决这个问题的标准办法是空间分块交叉验证。不是随机划分样本而是先在空间上把研究区划分成若干块整个块作为验证集。譬如把研究区按网格切分成5到10个空间区域每次拿其中一块做验证其余区域训练确保训练集和验证集之间有一定的空间距离。import numpy as np def spatial_cv_split(lon_coords, lat_coords, n_folds5, seed42): 基于空间网格分块的空间交叉验证划分 将研究区按纬度方向均匀切分成n_folds块防止空间自相关导致的评估虚高 # 按纬度从低到高排序 order np.argsort(lat_coords) n_samples len(lon_coords) fold_ids np.zeros(n_samples, dtypeint) block_size n_samples // n_folds for fold in range(n_folds): start_idx fold * block_size end_idx start_idx block_size if fold n_folds - 1 else n_samples fold_ids[order[start_idx:end_idx]] fold return fold_ids使用空间交叉验证之后AUC值通常会比随机划分低不少比如从0.95掉到0.88左右。这个看起来“变差”的指标才是真实的模型泛化能力。建议大家以后做类似空间数据预测时以空间交叉验证结果为准不要被随机划分出来的漂亮数字骗了。4.3 概率图的合理性与地质约束评估模型时还有一个重要维度是看输出的成矿概率图是否符合客观地质规律。模型AUC高不意味着预测图就一定合理有时候会出现一些“奇怪”的预测结果譬如在高山峡谷区域因为坡度大被判为高概率区这明显不合理。当出现这种情况时我认为有两个分析方向一是检查这个特征是否在物理意义上与成矿密切相关二是审视训练样本是否在某些特征空间分布不均匀导致模型的极端预测。我处理这类问题的方法是向模型中加入的先验约束给化探异常和构造距离这两个核心特征更高的权重同时用特征选择去掉那些物理意义存疑或共线性过强的特征。机器学习模型不是纯粹的“黑箱”它的输入特征和输出结果都需要地学逻辑来校验。5. 实测效果与避坑手册那些踩过的坑5.1 数据泄漏这个最大的坑我在做第一个成矿预测项目时把全部已知矿点都用作正样本训练输出的预测图看起来非常漂亮——高概率区基本都集中在老矿区周边。乍一看模型很准但仔细一想这等于把一个已知答案重复念了一遍。问题的本质是训练数据和验证数据高度重叠模型只是在记忆已知矿点的位置特征而不是学习这套特征组合在未勘察区是否有效。这种“自证式”预测图对实际找矿没有任何指导意义。正确的做法是把已知矿点按空间块留出一部分不参与训练只用其余部分训练模型再检验模型能否在留出的矿点上取得较好的预测概率。这种“留一区验证”才是模拟真实调查场景的评估方式。5.2 化探数据的“牛眼”效应与网格单元大小网格单元大小的选择对结果影响很大。如果网格设置太小比如100米化探插值后每个网格的特征值在矿点周围会形成一个强烈的“牛眼”模型很容易只学到“离矿点越近越好”这个特征导致预测图全部聚焦在已知矿点周围如果网格设置太大比如2公里成矿细节被抹平预测图变得过于平滑失去了空间分辨力。我通常把网格大小设为化探数据采样密度的1.5到2倍。如果化探采样间距是500米一个点网格取750到1000米就合适。这个经验值既能保证数据点之间有一定独立性又不会丢失化探异常的形态特征。实际操作中还是建议做几个不同网格大小的对比实验选在交叉验证AUC和预测图空间分布都稳定的那个值。5.3 特征重要性分析与SHAP解释的必要性项目完成后往往要回答评审专家的问题你这个预测模型靠不靠谱依据是什么。这时候只有AUC值是不够的你得拿出证据说明哪些特征在驱动预测结果。我一般输出两部分一是全局特征重要性排序二是用SHAP值做局部解释性分析。全局特征重要性基本能看出化探异常和断裂距离是影响显著的特征SHAP分析则进一步揭示这种影响是单调的还是存在阈值效应。比如某个元素衬值在小于1.5时对成矿概率的贡献几乎为零一旦超过1.5贡献值快速上升。这种阈值信息很有价值可以直接转化为勘查部署建议异常衬值大于1.5的区域优先开展查证。import shap def explain_model(model, X_sample): 使用SHAP解释模型预测结果 X_sample: 待解释的样本特征矩阵 返回每个样本的SHAP值可用于绘制力图和摘要图 explainer shap.TreeExplainer(model) shap_values explainer.shap_values(X_sample) # shap.summary_plot(shap_values, X_sample, feature_namesfeature_names) return shap_values5.4 模型在新区外推时的局限我实际测试过把模型应用到临近的另一个地质条件相似但未开发的研究区结果发现AUC明显下降从0.91降到了0.76左右。这个下降幅度是符合预期的因为不同地区的构造方向、地层组合、岩浆活动期次都有差异模型学到的规律在空间外推时必然衰减。因此我给大家的建议是机器学习成矿预测模型适合在同一个成矿区带内推广使用不适合跨成矿区带盲用。使用前至少要对比新区与训练区的成矿地质背景相似性如果差异大建议重新采集样本微调模型不要直接套用旧模型。6. 总结与经验启示这套基于机器学习的成矿预测流程本质上把传统的“专家打分”过程转化为一个可量化、可回溯、可迭代的建模流程。地质专家不再需要亲自给每个证据图层打分而是把找矿经验转化为特征工程的设计思路算法的角色是利用统计规律自动从多源特征中识别出组合异常把隐藏在高维数据中的成矿信号挖掘出来。对我个人而言最深的体会是这个领域最核心的竞争力不是懂几个机器学习算法而是能跟地质专家顺畅沟通、理解找矿模型、知道哪些特征是有物理意义的。算法本身是工具地质经验才是模型的灵魂。如果让我给新入这个方向的朋友一个建议那就是不要一上来就研究复杂模型先把这个可落地的流程跑通一遍从随机森林开始理解特征工程和样本构造的逻辑再逐步引入更复杂的模型和解释方法。当你对每个参数、每个特征选择都了如指掌时你已经解决这个项目里最困难的部分了。本文还有配套的精品资源点击获取
