1. 项目缘起为什么需要检验洪水受灾面积的正态性在水利工程、灾害评估和保险精算领域洪水受灾面积是一个核心的评估指标。我们拿到一批历史洪水事件的受灾面积数据第一反应往往是计算它的平均值、标准差或者用这些数据去拟合一个预测模型。但这里隐藏着一个关键的前提假设很多经典的统计方法比如线性回归、方差分析ANOVA甚至是一些机器学习算法都默认或要求数据服从正态分布也叫高斯分布。如果这个前提不成立我们基于这些方法得出的结论比如“某因素对受灾面积影响显著”其可靠性就要大打折扣。举个例子保险公司想根据历史受灾面积数据来厘定洪水保险费率。如果数据严重右偏即存在少数几次特大洪水导致受灾面积异常巨大那么基于正态分布假设计算出的“平均损失”和“风险波动”就会严重低估极端事件带来的财务风险。这时直接使用均值进行定价公司可能会在遇到下一次大洪水时面临巨额亏损。所以在深入分析之前我们必须先回答一个基础问题我们手头的这批洪水受灾面积数据究竟是不是正态分布的这就是标题中“检验洪水受灾面积是否服从正态分布”的核心目的。而jbtest即 Jarque-Bera 检验是 MATLAB 中一个专门用于检验数据是否服从正态分布的强大工具。它不是简单地画个直方图看看像不像钟形曲线而是通过严格的统计假设检验给出一个量化的、有统计依据的判断。2. 正态分布检验的常见方法与 J-B 检验的原理检验数据正态性的方法有很多大体可以分为图示法和统计检验法。图示法直观但主观性强统计检验法客观但需要理解其背后的原理。2.1 从 Q-Q 图到统计检验一个直观到严谨的过渡最直观的方法是画一个Q-Q 图分位数-分位数图。它的原理是把你的数据样本分位数去和标准正态分布的理论分位数进行比较。如果数据来自正态分布这些点应该大致排列在一条对角线上。我在处理一批长江中下游省份的年度最大淹没面积数据时首先就画了 Q-Q 图。图上能明显看到在分布的两端尤其是上端数据点严重偏离了对角线这直观地提示数据可能存在“厚尾”或偏态。但“严重偏离”到底有多严重这需要统计检验来给出一个明确的概率值p-value。统计检验法有很多比如Kolmogorov-Smirnov 检验 (K-S检验)、Lilliefors 检验、Shapiro-Wilk 检验以及我们这里要重点讨论的Jarque-Bera 检验。它们各有侧重K-S 检验和 Lilliefors 检验主要比较样本经验分布函数与理论正态分布函数的差异。Lilliefors 检验是 K-S 检验针对正态分布的改良版适用于当正态分布的参数均值、方差未知需要从样本估计时它更准确。Shapiro-Wilk 检验对小样本数据通常 n 50的检验功效很高被认为是小样本下最有效的正态性检验之一。Jarque-Bera 检验它的核心思想是利用了正态分布的两个重要特征偏度和峰度。2.2 深入理解 Jarque-Bera 检验偏度与峰度的故事Jarque-Bera 检验的数学之美在于它非常直接。它构建了一个基于样本偏度和峰度的检验统计量。偏度衡量数据分布不对称性的指标。偏度 0分布对称是正态分布的必要条件之一。偏度 0正偏右偏意味着数据右侧有长尾均值 中位数。在洪水受灾面积数据中这很常见——大多数洪水受灾面积中等但偶尔会有几次毁灭性的特大洪水把平均值拉高。偏度 0负偏左偏意味着数据左侧有长尾均值 中位数。峰度衡量数据分布陡峭或平坦程度的指标通常与正态分布峰度3比较。峰度 3尖峰厚尾意味着数据集中在均值附近但极端值出现的概率比正态分布预测的要高。金融数据和灾害数据常具有此特征。峰度 3低峰薄尾数据分布比正态分布更分散、更平坦。Jarque-Bera 检验的零假设 H0 是数据服从正态分布。它的检验统计量 JB 的计算公式为JB (n/6) * [S^2 (K-3)^2 / 4]其中n是样本量。S是样本偏度。K是样本峰度。这个公式非常直观如果数据完全服从正态分布那么样本偏度 S 应该接近0样本峰度 K 应该接近3因此 JB 统计量会很小。反之如果数据偏离正态无论是偏了还是峰度不对S^2 或 (K-3)^2 就会变大从而导致 JB 统计量变大。在零假设成立数据正态的前提下JB 统计量近似服从自由度为2的卡方分布。因此我们可以计算出一个p-value。如果 p-value 小于我们设定的显著性水平通常为 0.05我们就有足够的统计证据拒绝“数据正态”的原假设认为数据不服从正态分布。为什么在洪水面积分析中我倾向于使用 J-B 检验针对性强洪水面积数据常见的非正态特征就是偏度和峰度异常J-B检验直接瞄准这两个特征非常对症。大样本优势J-B检验在大样本情况下功效很高。洪水历史数据往往积累了几十年甚至上百年样本量足够。MATLAB 集成jbtest函数使用方便输出结果清晰。3. 实战使用 MATLAB jbtest 函数检验洪水受灾面积数据理论清楚了我们进入实战环节。假设我们有一个名为flood_area.csv的数据文件里面记录了过去50年每年最大的一次洪水事件的受灾面积单位平方公里。3.1 数据准备与初步观察首先我们将数据读入 MATLAB 并进行初步观察。% 1. 导入数据 data readmatrix(flood_area.csv); % 假设数据只有一列 % 或者如果数据在Excel中 % data xlsread(flood_area.xlsx, A:A); % 2. 数据概览 fprintf(样本量 n %d\n, length(data)); fprintf(均值 %.2f\n, mean(data)); fprintf(标准差 %.2f\n, std(data)); fprintf(偏度 %.4f\n, skewness(data)); fprintf(峰度 %.4f\n, kurtosis(data)); % 3. 绘制直方图和Q-Q图进行直观判断 figure(Position, [100, 100, 1200, 400]) subplot(1,3,1) histogram(data, 15, Normalization, pdf, EdgeColor, w, FaceColor, [0.2, 0.6, 0.8]); hold on; % 绘制拟合的正态分布曲线 x_values linspace(min(data), max(data), 100); pdf_normal normpdf(x_values, mean(data), std(data)); plot(x_values, pdf_normal, r-, LineWidth, 2); xlabel(受灾面积 (km^2)); ylabel(概率密度); title(直方图与正态拟合曲线); legend(数据分布, 正态拟合, Location, best); grid on; subplot(1,3,2) qqplot(data); title(Q-Q 图); grid on; subplot(1,3,3) boxplot(data, Orientation, horizontal); title(箱线图); xlabel(受灾面积 (km^2));运行这段代码我们可以立刻从图上获得大量信息。直方图能看分布形状Q-Q图看分位数匹配度箱线图则能快速识别异常值。在我的案例中直方图明显右偏Q-Q图的上端点向上弯曲箱线图显示存在数个远离箱体的上侧异常点——这些都是非正态的强烈视觉信号。3.2 执行 Jarque-Bera 检验接下来我们使用jbtest函数进行正式的统计检验。% 4. 执行 Jarque-Bera 检验 % 语法: [h, pValue, jbStat, criticalValue] jbtest(data, alpha) % h: 检验结果 (0表示接受H0-正态1表示拒绝H0-非正态) % pValue: 检验的p值 % jbStat: 计算出的JB统计量 % criticalValue: 在显著性水平alpha下的临界值 alpha 0.05; % 设定显著性水平为5% [h, pValue, jbStat, cv] jbtest(data, alpha); fprintf(\n--- Jarque-Bera 检验结果 ---\n); fprintf(JB 统计量 %.4f\n, jbStat); fprintf(显著性水平 alpha %.2f\n, alpha); fprintf(临界值 %.4f\n, cv); fprintf(P 值 %.6f\n, pValue); if h 0 fprintf(结论在 %.0f%% 的显著性水平下无法拒绝原假设。\n, alpha*100); fprintf( 认为该洪水受灾面积数据服从正态分布。\n); else fprintf(结论在 %.0f%% 的显著性水平下拒绝原假设。\n, alpha*100); fprintf( 认为该洪水受灾面积数据不服从正态分布。\n); end对于我的那批右偏且厚尾的数据输出结果通常是--- Jarque-Bera 检验结果 --- JB 统计量 12.8734 显著性水平 alpha 0.05 临界值 5.9915 P 值 0.0016 结论在 5% 的显著性水平下拒绝原假设。 认为该洪水受灾面积数据不服从正态分布。结果解读JB统计量 (12.87)临界值 (5.99)这是一个拒绝原假设的信号。P值 (0.0016)显著性水平 (0.05)这提供了更强的证据。P值意味着如果数据真的是正态分布的那么我们观察到当前这样或更极端的样本偏度/峰度组合的概率只有0.16%。这是一个很小的概率因此我们更倾向于相信数据本身不是正态的。最终h1检验结论是拒绝正态性假设。3.3 检验后的思考与数据转换尝试得到“不服从正态分布”的结论后我们的分析不能停止。接下来要问怎么办方案一使用非参数检验方法。既然参数检验如t检验、方差分析的前提不满足我们可以转向不依赖分布假设的非参数检验如Mann-Whitney U检验代替两独立样本t检验、Kruskal-Wallis H检验代替单因素方差分析、Spearman秩相关代替Pearson相关。方案二尝试数据变换。有时通过对原始数据进行一个数学变换可以使其更接近正态分布。这对于后续仍需使用参数模型的情况很有用。常见的变换有对数变换transformed_data log(data)。这对正偏右偏数据效果很好因为对数函数可以压缩大值拉伸小值。洪水面积数据非常适合尝试这个。平方根变换transformed_data sqrt(data)。效果比对数变换温和一些。Box-Cox变换这是一个寻找最优变换参数的家族变换。MATLAB 中可以用boxcox函数。让我们尝试对数变换并再次检验% 5. 尝试对数变换确保数据全为正数 if all(data 0) log_data log(data); % 再次绘制Q-Q图观察 figure; subplot(1,2,1) qqplot(log_data); title(对数变换后数据 Q-Q 图); grid on; % 再次进行J-B检验 [h_log, p_log, jb_log, cv_log] jbtest(log_data, alpha); subplot(1,2,2) histogram(log_data, 15, Normalization, pdf, EdgeColor, w, FaceColor, [0.8, 0.4, 0.2]); hold on; x_values_log linspace(min(log_data), max(log_data), 100); pdf_normal_log normpdf(x_values_log, mean(log_data), std(log_data)); plot(x_values_log, pdf_normal_log, b-, LineWidth, 2); title(sprintf(对数变换直方图 (J-B检验 p%.4f), p_log)); xlabel(log(受灾面积)); ylabel(概率密度); legend(变换后分布, 正态拟合, Location, best); grid on; fprintf(\n--- 对数变换后 J-B 检验结果 ---\n); fprintf(P 值 %.6f\n, p_log); if h_log 0 fprintf(结论经过对数变换数据在 %.0f%% 水平下可被视为正态分布。\n, alpha*100); else fprintf(结论即使经过对数变换数据仍不服从正态分布。\n); end else fprintf(数据包含非正值无法进行对数变换。\n); end在很多情况下对数变换能显著改善数据的正态性p值可能会变得大于0.05此时我们就可以对变换后的数据使用参数方法但需注意结论解释是针对变换后的尺度如“对数面积”的差异。4. 避坑指南使用 jbtest 时常犯的错误与注意事项在实际使用jbtest和解读结果时有几个坑我踩过需要特别注意。4.1 样本量陷阱小样本与大样本的差异J-B检验是一个大样本检验。当样本量很小时比如 n 20即使数据来自正态分布JB统计量的卡方近似也可能不佳导致检验功效发现非正态的能力降低或者犯第一类错误误判正态数据为非正态的概率偏离设定的alpha水平。注意对于小样本数据n50应优先考虑Shapiro-Wilk 检验。MATLAB 统计与机器学习工具箱中没有内置的 Shapiro-Wilk 检验函数但你可以通过 File Exchange 社区找到第三方实现或者使用lillietestLilliefors 检验它对大小样本都相对稳健。实操建议在报告结果时除了给出 h 和 p 值最好也注明样本量 n。如果样本量很小需要谨慎对待 J-B 检验的结果并辅以图示法如 Q-Q 图进行综合判断。4.2 P 值的正确理解与“不拒绝”不等于“接受”这是一个经典的统计学误解。当pValue alpha例如 p0.12, alpha0.05时jbtest返回h0。这里的结论是“在当前的显著性水平下没有足够的证据拒绝数据来自正态分布的原假设”。这绝不等于“我们证明了数据服从正态分布”。可能存在两种情况1) 数据确实是正态的2) 数据是非正态的但我们的检验方法在当前样本量下没能检测出来检验功效不足。因此h0更应被理解为“没有发现违背正态性的强有力证据”我们可以“暂时接受正态性假设以进行后续分析”但心中要存有疑虑特别是当样本量不大时。4.3 异常值对 J-B 检验的致命影响J-B 检验对异常值极其敏感因为偏度和峰度本身就对极端值敏感。一个巨大的异常值会显著增大样本偏度和峰度导致 JB 统计量急剧增大从而轻易地拒绝正态性假设——即使剩下的数据完美符合正态分布。如何处理可视化排查在检验前务必绘制箱线图或使用isoutlier函数识别异常值。% 识别异常值 (基于分位数法) TF isoutlier(data, quartiles); % TF是逻辑索引 outliers data(TF); clean_data data(~TF); fprintf(发现了 %d 个异常值\n, length(outliers)); disp(outliers);分析异常值成因这个异常值是数据录入错误还是一次真实的、极端的气象事件如百年一遇洪水如果是后者它本身就代表了灾害风险的一部分不能简单删除。分情况处理如果是错误修正或删除。如果是真实极端事件需要单独考虑。一种做法是分别报告“包含极端事件”和“排除极端事件”两种情况下的分析结果。也可以尝试使用对异常值更稳健的估计量来计算偏度和峰度但 MATLAB 的jbtest默认使用的是普通矩估计。4.4 结合多种方法进行综合诊断不要仅仅依赖jbtest的一个 p 值就下结论。一个负责任的统计分析应该结合多种诊断工具图示法先行直方图、Q-Q图、概率图。normplot函数可以绘制专门的正态概率图对于判断正态性非常直观。多种统计检验可以同时运行jbtest和lillietest比较其结果。如果两者结论一致信心更足如果不一致就要深入探究原因可能是样本量问题或数据违反了某种检验的特定假设。报告完整结果在你的报告或论文中应该呈现直方图/Q-Q图并同时给出 J-B 检验的统计量值和 p 值例如“Jarque-Bera 检验结果显示JB 12.87, p 0.0016表明数据在 α0.05 水平上显著偏离正态分布。”5. 超越检验当数据非正态时的建模策略当我们确认洪水受灾面积数据不服从正态分布且通过常见变换也无法很好纠正时就不能再强行使用基于正态假设的模型了。这时我们需要切换到更合适的建模框架。5.1 转向广义线性模型正态分布是广义线性模型的一个特例。对于非正态的响应变量我们可以选择其他更合适的分布族和连接函数。对于正偏、非负的连续数据如受灾面积可以尝试Gamma 分布或逆高斯分布。它们都是定义在正实数域上的分布能很好地处理右偏数据。在 MATLAB 中可以使用fitglm函数并指定Distribution, gamma。% 示例假设我们有解释变量 X如降雨量、前期土壤湿度 % 和响应变量 y受灾面积 mdl_gamma fitglm(X, y, Distribution, gamma, Link, log); disp(mdl_gamma);log连接函数保证了预测值始终为正这与受灾面积的物理意义相符。对于计数数据如果受灾面积被离散化为受灾的县域/乡镇数量则应使用泊松分布或负二项分布。5.2 使用非参数或半参数方法核密度估计不假设任何分布形式直接用数据估计概率密度函数。ksdensity函数可以很方便地实现。这对于描述数据的真实分布形态、计算风险值非常有用。[f, xi] ksdensity(data); figure; plot(xi, f, LineWidth, 2); xlabel(受灾面积); ylabel(概率密度); title(基于核密度估计的受灾面积分布); grid on;分位数回归不像普通线性回归只关注均值分位数回归可以估计条件中位数、条件四分位数等。这对于研究不同强度洪水如中等洪水 vs 极端洪水的影响因素特别有价值因为极端事件的行为可能与平均情况完全不同。可以使用fitrlinear配合特定损失函数或第三方工具箱实现。5.3 极端值理论对于洪水这类极端事件我们关心的往往是分布尾部的特性即特大洪水发生的概率。极端值理论是专门研究分布尾部行为的统计学分支。它不关心整体分布是什么样只关心超过某个高阈值的极端值的分布规律通常用广义帕累托分布来拟合。这对于防洪工程设计如堤坝高度、巨灾保险定价至关重要。MATLAB 的统计与机器学习工具箱提供了gpfit等函数用于 GPD 拟合。一个完整的分析流程建议描述性统计与可视化计算基本统计量绘制直方图、箱线图、Q-Q图。正态性检验使用jbtest大样本或lillietest/Shapiro-Wilk小样本并结合图形判断。处理非正态尝试数据变换如对数并重新检验。若变换有效对变换后数据使用参数方法。若变换无效或不便解释转向非参数方法如秩和检验或更适合的分布模型如 GLM。针对极端事件如果分析重点在特大洪水考虑使用极端值理论方法。结果报告清晰说明检验方法、结果统计量、p值、最终采用的模型及其理由。通过这样一套组合拳我们就能从容应对洪水受灾面积乃至其他各类非正态数据的分析挑战确保我们的结论建立在坚实、正确的统计基础之上。记住正态性检验不是目的而是确保后续分析方法正确性的重要敲门砖。
MATLAB J-B检验实战：洪水受灾面积正态性分析与数据建模策略
1. 项目缘起为什么需要检验洪水受灾面积的正态性在水利工程、灾害评估和保险精算领域洪水受灾面积是一个核心的评估指标。我们拿到一批历史洪水事件的受灾面积数据第一反应往往是计算它的平均值、标准差或者用这些数据去拟合一个预测模型。但这里隐藏着一个关键的前提假设很多经典的统计方法比如线性回归、方差分析ANOVA甚至是一些机器学习算法都默认或要求数据服从正态分布也叫高斯分布。如果这个前提不成立我们基于这些方法得出的结论比如“某因素对受灾面积影响显著”其可靠性就要大打折扣。举个例子保险公司想根据历史受灾面积数据来厘定洪水保险费率。如果数据严重右偏即存在少数几次特大洪水导致受灾面积异常巨大那么基于正态分布假设计算出的“平均损失”和“风险波动”就会严重低估极端事件带来的财务风险。这时直接使用均值进行定价公司可能会在遇到下一次大洪水时面临巨额亏损。所以在深入分析之前我们必须先回答一个基础问题我们手头的这批洪水受灾面积数据究竟是不是正态分布的这就是标题中“检验洪水受灾面积是否服从正态分布”的核心目的。而jbtest即 Jarque-Bera 检验是 MATLAB 中一个专门用于检验数据是否服从正态分布的强大工具。它不是简单地画个直方图看看像不像钟形曲线而是通过严格的统计假设检验给出一个量化的、有统计依据的判断。2. 正态分布检验的常见方法与 J-B 检验的原理检验数据正态性的方法有很多大体可以分为图示法和统计检验法。图示法直观但主观性强统计检验法客观但需要理解其背后的原理。2.1 从 Q-Q 图到统计检验一个直观到严谨的过渡最直观的方法是画一个Q-Q 图分位数-分位数图。它的原理是把你的数据样本分位数去和标准正态分布的理论分位数进行比较。如果数据来自正态分布这些点应该大致排列在一条对角线上。我在处理一批长江中下游省份的年度最大淹没面积数据时首先就画了 Q-Q 图。图上能明显看到在分布的两端尤其是上端数据点严重偏离了对角线这直观地提示数据可能存在“厚尾”或偏态。但“严重偏离”到底有多严重这需要统计检验来给出一个明确的概率值p-value。统计检验法有很多比如Kolmogorov-Smirnov 检验 (K-S检验)、Lilliefors 检验、Shapiro-Wilk 检验以及我们这里要重点讨论的Jarque-Bera 检验。它们各有侧重K-S 检验和 Lilliefors 检验主要比较样本经验分布函数与理论正态分布函数的差异。Lilliefors 检验是 K-S 检验针对正态分布的改良版适用于当正态分布的参数均值、方差未知需要从样本估计时它更准确。Shapiro-Wilk 检验对小样本数据通常 n 50的检验功效很高被认为是小样本下最有效的正态性检验之一。Jarque-Bera 检验它的核心思想是利用了正态分布的两个重要特征偏度和峰度。2.2 深入理解 Jarque-Bera 检验偏度与峰度的故事Jarque-Bera 检验的数学之美在于它非常直接。它构建了一个基于样本偏度和峰度的检验统计量。偏度衡量数据分布不对称性的指标。偏度 0分布对称是正态分布的必要条件之一。偏度 0正偏右偏意味着数据右侧有长尾均值 中位数。在洪水受灾面积数据中这很常见——大多数洪水受灾面积中等但偶尔会有几次毁灭性的特大洪水把平均值拉高。偏度 0负偏左偏意味着数据左侧有长尾均值 中位数。峰度衡量数据分布陡峭或平坦程度的指标通常与正态分布峰度3比较。峰度 3尖峰厚尾意味着数据集中在均值附近但极端值出现的概率比正态分布预测的要高。金融数据和灾害数据常具有此特征。峰度 3低峰薄尾数据分布比正态分布更分散、更平坦。Jarque-Bera 检验的零假设 H0 是数据服从正态分布。它的检验统计量 JB 的计算公式为JB (n/6) * [S^2 (K-3)^2 / 4]其中n是样本量。S是样本偏度。K是样本峰度。这个公式非常直观如果数据完全服从正态分布那么样本偏度 S 应该接近0样本峰度 K 应该接近3因此 JB 统计量会很小。反之如果数据偏离正态无论是偏了还是峰度不对S^2 或 (K-3)^2 就会变大从而导致 JB 统计量变大。在零假设成立数据正态的前提下JB 统计量近似服从自由度为2的卡方分布。因此我们可以计算出一个p-value。如果 p-value 小于我们设定的显著性水平通常为 0.05我们就有足够的统计证据拒绝“数据正态”的原假设认为数据不服从正态分布。为什么在洪水面积分析中我倾向于使用 J-B 检验针对性强洪水面积数据常见的非正态特征就是偏度和峰度异常J-B检验直接瞄准这两个特征非常对症。大样本优势J-B检验在大样本情况下功效很高。洪水历史数据往往积累了几十年甚至上百年样本量足够。MATLAB 集成jbtest函数使用方便输出结果清晰。3. 实战使用 MATLAB jbtest 函数检验洪水受灾面积数据理论清楚了我们进入实战环节。假设我们有一个名为flood_area.csv的数据文件里面记录了过去50年每年最大的一次洪水事件的受灾面积单位平方公里。3.1 数据准备与初步观察首先我们将数据读入 MATLAB 并进行初步观察。% 1. 导入数据 data readmatrix(flood_area.csv); % 假设数据只有一列 % 或者如果数据在Excel中 % data xlsread(flood_area.xlsx, A:A); % 2. 数据概览 fprintf(样本量 n %d\n, length(data)); fprintf(均值 %.2f\n, mean(data)); fprintf(标准差 %.2f\n, std(data)); fprintf(偏度 %.4f\n, skewness(data)); fprintf(峰度 %.4f\n, kurtosis(data)); % 3. 绘制直方图和Q-Q图进行直观判断 figure(Position, [100, 100, 1200, 400]) subplot(1,3,1) histogram(data, 15, Normalization, pdf, EdgeColor, w, FaceColor, [0.2, 0.6, 0.8]); hold on; % 绘制拟合的正态分布曲线 x_values linspace(min(data), max(data), 100); pdf_normal normpdf(x_values, mean(data), std(data)); plot(x_values, pdf_normal, r-, LineWidth, 2); xlabel(受灾面积 (km^2)); ylabel(概率密度); title(直方图与正态拟合曲线); legend(数据分布, 正态拟合, Location, best); grid on; subplot(1,3,2) qqplot(data); title(Q-Q 图); grid on; subplot(1,3,3) boxplot(data, Orientation, horizontal); title(箱线图); xlabel(受灾面积 (km^2));运行这段代码我们可以立刻从图上获得大量信息。直方图能看分布形状Q-Q图看分位数匹配度箱线图则能快速识别异常值。在我的案例中直方图明显右偏Q-Q图的上端点向上弯曲箱线图显示存在数个远离箱体的上侧异常点——这些都是非正态的强烈视觉信号。3.2 执行 Jarque-Bera 检验接下来我们使用jbtest函数进行正式的统计检验。% 4. 执行 Jarque-Bera 检验 % 语法: [h, pValue, jbStat, criticalValue] jbtest(data, alpha) % h: 检验结果 (0表示接受H0-正态1表示拒绝H0-非正态) % pValue: 检验的p值 % jbStat: 计算出的JB统计量 % criticalValue: 在显著性水平alpha下的临界值 alpha 0.05; % 设定显著性水平为5% [h, pValue, jbStat, cv] jbtest(data, alpha); fprintf(\n--- Jarque-Bera 检验结果 ---\n); fprintf(JB 统计量 %.4f\n, jbStat); fprintf(显著性水平 alpha %.2f\n, alpha); fprintf(临界值 %.4f\n, cv); fprintf(P 值 %.6f\n, pValue); if h 0 fprintf(结论在 %.0f%% 的显著性水平下无法拒绝原假设。\n, alpha*100); fprintf( 认为该洪水受灾面积数据服从正态分布。\n); else fprintf(结论在 %.0f%% 的显著性水平下拒绝原假设。\n, alpha*100); fprintf( 认为该洪水受灾面积数据不服从正态分布。\n); end对于我的那批右偏且厚尾的数据输出结果通常是--- Jarque-Bera 检验结果 --- JB 统计量 12.8734 显著性水平 alpha 0.05 临界值 5.9915 P 值 0.0016 结论在 5% 的显著性水平下拒绝原假设。 认为该洪水受灾面积数据不服从正态分布。结果解读JB统计量 (12.87)临界值 (5.99)这是一个拒绝原假设的信号。P值 (0.0016)显著性水平 (0.05)这提供了更强的证据。P值意味着如果数据真的是正态分布的那么我们观察到当前这样或更极端的样本偏度/峰度组合的概率只有0.16%。这是一个很小的概率因此我们更倾向于相信数据本身不是正态的。最终h1检验结论是拒绝正态性假设。3.3 检验后的思考与数据转换尝试得到“不服从正态分布”的结论后我们的分析不能停止。接下来要问怎么办方案一使用非参数检验方法。既然参数检验如t检验、方差分析的前提不满足我们可以转向不依赖分布假设的非参数检验如Mann-Whitney U检验代替两独立样本t检验、Kruskal-Wallis H检验代替单因素方差分析、Spearman秩相关代替Pearson相关。方案二尝试数据变换。有时通过对原始数据进行一个数学变换可以使其更接近正态分布。这对于后续仍需使用参数模型的情况很有用。常见的变换有对数变换transformed_data log(data)。这对正偏右偏数据效果很好因为对数函数可以压缩大值拉伸小值。洪水面积数据非常适合尝试这个。平方根变换transformed_data sqrt(data)。效果比对数变换温和一些。Box-Cox变换这是一个寻找最优变换参数的家族变换。MATLAB 中可以用boxcox函数。让我们尝试对数变换并再次检验% 5. 尝试对数变换确保数据全为正数 if all(data 0) log_data log(data); % 再次绘制Q-Q图观察 figure; subplot(1,2,1) qqplot(log_data); title(对数变换后数据 Q-Q 图); grid on; % 再次进行J-B检验 [h_log, p_log, jb_log, cv_log] jbtest(log_data, alpha); subplot(1,2,2) histogram(log_data, 15, Normalization, pdf, EdgeColor, w, FaceColor, [0.8, 0.4, 0.2]); hold on; x_values_log linspace(min(log_data), max(log_data), 100); pdf_normal_log normpdf(x_values_log, mean(log_data), std(log_data)); plot(x_values_log, pdf_normal_log, b-, LineWidth, 2); title(sprintf(对数变换直方图 (J-B检验 p%.4f), p_log)); xlabel(log(受灾面积)); ylabel(概率密度); legend(变换后分布, 正态拟合, Location, best); grid on; fprintf(\n--- 对数变换后 J-B 检验结果 ---\n); fprintf(P 值 %.6f\n, p_log); if h_log 0 fprintf(结论经过对数变换数据在 %.0f%% 水平下可被视为正态分布。\n, alpha*100); else fprintf(结论即使经过对数变换数据仍不服从正态分布。\n); end else fprintf(数据包含非正值无法进行对数变换。\n); end在很多情况下对数变换能显著改善数据的正态性p值可能会变得大于0.05此时我们就可以对变换后的数据使用参数方法但需注意结论解释是针对变换后的尺度如“对数面积”的差异。4. 避坑指南使用 jbtest 时常犯的错误与注意事项在实际使用jbtest和解读结果时有几个坑我踩过需要特别注意。4.1 样本量陷阱小样本与大样本的差异J-B检验是一个大样本检验。当样本量很小时比如 n 20即使数据来自正态分布JB统计量的卡方近似也可能不佳导致检验功效发现非正态的能力降低或者犯第一类错误误判正态数据为非正态的概率偏离设定的alpha水平。注意对于小样本数据n50应优先考虑Shapiro-Wilk 检验。MATLAB 统计与机器学习工具箱中没有内置的 Shapiro-Wilk 检验函数但你可以通过 File Exchange 社区找到第三方实现或者使用lillietestLilliefors 检验它对大小样本都相对稳健。实操建议在报告结果时除了给出 h 和 p 值最好也注明样本量 n。如果样本量很小需要谨慎对待 J-B 检验的结果并辅以图示法如 Q-Q 图进行综合判断。4.2 P 值的正确理解与“不拒绝”不等于“接受”这是一个经典的统计学误解。当pValue alpha例如 p0.12, alpha0.05时jbtest返回h0。这里的结论是“在当前的显著性水平下没有足够的证据拒绝数据来自正态分布的原假设”。这绝不等于“我们证明了数据服从正态分布”。可能存在两种情况1) 数据确实是正态的2) 数据是非正态的但我们的检验方法在当前样本量下没能检测出来检验功效不足。因此h0更应被理解为“没有发现违背正态性的强有力证据”我们可以“暂时接受正态性假设以进行后续分析”但心中要存有疑虑特别是当样本量不大时。4.3 异常值对 J-B 检验的致命影响J-B 检验对异常值极其敏感因为偏度和峰度本身就对极端值敏感。一个巨大的异常值会显著增大样本偏度和峰度导致 JB 统计量急剧增大从而轻易地拒绝正态性假设——即使剩下的数据完美符合正态分布。如何处理可视化排查在检验前务必绘制箱线图或使用isoutlier函数识别异常值。% 识别异常值 (基于分位数法) TF isoutlier(data, quartiles); % TF是逻辑索引 outliers data(TF); clean_data data(~TF); fprintf(发现了 %d 个异常值\n, length(outliers)); disp(outliers);分析异常值成因这个异常值是数据录入错误还是一次真实的、极端的气象事件如百年一遇洪水如果是后者它本身就代表了灾害风险的一部分不能简单删除。分情况处理如果是错误修正或删除。如果是真实极端事件需要单独考虑。一种做法是分别报告“包含极端事件”和“排除极端事件”两种情况下的分析结果。也可以尝试使用对异常值更稳健的估计量来计算偏度和峰度但 MATLAB 的jbtest默认使用的是普通矩估计。4.4 结合多种方法进行综合诊断不要仅仅依赖jbtest的一个 p 值就下结论。一个负责任的统计分析应该结合多种诊断工具图示法先行直方图、Q-Q图、概率图。normplot函数可以绘制专门的正态概率图对于判断正态性非常直观。多种统计检验可以同时运行jbtest和lillietest比较其结果。如果两者结论一致信心更足如果不一致就要深入探究原因可能是样本量问题或数据违反了某种检验的特定假设。报告完整结果在你的报告或论文中应该呈现直方图/Q-Q图并同时给出 J-B 检验的统计量值和 p 值例如“Jarque-Bera 检验结果显示JB 12.87, p 0.0016表明数据在 α0.05 水平上显著偏离正态分布。”5. 超越检验当数据非正态时的建模策略当我们确认洪水受灾面积数据不服从正态分布且通过常见变换也无法很好纠正时就不能再强行使用基于正态假设的模型了。这时我们需要切换到更合适的建模框架。5.1 转向广义线性模型正态分布是广义线性模型的一个特例。对于非正态的响应变量我们可以选择其他更合适的分布族和连接函数。对于正偏、非负的连续数据如受灾面积可以尝试Gamma 分布或逆高斯分布。它们都是定义在正实数域上的分布能很好地处理右偏数据。在 MATLAB 中可以使用fitglm函数并指定Distribution, gamma。% 示例假设我们有解释变量 X如降雨量、前期土壤湿度 % 和响应变量 y受灾面积 mdl_gamma fitglm(X, y, Distribution, gamma, Link, log); disp(mdl_gamma);log连接函数保证了预测值始终为正这与受灾面积的物理意义相符。对于计数数据如果受灾面积被离散化为受灾的县域/乡镇数量则应使用泊松分布或负二项分布。5.2 使用非参数或半参数方法核密度估计不假设任何分布形式直接用数据估计概率密度函数。ksdensity函数可以很方便地实现。这对于描述数据的真实分布形态、计算风险值非常有用。[f, xi] ksdensity(data); figure; plot(xi, f, LineWidth, 2); xlabel(受灾面积); ylabel(概率密度); title(基于核密度估计的受灾面积分布); grid on;分位数回归不像普通线性回归只关注均值分位数回归可以估计条件中位数、条件四分位数等。这对于研究不同强度洪水如中等洪水 vs 极端洪水的影响因素特别有价值因为极端事件的行为可能与平均情况完全不同。可以使用fitrlinear配合特定损失函数或第三方工具箱实现。5.3 极端值理论对于洪水这类极端事件我们关心的往往是分布尾部的特性即特大洪水发生的概率。极端值理论是专门研究分布尾部行为的统计学分支。它不关心整体分布是什么样只关心超过某个高阈值的极端值的分布规律通常用广义帕累托分布来拟合。这对于防洪工程设计如堤坝高度、巨灾保险定价至关重要。MATLAB 的统计与机器学习工具箱提供了gpfit等函数用于 GPD 拟合。一个完整的分析流程建议描述性统计与可视化计算基本统计量绘制直方图、箱线图、Q-Q图。正态性检验使用jbtest大样本或lillietest/Shapiro-Wilk小样本并结合图形判断。处理非正态尝试数据变换如对数并重新检验。若变换有效对变换后数据使用参数方法。若变换无效或不便解释转向非参数方法如秩和检验或更适合的分布模型如 GLM。针对极端事件如果分析重点在特大洪水考虑使用极端值理论方法。结果报告清晰说明检验方法、结果统计量、p值、最终采用的模型及其理由。通过这样一套组合拳我们就能从容应对洪水受灾面积乃至其他各类非正态数据的分析挑战确保我们的结论建立在坚实、正确的统计基础之上。记住正态性检验不是目的而是确保后续分析方法正确性的重要敲门砖。
