简介这份资源面向NILM非侵入式负载监测入门学习者与能源数据分析初学者提供一套简化版事件检测代码用于从总能耗时间序列中识别电器开关状态变化。压缩包共3个文件以2个.m脚本文件和1个.mat数据文件为主整体约14KB脚本承载事件检测主流程与测试逻辑mat文件提供配套实验数据便于直接运行验证。目前已有312人学习下载。代码覆盖数据读取、预处理、异常检测与事件识别等关键环节读者可借此理解阈值判定、滑动窗口等基础方法如何落地并对照结果观察能耗曲线突变点的提取过程。虽然实现较为简单但基本概念与方法框架完整适合作为NILM事件检测的练手样例也可为后续搭建能源监控系统提供参考起点。1. NILM 事件检测从一段功率波形里“抠出”家电开关时刻家里电表每秒钟吐一个总有功功率值你盯着这条曲线看一天能看出什么大多数人只能看到“白天低、晚上高”的粗轮廓但真正有价值的信息藏在那些突然跳变又缓慢回落的边沿里——空调压缩机启动那一下的冲击、微波炉到点“叮”一声后的骤降、冰箱每隔四十分钟的一次循环。NILM非侵入式负荷监测要做的就是只凭总口这一路功率数据反推出“谁在什么时候开了、开了多久、大概耗了多少电”。事件检测是这条链路的第一道闸门它不负责识别是空调还是热水器只负责回答“此刻有没有一个用电事件发生”。这道闸门如果漏报后面分类模型再强也白搭如果误报太多整个系统就会被噪声淹没。这篇笔记面向已经拿到一段 NILM 功率数据、想先把事件检测跑通再谈识别的工程师也适合刚接触负荷监测、需要一份能直接复现的最小方案的人。标题里那份“比较简单”的代码思路大概率就是阈值变点这一套我会把它拆开讲透再补上真正落地时会遇到的坑。2. 事件检测到底在检测什么边沿、变点与功率阶跃2.1 从“功率阶跃”理解事件的定义NILM 里的事件本质是总功率序列上的一次结构性变化。用数学语言说假设采样序列为 (P[t])事件对应的是某个时刻 (t_0) 前后序列的统计特性发生了显著改变——最常见的就是均值发生阶跃。空调启动瞬间有功功率可能从 200W 跳到 1500W这就是一次正向事件半小时后压缩机停机功率回落到 200W这是一次负向事件。但真实数据没这么干净。功率序列里混着三类东西一是测量噪声电表本身有精度限制读数会在真值附近抖动二是负荷自身的连续波动比如变频空调功率会在一个区间内缓慢爬升三是多负荷叠加造成的“台阶套台阶”两个事件可能相隔只有几秒。事件检测算法要做的就是在这些干扰下仍然把真正的阶跃边沿找出来。常见做法分两大流派。第一类是变点检测把事件看作时间序列的均值变点用滑动窗口比较前后窗的统计量典型如 CUSUM、似然比检验。第二类是边沿检测先对功率做差分再对差分序列设阈值超过阈值就认为有事件。标题里“比较简单”的代码多半是第二类因为实现门槛低、调参直观。我一般会先用差分阈值法快速跑通确认数据里确实有可检测的事件再考虑上变点检测提升精度。2.2 为什么不能直接对原始功率设阈值新手最容易犯的错是拿一个固定功率值当门槛比如“超过 1000W 就算事件”。这在单负荷场景下勉强能用放到真实家庭总口就是灾难。原因有三点。第一基线会漂移。白天家里没人待机功率可能只有 80W晚上全家电器待机加上路由器、机顶盒基线可能到 150W。固定阈值会把基线抬升误判成事件。第二不同电器的功率量级差异巨大。LED 灯只有几瓦空调启动是上千瓦。用同一个绝对阈值要么漏掉小功率事件要么被大功率事件反复触发。第三功率序列本身有趋势。比如变频空调在温度接近设定值时会缓慢降功率这种连续变化不该被切成无数个事件。所以正确的做法是对差分序列做检测而且阈值要结合噪声水平自适应。下面这段 Python 就是一个最小可用的差分阈值事件检测我把它拆成可调参数的函数方便你直接套自己的数据。import numpy as np def detect_events(power, threshold30.0, min_gap5): 基于差分阈值的 NILM 事件检测 power: 1D array, 总有功功率序列 (W) threshold: 差分绝对值超过该值视为候选事件 (W) min_gap: 两个事件之间最小间隔采样点数防止同一阶跃被重复检测 返回: 事件索引列表, 每个元素为 (index, delta) # 1. 计算一阶差分反映功率的瞬时变化 diff np.diff(power) # 2. 找出差分绝对值超过阈值的点 candidates np.where(np.abs(diff) threshold)[0] if len(candidates) 0: return [] # 3. 合并邻近候选点同一个阶跃边沿可能连续几个点都超阈值 events [] last_idx -min_gap - 1 for idx in candidates: if idx - last_idx min_gap: events.append((idx, diff[idx])) last_idx idx else: # 同一事件内保留差分绝对值更大的那个点作为事件时刻 if abs(diff[idx]) abs(events[-1][1]): events[-1] (idx, diff[idx]) last_idx idx return events这段代码的逻辑很直白先差分再阈值筛选最后做邻近合并。三个参数里threshold是最关键的它直接决定灵敏度。设太小噪声会被当成事件设太大小功率电器启动会被漏掉。我的经验是先用一段纯待机数据估计噪声标准差取threshold 3 * sigma到5 * sigma之间。min_gap取决于采样率如果数据是 1Hz取 5 表示 5 秒内不重复报同一事件如果是 1 分钟一个点取 2 就够了。2.3 事件检测和负荷识别的边界在哪很多人会把事件检测和负荷识别混在一起觉得“检测到了不就知道是什么了吗”。实际上这是两个独立阶段。事件检测的输出是“时刻 功率变化量”比如“12:03:15功率上升 1150W”。负荷识别要回答的是“这 1150W 是空调还是电暖器”。前者是信号处理问题后者是分类问题。把边界划清楚有个实际好处事件检测的评估指标是召回率和误报率负荷识别的评估指标是分类准确率。两者可以分开调优。我见过不少方案事件检测阶段为了追求高召回把阈值调得很低结果给分类器送去大量噪声事件分类准确率反而下降。合理的做法是事件检测阶段先保证“不漏掉明显事件”把误报控制在可接受范围再让分类器去处理模糊样本。3. 用 Python 跑通最小事件检测数据、参数与评估3.1 数据准备你需要什么样的功率序列事件检测对数据的要求比想象中高。最低配置是单口总有功功率采样间隔固定时间戳连续无缺失。如果数据里有缺采样差分会在缺口处产生虚假大值必须先补全或标记。常见的数据来源有三类。一是公开数据集比如 UK-DALE、REFIT这些数据采样率从 1 秒到 1 分钟不等适合做算法验证。二是自己用智能插座或电表采集好处是知道 ground truth坏处是设备精度和时钟同步要自己保证。三是仿真数据用已知的电器功率曲线叠加生成适合调参阶段快速迭代。我一般会先画三张图再动手原始功率全览、待机段放大、一个已知事件段放大。全览看整体量级和基线漂移待机段用来估噪声事件段用来确认阶跃是否明显。这一步花十分钟能省掉后面几小时的盲目调参。import matplotlib.pyplot as plt # 假设 power 是已经加载好的 1D numpy 数组fs 是采样频率 fs 1.0 # 1 Hz t np.arange(len(power)) / fs fig, axes plt.subplots(3, 1, figsize(12, 8)) axes[0].plot(t, power, lw0.5) axes[0].set_ylabel(Power (W)) axes[0].set_title(Full sequence) # 待机段取前 600 个点假设前 10 分钟没人用电 axes[1].plot(t[:600], power[:600], lw0.8) axes[1].set_ylabel(Power (W)) axes[1].set_title(Standby segment (noise estimation)) # 事件段手动选一段有明显跳变的区间 axes[2].plot(t[1000:1600], power[1000:1600], lw0.8) axes[2].set_ylabel(Power (W)) axes[2].set_title(Event segment) plt.tight_layout() plt.show()画完图后用待机段算噪声标准差。注意要用差分后的标准差因为检测是在差分域做的。如果待机段差分标准差是 8W那阈值取 24W 到 40W 比较合理。3.2 参数怎么设阈值、最小间隔与滑动窗口差分阈值法只有三个核心参数但每个都有讲究。阈值 threshold前面说了用噪声标准差倍数。但有个细节——噪声标准差在一天内可能变化。白天电器多背景噪声大深夜安静噪声小。如果追求稳定可以用滑动窗口动态估计噪声窗口长度取 5 到 10 分钟。具体做法是每个窗口内算差分的中位数绝对偏差MAD再乘以系数。MAD 比标准差抗异常值更适合有事件存在的窗口。最小间隔 min_gap这个参数防止同一个物理事件被拆成多个检测结果。比如空调启动时功率不是一步到位而是两秒内从 200W 爬到 1500W差分序列上会出现连续多个超阈值点。min_gap设成 3 到 5 秒能合并它们。但如果两个真实事件确实相隔很近比如 2 秒内先开灯再开电视min_gap太大会漏掉第二个。折中办法是合并时不仅看时间间隔还看差分方向——同方向且间隔近的合并反方向的不合并。滑动窗口纯差分法只看相邻两点对缓慢变化不敏感。如果想检测“功率在 30 秒内上升了 200W”这种渐变事件需要比较前后窗口的均值。窗口长度取事件典型持续时间的 1/3 到 1/2。家用电器启动通常在几秒内完成窗口取 5 到 10 秒比较合适。def detect_events_window(power, win10, threshold30.0): 滑动窗口均值差事件检测 win: 前后窗口长度采样点数 threshold: 前后窗均值差阈值 (W) events [] for i in range(win, len(power) - win): before np.mean(power[i-win:i]) after np.mean(power[i:iwin]) delta after - before if abs(delta) threshold: events.append((i, delta)) # 后处理合并邻近事件 merged [] for idx, delta in events: if merged and idx - merged[-1][0] win: if abs(delta) abs(merged[-1][1]): merged[-1] (idx, delta) else: merged.append((idx, delta)) return merged这个版本比纯差分稳代价是事件时刻定位精度下降——它给出的是窗口中心不是精确边沿。实际用的时候可以两阶段结合先用窗口法找到事件大致位置再在局部用差分法精确定位边沿。3.3 评估召回率、误报率和 F1 怎么算没有评估的事件检测就是玄学。评估需要 ground truth也就是人工标注的事件时刻列表。如果数据来自公开数据集通常有标注如果是自己采的得手动标一遍。匹配规则一般是检测到的事件时刻与真实事件时刻相差在容忍窗口内比如 5 秒就算命中。一个真实事件可能被多次检测只算一次命中多余的算误报。一个检测结果也可能匹配多个真实事件取最近的算命中。def evaluate_events(detected, ground_truth, tolerance5): detected: list of (index, delta) ground_truth: list of index tolerance: 匹配容忍窗口采样点数 detected_idx [d[0] for d in detected] gt list(ground_truth) tp 0 matched_gt set() matched_det set() for i, d_idx in enumerate(detected_idx): for j, g_idx in enumerate(gt): if j in matched_gt: continue if abs(d_idx - g_idx) tolerance: tp 1 matched_gt.add(j) matched_det.add(i) break fp len(detected_idx) - len(matched_det) fn len(gt) - len(matched_gt) precision tp / (tp fp) if (tp fp) 0 else 0 recall tp / (tp fn) if (tp fn) 0 else 0 f1 2 * precision * recall / (precision recall) if (precision recall) 0 else 0 return precision, recall, f1这套评估逻辑简单但够用。调参时盯着 F1但也要看 precision 和 recall 的平衡。如果业务上更不能容忍漏报就牺牲一点 precision 换 recall反之亦然。我一般会把阈值从低到高扫一遍画一条 P-R 曲线选拐点附近的阈值。4. 避坑与排查事件检测里最容易翻车的五个地方4.1 现象检测到大量“事件”但功率变化只有几瓦原因阈值设得太低把测量噪声当成了事件。尤其是电表精度一般时待机段差分标准差可能就有 5 到 10W阈值设 15W 就会频繁触发。解决重新估计噪声。用待机段差分的中位数绝对偏差乘以 1.4826 得到稳健标准差阈值取 4 到 6 倍。如果噪声本身很大考虑先对功率做中值滤波或低通滤波再差分。4.2 现象空调启动明明很明显但算法没报事件原因差分阈值法只看相邻两点。如果数据采样率低比如 1 分钟一个点空调启动的两点之间功率已经完成跳变差分值确实大应该能检测到。但如果启动过程跨越多个采样点每个点的差分都不大就会被漏掉。解决改用滑动窗口均值差或者对差分做累积和CUSUM。CUSUM 对缓慢但持续的偏移更敏感适合检测渐变型事件。4.3 现象同一个开关动作被报了两次一正一负原因有些电器关机后会有短暂的反向功率波动或者数据里存在回弹。差分序列上表现为先正后负两个尖峰间隔很近。解决在合并逻辑里加入方向判断。如果两个候选事件间隔小于min_gap且方向相反只保留绝对值大的那个或者根据业务逻辑决定保留哪个。更稳妥的做法是加一个“事件持续时长”约束——真实事件后功率应稳定在新水平一段时间如果立刻回弹可能是噪声。4.4 现象白天检测正常晚上误报暴增原因基线漂移。晚上待机功率可能比白天低但噪声水平不一定低。如果阈值是全局固定的晚上相对噪声就显得阈值偏低。解决用滑动窗口动态估计噪声和基线。每个窗口内独立算阈值或者对功率做去趋势处理后再检测。去趋势可以用滑动中值减去原序列得到残差再差分。4.5 现象评估时 F1 很高但实际用起来效果差原因ground truth 标注太粗或者评估容忍窗口设得太大。比如容忍窗口 30 秒检测结果偏移 20 秒也算命中但实际应用里事件时刻偏差 20 秒可能已经影响后续识别。解决收紧容忍窗口按业务需求定。如果后续分类器对时间对齐敏感容忍窗口应该设小比如 2 到 3 秒。同时检查 ground truth 本身是否准确人工标注的一致性也要评估。5. 从检测到识别事件波形特征与一个可复用的后处理技巧事件检测跑通后下一步自然是把事件片段送给分类器。但直接送原始功率片段效果往往一般因为不同电器的功率量级差异大而且事件时刻的定位误差会影响特征提取。我一般会在事件检测和分类之间加一层后处理做两件事事件对齐和特征归一化。事件对齐的思路是检测到事件索引后向前后各取一段窗口比如前 30 秒后 60 秒然后在这个窗口内重新精确定位边沿。精确定位可以用差分最大值点也可以用滑动窗口均值差的最大值点。对齐后的事件片段起点统一在功率开始变化的时刻这样提取的特征才有可比性。特征方面除了功率变化量 delta我还会算几个简单但有效的量事件前后的稳态功率均值、上升沿持续时间、事件后功率的波动方差。这些特征计算量小对分类器友好。下面这个函数把事件片段转成特征向量可以直接接 sklearn 的分类器。def extract_event_features(power, event_idx, pre_win30, post_win60): 从事件索引提取特征 power: 功率序列 event_idx: 事件索引 pre_win: 事件前窗口长度 post_win: 事件后窗口长度 start max(0, event_idx - pre_win) end min(len(power), event_idx post_win) pre_seg power[start:event_idx] post_seg power[event_idx:end] if len(pre_seg) 5 or len(post_seg) 5: return None pre_mean np.mean(pre_seg) post_mean np.mean(post_seg) delta post_mean - pre_mean # 上升沿持续时间从事件点到功率达到新稳态 90% 的点 target pre_mean 0.9 * delta if delta 0: rise_idx np.where(post_seg target)[0] else: rise_idx np.where(post_seg target)[0] rise_time rise_idx[0] if len(rise_idx) 0 else len(post_seg) # 事件后波动 post_std np.std(post_seg) return { delta: delta, pre_mean: pre_mean, post_mean: post_mean, rise_time: rise_time, post_std: post_std }这个特征集很朴素但在小样本场景下往往比深度学习更稳。我试过用这些特征加一个随机森林在公开数据集上做二分类空调 vs 非空调F1 能到 0.85 以上。关键是特征可解释调起来知道往哪调。最后一个技巧事件去重。同一个电器在短时间内可能被检测到多次比如变频空调的功率阶梯式上升。如果后续分类器对每个事件独立判断会得到多个相同标签。我一般会加一个基于时间的去重逻辑——同一标签的事件如果在 5 分钟内重复出现只保留第一个后续的合并到同一个用电区间里。这个逻辑放在分类之后不影响检测阶段。踩过的坑多了现在拿到一段新数据我的习惯是先跑差分阈值法看事件密度再画 P-R 曲线选阈值最后用特征提取加简单分类器验证端到端效果。这套流程不复杂但每一步都有明确的输入输出和评估指标比一上来就上深度学习靠谱得多。希望帮到你。本文还有配套的精品资源点击获取
