异常检测是识别数据集中与大多数材料在行为模式上不一致的“异常个体”或“异常事件”的过程。在网络安全领域，它借助发现异常模式、离群点和安全异常来实时揭示隐藏威胁。本文将介绍异常检测的含义、类型、方法、算法和技术，以及它如何帮助实时检测安全异常。
异常值？就是什么
异常值（也称为离群值）是指与大多数观测数据存在显著差异的罕见或意外数据点。在网络安全领域中，异常值通常预示着恶意行为，例如内部威胁、横向移动或未经授权的访问。尽早检测到异常对于防范数据泄露、提升网络安全性至关重要。
异常检测的含义
异常检测，指的是识别数据集中的异常事件或行为的过程，是现代威胁检测系统的核心。无论是在时间序列素材、日志还是用户活动中，异常检测软件都会标记那些可能预示安全异常或系统故障的偏差。与基于规则的平台不同，异常检测算法能够发现未知威胁和零日攻击。
异常检测算法
异常检测算法是现代安全异常检测系统的计算核心。这些算法有助于识别用户行为、系统日志、网络流量和访问事件中偏离正常模式的情况，从而能够早期检测到规避传统基于签名工具的威胁。
网络安全领域常用的异常检测算法包括：
- 孤立森林（Isolation Forest）：在识别大型材料集中的离群值方面非常有效，该算法根据数据点与其他数据分离的难易程度来隔离异常。常用于检测特权滥用、异常文件访问等安全威胁。
- 单类支持向量机（One-class SVM）：适用于日志、用户活动记录等高维信息，单类帮助向量在正常数据周围创建一个边界，并将偏离边界的情况标记为异常，有助于发现未知攻击向量或凭证滥用行为。
- 自编码器（Autoencoders）：基于深度学习的模型，经过训练可以重建输入数据。在网络安全领域，自编码器用于构建正常日志序列或网络流量的模型，当重构误差骤增时，表明可能存在未授权操作或框架被入侵等异常。
- K均值聚类一种无监督算法，会将相似数据点归为一类，并突出显示异常值，适用于对典型用户执行进行分组，进而检测异常行为。就是（k-means clustering）：这
- 基于密度的聚类算法（DBSCAN）：DBSCAN是一种基于密度的聚类算法，能够发现任意形状的聚类并处理噪声点。在安全信息与事件管理（SIEM）环境中，该算法可识别罕见的登录行为或休眠恶意软件发起的低频率通信尝试。
- 主成分分析（PCA）: 通常用于降低日志或遥测数据的维度，基于主成分分析的异常检测有助于识别系统行为或应用使用中的意外波动。
机器学习在异常检测中的应用
机器学习（ML）为网络安全团队提供了识别那些与已知攻击特征不匹配的威胁的能力。传统的检测方法难以应对新型威胁和嘈杂环境。而基于机器学习的异常检测软件能够适应不断变化的模式，并通过学习在特定环境中何为“正常”来减少误报。
网络安全领域用于异常检测的机器学习（ML）主要分为三类：
- 监督学习: 必须标记有正常和异常行为的数据。在网络安全中，该途径适用于针对已知攻击（如钓鱼或勒索软件活动），但受限于高质量标记数据的可获取性。
- 无监督学习：是安全异常检测中最常用的类型，聚类、自编码器等无监督模型无需异常标记资料，即可学习正常行为模式。这类模型适用于SIEM平台等环境，因为这些环境中的数据大多未标记，且攻击者不断演变其策略。
- 半监督学习: 利用大量的“正常”数据训练，并标记偏差，无需标记的攻击信息。这种方法在用户与实体行为分析（UEBA）系统中效果显著，因为理解用户行为基线是检测内部威胁或账户泄露的关键
基于机器学习的异常检测常见的网络安全应用包括：
- 用户与实体行为分析（UEBA）：机器学习（ML）模型分析时间序列资料、日志序列和访问模式，以检测异常，例如凭据滥用和数据囤积。
- 网络异常检测：机器学习（ML）识别异常的协议运用、数据泄露以及命令控制流量——即使这些流量经过加密或混淆处理。
- 端点安全：基于行为的模型检测异常进程执行、文件修改和注册表更改，这些行为均表明可能存在恶意软件活动。
- SIEM关联与告警：机器学习（ML）通过标记日志、事件和遥测数据中罕见或新兴的攻击模式，来增强基于规则的关联分析。
网络安全领域的异常检测
如前所述，异常检测指识别用户活动、网络行为或平台事件中可能预示威胁的偏差。异常类型可能包括：
- 异常登录模式：用户在异常时间登录、从境外IP地址登录，或短时间内从多个地理位置登录，这些都可能是凭证被盗的信号。
- 权限提升：普通用户突然执行命令或访问管理员预留资源，基于行为基线分析可将其标记为异常。
- 横向移动：某个账户或进程访问其通常不会交互的系统，此行为被视为网络异常。检测横向移动是网络异常检测的应用场景之一。
- 资料泄露行为：出站流量突然激增（尤其是涉及敏感数据或流向未知目的地时），是典型的信息异常检测场景。
- 异常进程行为：进程意外启动、从非标准目录执行，或对注册表进行修改（未授权），这些会被端点异常检测系统标记。
- 应用滥用：用户执行超出其正常应用使用范围的操作（如批量下载报告或导出仪表板），可能预示内部威胁。
- 意外服务活动：新端口被开启、服务频繁重启，或协议被用于非预期用途，这些均属于网络行为异常检测的范畴。
- 基于时间的异常：时间序列异常检测可用于监控一段时间内 CPU使用率、内存峰值、身份验证尝试或登录失败等指标的偏差。
异常检测安全平台
Log360安全信息与事件管理（SIEM）平台，结合了日志管理、威胁情报和用户与实体行为分析（UEBA），献出全面的安全监控。其异常检测能力，能援助安全团队快捷识别IT环境中可疑行为和潜在威胁。
基于日志分析的异常检测
收集并分析来自服务器、防火墙、数据库、云平台、终端等多种来源的日志，基于这些内容识别活动模式中的异常，例如：
- 登录失败次数突然激增
- 对敏感资源的异常访问
- 来自陌生位置或IP地址的登录
- 异常的档案访问或修改行为
这些异常借助预置关联规则和高级分析被发现，用户能够为其特定环境定义自定义规则和告警。
基于 UEBA 的行为分析
用户与实体行为分析（UEBA）模块采用机器学习算法，为网络中的每个用户和实体（如终端、服务器、应用）建立行为基线：
- 风险评分：根据用户和实体活动的严重程度与发生频率，为其分配动态风险评分。
- 动态分组：根据相似行为自动对用户和实体进行分组，从而更容易发现异常。
- 告警：当活动显著偏离正常情况时，系统会触发告警，并将其标记为低、中或高风险事件。
可视化异常报告和仪表板
提供专门的可视化报告和仪表板，更直观地识别异常：
- 异常趋势仪表板：提供一段时间内异常模式的概览。
- 顶部异常：突出显示高风险异常。
- 异常分类：按异常类型（如登录异常、访问异常、权限异常）分组。
- 用户与实体异常：分别献出针对用户和非人类实体（如机器、应用程序）的异常仪表板。
- 风险统计：供应网络中风险级别的可视化细分，有助于确定响应工作的优先级。
这些仪表板可实时呈现安全态势，使团队无需深入分析原始日志，就能快速评估网络当前安全状态。
关联分析与自定义部署
- 安全团队可设置自定义关联规则，定义符合自身环境的可疑活动。
- 实时告警可通过邮件、短信，或与IT服务管理（ITSM）工具集成，实现自动化响应。
- 关联事件会附带其他信息，援助分析师理解异常背后的完整事件逻辑。
- 智能阈值：利用实时数据持续评估并调整阈值。与基于预设标准设定的固定阈值不同，智能阈值能够根据IT环境的变化动态调整。