Apriori算法与关联规则挖掘实战指南-尧图网络科技

1. 关联规则与Apriori算法概述

关联规则挖掘是数据挖掘领域的重要技术，用于发现大规模数据集中项与项之间的有趣关联。这项技术最早由Agrawal等人在1993年提出，最初用于分析超市购物篮数据，因此也被称为"购物篮分析"。Apriori算法作为关联规则挖掘的经典算法，由Rakesh Agrawal和Ramakrishnan Srikant于1994年提出，至今仍在零售、医疗、金融等多个领域广泛应用。

关键提示：关联规则挖掘属于无监督学习范畴，不需要预先标记的训练数据，而是直接从交易数据中发现模式。

2. 核心概念解析

2.1 频繁项集与关联规则

频繁项集(Frequent Itemset)是指在数据集中出现频率达到预设阈值的项目组合。例如在超市数据中，{牛奶,面包}可能是一个频繁项集，表示这两件商品经常被一起购买。

关联规则通常表示为X→Y的形式，其中X和Y都是项集，且X∩Y=∅。例如{尿布}→{啤酒}就是一个著名的关联规则，表示购买尿布的顾客很可能也会购买啤酒。

2.2 三大关键指标

支持度(Support): 项集在所有交易中出现的频率
```
Support(X) = 包含X的交易数 / 总交易数
```
置信度(Confidence): 在包含X的交易中，同时包含Y的比例
```
Confidence(X→Y) = Support(X∪Y) / Support(X)
```
提升度(Lift): 规则的实际效果与随机情况的比值
```
Lift(X→Y) = Confidence(X→Y) / Support(Y)
```

经验之谈：实际应用中，提升度>1才表示规则有实际意义。提升度=3意味着关联强度是随机情况的3倍。

3. Apriori算法原理与实现

3.1 算法核心思想

Apriori算法基于两个重要性质：

Apriori性质：如果一个项集是频繁的，那么它的所有子集也一定是频繁的
反单调性：如果一个项集是非频繁的，那么它的所有超集也一定是非频繁的

3.2 算法执行流程

扫描数据集，统计所有单项的支持度，筛选出频繁1-项集(L1)
连接步骤：根据Lk-1生成候选k-项集Ck
剪枝步骤：利用Apriori性质剪枝Ck中的非频繁项集
扫描数据集，计算Ck中剩余项集的支持度，得到Lk
重复步骤2-4，直到无法生成更大的频繁项集

3.3 Python实现示例

from itertools import combinations def apriori(transactions, min_support): items = set() for transaction in transactions: items.update(transaction) items = sorted(items) # 生成频繁1-项集 L = [frozenset([item]) for item in items] L = prune(L, transactions, min_support) result = [L] k = 2 while True: # 生成候选k-项集 C = generate_candidates(result[-1], k) if not C: break # 剪枝并计算支持度 L = prune(C, transactions, min_support) if not L: break result.append(L) k += 1 return result def generate_candidates(itemsets, k): candidates = set() for i in range(len(itemsets)): for j in range(i+1, len(itemsets)): union = itemsets[i] | itemsets[j] if len(union) == k: candidates.add(union) return sorted(candidates) def prune(itemsets, transactions, min_support): item_counts = {itemset:0 for itemset in itemsets} for transaction in transactions: for itemset in itemsets: if itemset.issubset(transaction): item_counts[itemset] += 1 total = len(transactions) return [itemset for itemset in itemsets if item_counts[itemset]/total >= min_support]

4. 实际应用案例

4.1 零售业购物篮分析

假设我们有以下超市交易数据：

交易ID	商品列表
1	牛奶,面包,尿布
2	可乐,面包,尿布,啤酒
3	牛奶,尿布,啤酒,鸡蛋
4	面包,牛奶,尿布,啤酒
5	面包,牛奶,尿布,可乐

设置最小支持度为0.4，最小置信度为0.6：

计算单项支持度：
- 牛奶:4/5=0.8
- 面包:4/5=0.8
- 尿布:5/5=1.0
- 啤酒:3/5=0.6
- 可乐:2/5=0.4
- 鸡蛋:1/5=0.2
生成频繁项集：
- 1-项集：{牛奶}, {面包}, {尿布}, {啤酒}, {可乐}
- 2-项集：{牛奶,面包}, {牛奶,尿布}, {面包,尿布}, {尿布,啤酒}等
- 3-项集：{牛奶,面包,尿布}
生成关联规则：
- {尿布}→{啤酒}：支持度=0.6，置信度=0.6/1.0=0.6
- {牛奶,面包}→{尿布}：支持度=0.6，置信度=0.6/0.6=1.0