1. 开头为什么要先搞懂维度建模的概念和术语做过几年数据仓库的人都有这种感受看建模文档时被各种名词卡住事实表、维度表、粒度、代理键、缓慢变化维、星型模型、雪花模型……每个词都不算难但放在一起就晕了。更尴尬的是开评审会时业务方问一句“你这个事实表的粒度是什么”你要是答不上来后面聊什么都费劲。我最早接触维度数据建模是在一家电商公司做数仓那时候手头有大量的订单数据、用户数据、商品数据要整理成报表。最开始我照着别人的建表脚本抄遇到关联就join遇到统计就sum结果做出来一堆解释不清的指标——同一个“销售额”不同报表口径对不上业务问起来我只能支支吾吾说“应该是一样的”。后来正儿八经把维度建模的概念和术语梳理了一遍才真正明白那些报表为什么对不上也才知道该怎么从源头把数据模型设计好。这篇文章就是想把维度数据建模的核心概念和术语讲清楚。适合刚进入数据仓库领域、正在做报表开发、或者准备自己搭数据集市的同学阅读。不绕弯子用实际例子把概念串起来争取看完就能读懂建模文档、能参与模型评审、能自己动手设计第一版星型模型。2. 维度建模到底解决什么问题2.1 从ER模型到维度模型的转变逻辑大部分做业务系统开发的同学对ER模型实体关系模型很熟悉。业务系统的核心诉求是“数据不丢、不错、不重复”所以设计原则是消除冗余、严格规范化。比如一个用户下单的场景业务库会把用户信息、商品信息、订单信息分开存通过外键关联同一个用户的名字只存一份绝对不会在每张订单里重复存一遍用户姓名。这种做法在写入场景特别合理。但到了分析场景就麻烦了查询一个“华东地区六月份各品类销售额”需要关联五六张甚至十几张表每次关联都在消耗查询性能而且业务方拿到宽表需求时根本不知道该关联哪几张表。我遇到过最夸张的情况业务发来一个需求要十二张表join起来才能算出他要的指标开发排期两周业务直接等不了。维度建模的诞生就是为了解决这个问题。它的核心思路是反规范化允许冗余把数据组织成适合查询和分析的结构。用空间换时间用结构换易用性。这里有一个很好的类比ER模型像图书馆里的藏书系统每本书只登记一次分类编号互相关联适合管理维度模型像书店前台的畅销榜单数据已经被整理成“某本书在某月卖了多少本、被哪个年龄段的人买走”直接能看不用每次去馆藏系统里翻。2.2 维度建模适用的典型场景维度建模最适合的场景是面向分析的数据环境包括数据仓库、数据集市、BI报表体系的底层模型。它的命名本身已经说明了关键业务过程是“维度”化的——从“谁、在什么时候、在什么地方、买了什么”这些角度去描述一个“事实”比如一笔订单、一次点击、一通客服电话。你会发现几乎每个行业都有这种模式。电商分析订单金融分析交易广告分析点击物流分析运单游戏分析玩家的付费和活跃行为。这些场景的共同点是数据量大、查询模式相对固定都是围绕几个业务角度做切片汇总、用户是业务分析师而不是程序员。如果一个项目要解决的是“快速产出报表”“让业务能自助分析”“减少重复开发”那么维度建模就是首选方案。反过来如果项目是面向高并发事务处理、重点在写入性能和事务一致性那就继续用ER模型不该为了建模而建模。2.3 它和数据库规范化的根本区别数据库规范化强调非冗余划分出更多细粒度的表减少更新异常。维度建模则反其道而行主动制造冗余、减少表数量、把常用的分析属性提前放到宽表里。本质上这是一次读写场景的转移业务系统是“写多读少、每次读少量记录”数仓是“写一次读多次、每次读海量记录”。这两种场景完全是两个世界用同一套设计理念去应对才是灾难。记住这个根本区别后面很多术语你就不需要死记硬背了比如“退化维度”为什么可以放在事实表里不加关联就是因为冗余在分析场景里不是坏事比如“一致性维度”为什么要在多个事实表之间复用也是为了让分析口径能统一。这些术语背后的逻辑都源于同一个出发点——为“查询友好”服务。3. 事实表和维度表维度建模的两个基本实体3.1 事实表记录业务过程的发生事实表是维度建模的“事实主体”记录业务过程的度量。可以理解为业务事件流水账“某年某月某日某时用户A在北京下了订单B买了两件商品C支付金额199元。”这条记录的“度量”就是199元记录它发生的瞬间就是一笔事实。事实表的行是一次业务事件的最低粒度记录。以订单为例一张订单如果买了3种商品按订单行存就是3行每一行对应一个商品按订单存就是1行。这里“粒度”的区别直接决定了这张事实表能回答什么问题、不能回答什么问题。按订单行存的订单事实表既能算“客单价”也能按商品维度分析销量只按订单存的表按商品分析就成了不可能。事实表里的核心字段有两类度量字段数值型参与sum、avg、count等聚合运算和维度外键关联到维度表的字段。设计事实表时要把这两类分开考虑度量字段决定这张表能算什么数维度外键决定这张表能按什么角度切数。可加、半可加、不可加度量这三个术语也值得认真理解。可加度量是最常见的比如订单金额、销售数量不管按哪个维度汇总直接相加都是对的。半可加度量比较典型的是库存量、账户余额——按时间维度相加没有意义因为月末库存不是每天库存加起来但按商品、按仓库这些维度相加没问题。不可加度量就更特殊比如比率、百分比不能直接加需要重新计算分子分母。3.2 维度表提供观察事实的“角度”维度的核心作用是给事实提供“过滤”和“分组”的角度。很多初学者不理解为什么一定要拆维度表直接把过滤条件写在事实表里不行吗举个例子订单事实表里可以直接存一个“用户性别”字段但更好的设计是把用户信息拆分到用户维度表里事实表里只存用户ID。拆的好处有三个。第一如果今后要补充用户所在的会员等级不需要在主表上改结构只需要在用户维度表加字段第二事实表的每一行代表一次业务事件维度表让这些事件可以被多角度观察而不影响事实表本身的度量第三多张事实表可以共享同一张维度表实现跨业务过程的分析。比如一张订单事实表和一张退换货事实表共用同一张商品维度表就能直接对比“买了哪些商品”和“退了哪些商品”。维度表里一般包含代理键主键、业务自然键、各种描述性属性。描述性属性就是给人看的文字信息比如“商品名称”“商品品类”“品牌”“上架时间”。这些属性可以做成层级结构如类目→二级类目→一级类目也可以做成平面结构。术语“Numeric Key”和“Descriptive Attribute”在维度表设计中很常见前者是系统生成的ID后者是给人看的属性值。维度表还涉及“缓慢变化维”的问题这个后面单开一节讲因为它太重要了——几乎所有维度表设计绕不过去。3.3 星型模型、雪花模型、星座模型该怎么选这三个术语描述的是事实表和维度表的组合方式。星型模型是最经典的组合——中间一张事实表外面“放射状”连着若干张维度表每张维度表都是扁平单层的。它查询路径短、性能好、易理解是维度建模的默认选择。雪花模型是在星型模型基础上把某些维度表进一步规范化拆分。比如“商品维度”拆成“商品表”“品牌表”“类目表”通过多级关联返回。好处是减少冗余、节省存储代价是查询时多join几层、SQL复杂度上升、性能下降。经常有初学者追求所谓“规范”而喜欢雪花模型但从经验看维度建模领域99%的场景推荐星型就够了。存储便宜查询性能贵这个账不用算太久。星座模型是多张事实表共享某些维度的结构。比如订单事实表和退款事实表共用商品维度表、用户维度表这个结构就叫“事实星座”。企业在建设多个数据集市后最终会拼成一张巨大的“总线矩阵”——矩阵的行是事实表列是维度表交叉点标注该事实表是否使用该维度。总线矩阵不仅是设计工具也承载“一致性维度”的理念只要多张事实表共享同一套维度跨业务过程的分析口径就是统一的。4. 粒度整个建模设计中最容易被忽略却最关键的概念4.1 粒度的本质含义粒度Grain指的是事实表中一行记录描述的事件的详细程度。这是维度建模里最重要的术语之一没有搞清楚粒度就开始建表后面必然返工。以电商订单为例四种可能的粒度订单级粒度一行是一个订单同一订单多件商品也在同一行订单明细级商品级粒度一行是订单中的一个商品行订单含几件商品就占几行日汇总粒度一行是某个商品在某一天的销售汇总月汇总粒度一行是某个商品在某一个月的销售汇总。粒度不同事实表的“事实”就完全不同。最直观的区别是明细级粒度能算出任何汇总级粒度的指标反过来基本不可能。这句简单朴素的话是数仓设计最底层的一条原则。4.2 为什么要从最细粒度做起建议的原则是明细粒度的事实表应该最先建。原因有三。第一明细粒度保留了最大灵活性未来任何维度的分析需求都能用这张表派生出来第二汇总表可以从明细表rollup出来但反过来没法从汇总表拆出明细第三明细表的数据最贴近原始事实ETL出错后可以很方便地回刷重算。在实际项目里我见过很多团队为了让报表“快”一点一开始就只建汇总表到了业务想按一个新维度看数据时汇总表根本没有这个维度只能从头抽数、重新加工。这个教训特别常见。有些业务确实不需要明细粒度比如指标非常固化、多年不变的监控类报表可以直接建汇总层。但即使这种场景也建议至少保留一份明细数据在中间层为以后可能的新需求兜底。4.3 通过一个小例子理解粒度与度量的关系一张表如果设计成“商品日销售汇总”粒度它的度量和“订单明细”粒度的度量就是两套逻辑。比如订单明细表里“订单金额”这个度量放到商品日汇总表里一般应该不存在——因为一张订单有多个商品的话订单总金额没法按商品拆平。就算硬算用订单总金额除以商品数均摊出来也毫无业务意义。所以每次设计事实表之前先问三个问题这行记录描述的业务过程是“一次”什么每一行在哪些维度的组合下唯一表里的每个度量在业务上是否有真实含义是否可以直接相加回答完这三个问题粒度就清晰了。粒度清晰之后外键和度量字段的设计就是顺水推舟的事。4.4 粒度和外键的取舍关系事实表的外键并不是越多越好。没必要的维度外键会造成数据膨胀还会让加载逻辑变复杂。合理的取舍原则是只放“事实发生时已经确定”的维度。比如订单事实表可以放“收货省”“收货市”“支付方式”但不要放“用户当前省份”——这个信息在订单发生后可能变化它属于用户维度表的业务属性不属于这笔订单事实。有人会习惯性地把事实表外键设成不可为null其实不对。事实表的外键允许存在null情况比如一笔订单没有关联到用户未登录下单用户ID外键就是空的。这时在ETL里处理成“未知”维度记录或者null都是常见做法不能因为追求完整性而强行编造一个用户ID。5. 维度建模的几个进阶术语5.1 代理键与自然键自然键是业务系统里本来就有的唯一标识比如商品编码、订单号、用户身份证号。代理键是数仓自己生成的、与业务无关的整型键一般是自增序列或哈希值。为什么数仓里要引入代理键最核心的原因就是业务键不一定稳定。比如用户ID在业务系统里做了升级原来的数字ID变成了字符串ID或者业务规则规定同一个订单号可以被多个站点使用这些情况如果直接用自然键做维度表主键到时候改起来就是一场灾难。代理键是一次生成、永不修改的它跟业务变化完全解耦。代理键的另一个用途是处理缓慢变化维。当维度属性发生变化时可以通过生成新的代理键来区分“变化前”和“变化后”的记录后面讲SCD时会具体说。5.2 退化维度退化维度指那些“本来可以作为维度表存在但因为只有唯一标识属性、没有其他描述属性干脆直接放在事实表里”的维度。最常见的就是订单号订单号本身是维度属性但围绕订单号可能没有其他描述信息可以拆出来那就不必单独建一张订单维度表直接把订单号字段放在事实表里当作维度来用。这种情况在现实中很常见。比如物流运单号、支付流水号作为维度建一张表可能只有一列主键、没有任何描述属性跟事实表关联纯粹为了分组或去重那就可以直接作为退化维度放在事实表里既减少join又不损失功能。5.3 一致性维度和一致性事实公司内部多个数据集市要能对话前提是它们使用的维度必须一致——同样的“品类”在不同数据集市里含义要相同。这里引入两个术语一致性维度Conformed Dimension和一致性事实Conformed Fact。一致性维度意味着在多张事实表之间共享同一套维度表或维度属性的定义。比如订单分析域和会员分析域都使用“日期维度表”这张日期维度表在全公司只有一份不管哪个数据集市都从同一张表取时间维度。这样跨域分析“某天的订单数和新增会员数”时口径才能完全对上。一致性事实指的是跨不同数据集市的相同指标拥有相同的定义与计算方式。举例“销售额”在订单分析里定义成“订单实付金额”在退款分析里也必然是同一个来源、同一套计算逻辑不能一边是含运费一边是不含运费。现实中的企业在没有统一模型管理的情况下经常出现“各省销售额”和“各区域销售额”两张报表间数字对不上的问题。解决这个问题靠技术是其次靠管理规范和执行标准才是根本。总线架构就是这一思想落地的方法论先在矩阵层面确定哪些维度是共享的再逐域建设数据集市这样每一块新建设的集市从一开始就与企业级口径对齐。5.4 聚集表汇总表数仓里大量使用聚集表来提升查询性能。聚集表就是预先按照某些维度组合把度量算好用户查询时直接扫描小得多的汇总数据。例如一张日粒度销售事实表可能有几亿行每次拉全年各省的月度趋势都扫描几亿行显然不现实。如果提前生成一张“月份省品类”粒度的月度销售额汇总表查询就只是扫几千行的事性能能提升几十倍甚至上百倍。使用聚集表的代价是维度受限粒度一旦升上去维度也就变少了。实际使用时要根据报表高频查询的维度组合来建设聚集表做到“常用有余、极少全备”。很多BI报表平台后台会自动做聚合中间层但作为建模人员理解聚集表与明细表的关系非常关键因为决定哪些字段进聚集表本质上是业务和性能的双重权衡。5.5 缓慢变化维缓慢变化维Slowly Changing Dimensions简称SCD是维度建模里极其经典的术语几乎每个面试数据仓库的候选人都会被问“你了解SCD吗”SCD描述维度属性随时间发生变化时的处理策略。三种典型做法SCD1——直接覆盖。维度属性的旧值被新值替换不保留历史。适合“不需要回溯历史”的属性比如商品“当前库存状态”。优点是简单缺点是历史分析结果会变化。SCD2——保留历史新增一行。当属性变化时为该维度成员新生成一行赋予全新的代理键并记录生效时间和失效时间。这样事实表里的旧数据仍能关联到旧值的维度行新数据关联到新值的维度行通过时间戳能精确还原任意时刻的属性状态。缺点是维度表行数增长加载逻辑也复杂一些。SCD3——增加“原值/现值”列。在维度表上增加“原值”和“当前值”两列只保留一次属性的历次变化。适合需要对比“变化的属性”的场景如“变动前省份”和“变动后省份”但不适合保留多版本历史。实际项目里SCD2用得最多几乎所有重要属性如用户等级、商品类目都会考虑用SCD2保留历史。注意只要用SCD2事实表的维度外键就必须用代理键不能用自然键否则没法区分同一自然键在不同时间范围对应的不同版本属性。6. 实操中梳理术语的经验与建议6.1 从一张总线矩阵开始不必一上来就画大而全的模型。建议先列出当前要覆盖的业务过程每张事实表对应一个过程再列出每个过程涉及的维度画一张简单的表——行为业务过程、列为维度打勾的表示这个维度和这个事实表相关。这张表能帮你快速发现共享维度也能给你一张“建模地图”后续每个域的细化工作都从这张图出发。6.2 命名规范与术语统一比想象中的更重要“事实表”“维度表”在文档里叫法混乱会导致开发和业务之间对不上口径。建议在项目文档中统一术语内部讨论用标准的“fct_xxx”事实表和“dim_xxx”维度表前缀作表名字段名也尽量统一。比如所有事实表里“订单金额”都叫order_amount所有维度表里“商品名称”都叫product_name不要每个开发按自己习惯命名。这不只是代码规范问题它直接影响后续指标口径的一致性和工具层面的血缘解析。6.3 维护一个“术语与口径字典”做完模型后把用的每个关键术语和指标口径统一记录到字典里。比如“销售额订单实付金额含运费不含退款”“用户注册且完成首次登录的用户”。这个字典要跟模型一起走评审、一起变更。很多公司数据团队的业务分析师每天花一半时间在跟开发对齐“口径”有了术语字典沟通成本大幅下降。6.4 常见误区速查误区一认为维度表越多越好。其实每个不必要的外键都会让事实表更大、加载更慢维度表也增加了维护成本。误区二事实表里不要有太多文本描述字段。事实表应该以度量为主、外键为辅文本描述应尽量在维度表里维护。误区三汇总表粒度设计完全根据临时需求。没有高频分析场景坚决不建设汇总表建设了就一定要有明确的业务价值和查询频率支撑。误区四SCD2对所有维度都用。很多属性根本不需要保留历史硬用SCD2反而增加存储和加载复杂度。7. 维度建模术语速查表这张表可以当作日常工作的对照表遇到陌生术语查一下不用背。术语核心含义一句话记忆法事实表记录业务过程的度量明细发生了什么事维度表提供分析角度的描述性信息从哪些角度看粒度一行记录代表的事件详细程度一行是什么级别星型模型事实表单层维度表默认推荐模型雪花模型维度表再规范化的星型极少用除非有必要星座模型多事实表共享维度企业级总线架构的图形总线矩阵事实表与维度的关联矩阵数据仓库的建模地图代理键数仓自生成的与业务无关的键系统内部的稳定ID自然键业务系统原有的唯一标识业务世界的ID退化维度没有属性的维度字段直接放在事实表订单号直接用可加度量任意维度相加都有意义直接sum半可加度量部分维度可加库存不能按天加不可加度量不能直接相加比率要重算一致性维度多个事实表共享同一维度定义全世界都叫同一个名一致性事实相同指标口径完全相同同一指标同一算法SCD1直接覆盖旧值只留最新SCD2保留历史新增一行原值现值都在SCD3只保留一次旧值/现值看变化前后聚集表预汇总结果表跑得快的魔法事实星座多个事实表围绕统一维度多个星型拼在一起8. 写在最后的几点体会维度数据建模的概念和术语说到底就是一套“从业务角度看数据”的表达体系。它不深奥但每一条术语背后都有一个真实场景对应的设计取舍——事实表和维度表的拆分是为了查询性能与易用性粒度的定义决定了分析能力的上限代理键的引入是为了应对业务系统的不稳定性一致性维度和总线矩阵是为了让整个企业的口径能统一对话。我个人的体会是建模初期不用追求一次到位术语也不必背得滚瓜烂熟真正重要的是在设计每一张表之前先用这套概念体系问自己一遍这个业务的“事实”是什么观察它的“维度”有哪几个一行记录代表什么粒度哪些度量和维度在这个粒度上是真实有意义的。这四问想明白模型就基本不会跑偏。如果你正在做第一个数据集市或者正在因为报表口径对不上而头疼建议先拿一张业务高频报表按这个思路反推它的模型结构边看术语边对照比单纯啃理论书效率高很多。数据建模是一项实践性极强的工作概念和术语只是入门的钥匙真正的功力还是来自对业务的理解和一次次模型迭代中的经验积累。
实战解析与应用技巧)
