编号类型领域模块子模块详细数学建模与数值设计（多因素组合）关联知识/公开实践S1601训练工程训练Scaling超大规模训练中 ZeRO-3 (Stage 3) 的 Parameter Partitioning 与 AllGather 的 Bucket Size 隐性瓶颈zero-3 parameter partitioning allgather bucket size、communication bucketing、overlap1）观测：ZeRO-3将参数分片到各rank，计算前allgather参数。Bucket size B控制通信粒度，影响通信量和计算重叠效率。2）根因：Bucket size B（参数个数）。每个bucket触发一次allgather。通信量 = B × dsize × (N-1)/N。小bucket增加通信次数，大bucket减少重叠机会。3）组合方程：总通信时间 = Σ (α + B × dsize / BW) over buckets。重叠效率 = min(T_com
【 infrastructure】【数据中心】【AI infra】第三篇 MLSYS / AI infra 的 Scaling 知识体系10
编号类型领域模块子模块详细数学建模与数值设计（多因素组合）关联知识/公开实践S1601训练工程训练Scaling超大规模训练中 ZeRO-3 (Stage 3) 的 Parameter Partitioning 与 AllGather 的 Bucket Size 隐性瓶颈zero-3 parameter partitioning allgather bucket size、communication bucketing、overlap1）观测：ZeRO-3将参数分片到各rank，计算前allgather参数。Bucket size B控制通信粒度，影响通信量和计算重叠效率。2）根因：Bucket size B（参数个数）。每个bucket触发一次allgather。通信量 = B × dsize × (N-1)/N。小bucket增加通信次数，大bucket减少重叠机会。3）组合方程：总通信时间 = Σ (α + B × dsize / BW) over buckets。重叠效率 = min(T_com
