【信息科学与工程学】计算机科学与技术——第七十七篇 系统架构设计08

【信息科学与工程学】计算机科学与技术——第七十七篇 系统架构设计08

编号

类型

领域

问题

问题的数学分析(算法——>逐步推理思考求解——>详细实现)

参数列表及参数的数值

关联知识

A876

底层算法

HPC / 通信

论MPI_Reduce_scatter的Block-wise与Recursive Halving对比形式化

算法:Block-wise将数据均匀分成p块,每步与不同伙伴交换一块;Recursive Halving每步对半分割数据。逐步推理:1. Block-wise:p-1步,每步交换固定大小的块。2. Recursive Halving:log p步,每步交换大小减半。3. 对于长消息,Block-wise通信量更大;短消息Recursive Halving因步数少更优。4. 形式化:Block-wise时间 = (p-1)(α + β n/p);Recursive Halving时间 = α log p + β n。详细实现// Recursive Halving Reduce-scat