HcclReduce 完整指南集合通信 Reduce 算子的参数、芯片差异与地址对齐【免费下载链接】runner-imagesGitHub Actions runner images项目地址: https://gitcode.com/GitHub_Trending/ru/runner-imagesHcclReduce 是 CANN 集合通信库的接口把多个 rank 的数据归约求和、最大、最小结果写到指定 root rank 的缓冲区。本文讲 Reduce 算子的参数、芯片差异、地址对齐与最小示例。它到底在干什么先对齐两个概念集合通信就是多张卡一起协作完成同一次数据操作rank是每张卡在通信组里的编号0 到 N-1。Reduce 是其中最常见的动作每张卡各交出一份数据操作结束后归约结果只落在 root rank 指定的 buffer 上。场景8 张卡rank 0~7各持有一个 1000 个元素的 FP32 张量你想把它们按位置求和且只关心 rank 0 上的结果。调一次 HcclReduce 即可每张卡把自己的 sendBuf 交出来多卡数据求和由硬件完成最终结果写进 rank 0 的 recvBuf。本文托管在 runner-images 仓库仓库里的其他工程文档见 docs/ 目录。函数原型HcclResult HcclReduce(void *sendBuf, void *recvBuf, uint64_t count, HcclDataType dataType, HcclReduceOp op, uint32_t root, HcclComm comm, aclrtStream stream)人话版前五个参数sendBuf、recvBuf、count、dataType、op回答“归约什么”后三个root、comm、stream回答“在哪归约、结果给谁”返回值 HcclResult 告诉你这次调用成功还是失败。HcclReduce 参数怎么填参数分两组看前五个是业务参数决定算的内容后三个是环境参数决定算在哪、谁来收结果。业务参数归约什么参数角色怎么填sendBuf源数据缓冲区当前卡上参与归约的数据地址对齐要求见后文。recvBuf目的缓冲区归约结果写到这里实际只有 root 卡上的这份 buffer 会被使用。count元素个数参与归约的数据元素个数。注意是元素数不是字节数只有一个 int32 参与时count 就是 1。dataType数据类型与内存中元素实际类型一致的 HcclDataType 枚举值如 HCCL_DATA_TYPE_FP32。op归约方式在 sum求和、prod连乘、max、min 里选一个。环境参数在哪算、结果给谁参数角色怎么填rootroot rank最终接收归约结果的 rank 编号。comm通信域当前卡所属的通信域comm句柄即“哪一组卡一起通信”。stream任务流本 rank 使用的 stream设备上的任务队列通信任务按 stream 中的顺序执行。不同芯片的支持差异各芯片支持的数据类型和操作类型不完全一样先查表再写代码芯片系列支持的数据类型支持的操作类型额外限制Ascend 950PR / 950DTint8、int16、int32、int64、uint64、float16、float32、float64、bfp16sum、max、min不提供 prodint64、uint64、float64 仅支持节点内通信Atlas A3 训练/推理系列int8、int16、int32、int64、float16、float32、bfp16sum、prod、max、minprod 不支持 int16、bfp16Atlas A2 训练/推理系列int8、int16、int32、int64、float16、float32、bfp16sum、prod、max、minprod 不支持 int16、bfp16int64 性能有劣化仅支持 Atlas 800T A2 训练服务器、Atlas 900 A2 PoD 集群基础单元、Atlas 200T A2 Box16 异构子框Atlas 训练系列int8、int32、int64、float16、float32sum、prod、max、min无Atlas 推理系列——不支持 HcclReduce返回值与失败排查接口返回 HcclResult成功是 HCCL_SUCCESS其余取值都表示失败。拿到非成功码先查两处所有 rank 的 count、dataType、op 是否完全一致sendBuf 与 recvBuf 的地址是否满足对齐要求。绝大多数失败集中在这两点其次才是通信域或 stream 尚未初始化成功。调用前必看的约束 ⚠️全 rank 参数必须一致。每个 rank 的 count、dataType、op 都要相同。集合通信是“会商”式操作任何一张卡不一致行为就未定义常见表现是通信卡死或结果错乱。地址对齐规则。sendBuf 与 recvBuf 都要满足数据类型对应的对齐要求数据类型对齐要求int81 Byteint16、float16、bfp162 Byteint32、float324 Byteint64、uint64、float648 Byte对齐是硬件读取数据的“步长”要求buffer 起点没对齐轻则性能受损重则访问出错。HcclReduce 最小示例假设通信域和 stream 已经建好初始化过程从略核心就三步申请内存 → 调 HcclReduce → 同步后释放。// 申请 Device 侧内存源缓冲区和目的缓冲区 void *sendBuf nullptr; void *recvBuf nullptr; uint64_t count 8; size_t mallocSize count * sizeof(float); aclrtMalloc((void **)sendBuf, mallocSize, ACL_MEM_MALLOC_HUGE_ONLY); aclrtMalloc((void **)recvBuf, mallocSize, ACL_MEM_MALLOC_HUGE_ONLY); // 假设 hcclComm通信域与 stream任务流已初始化rootRank 为目标 rank // 执行 Reduce把每张卡对应位置的数据相加结果发送到 root 卡的 recvBuf HcclReduce(sendBuf, recvBuf, count, HCCL_DATA_TYPE_FP32, HCCL_REDUCE_SUM, rootRank, hcclComm, stream); // 阻塞等待流中通信任务执行完成 aclrtSynchronizeStream(stream); // 释放资源 aclrtFree(sendBuf); // 释放 Device 内存 aclrtFree(recvBuf); // 释放 Device 内存 aclrtDestroyStream(stream); // 销毁任务流 HcclCommDestroy(hcclComm); // 销毁通信域 HcclReduce 常见坑prod 有类型限制A2、A3 系列上 prod 不支持 int16 和 bfp16Ascend 950 系列干脆没有 prod只能用 sum/max/min。int64 要留个心眼A2 系列上 int64 归约有性能劣化950 系列上 int64/uint64/float64 只支持节点内通信。忘了同步 streamHcclReduce 是异步提交到 stream 的没等任务完成就读 recvBuf 拿不到结果记得 aclrtSynchronizeStream。只对齐了本地这一张卡地址对齐要求对每个 rank 的 sendBuf/recvBuf 都成立任何一张卡不满足都会影响整组通信。【免费下载链接】runner-imagesGitHub Actions runner images项目地址: https://gitcode.com/GitHub_Trending/ru/runner-images创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
HcclReduce 完整指南：集合通信 Reduce 算子的参数、芯片差异与地址对齐
HcclReduce 完整指南集合通信 Reduce 算子的参数、芯片差异与地址对齐【免费下载链接】runner-imagesGitHub Actions runner images项目地址: https://gitcode.com/GitHub_Trending/ru/runner-imagesHcclReduce 是 CANN 集合通信库的接口把多个 rank 的数据归约求和、最大、最小结果写到指定 root rank 的缓冲区。本文讲 Reduce 算子的参数、芯片差异、地址对齐与最小示例。它到底在干什么先对齐两个概念集合通信就是多张卡一起协作完成同一次数据操作rank是每张卡在通信组里的编号0 到 N-1。Reduce 是其中最常见的动作每张卡各交出一份数据操作结束后归约结果只落在 root rank 指定的 buffer 上。场景8 张卡rank 0~7各持有一个 1000 个元素的 FP32 张量你想把它们按位置求和且只关心 rank 0 上的结果。调一次 HcclReduce 即可每张卡把自己的 sendBuf 交出来多卡数据求和由硬件完成最终结果写进 rank 0 的 recvBuf。本文托管在 runner-images 仓库仓库里的其他工程文档见 docs/ 目录。函数原型HcclResult HcclReduce(void *sendBuf, void *recvBuf, uint64_t count, HcclDataType dataType, HcclReduceOp op, uint32_t root, HcclComm comm, aclrtStream stream)人话版前五个参数sendBuf、recvBuf、count、dataType、op回答“归约什么”后三个root、comm、stream回答“在哪归约、结果给谁”返回值 HcclResult 告诉你这次调用成功还是失败。HcclReduce 参数怎么填参数分两组看前五个是业务参数决定算的内容后三个是环境参数决定算在哪、谁来收结果。业务参数归约什么参数角色怎么填sendBuf源数据缓冲区当前卡上参与归约的数据地址对齐要求见后文。recvBuf目的缓冲区归约结果写到这里实际只有 root 卡上的这份 buffer 会被使用。count元素个数参与归约的数据元素个数。注意是元素数不是字节数只有一个 int32 参与时count 就是 1。dataType数据类型与内存中元素实际类型一致的 HcclDataType 枚举值如 HCCL_DATA_TYPE_FP32。op归约方式在 sum求和、prod连乘、max、min 里选一个。环境参数在哪算、结果给谁参数角色怎么填rootroot rank最终接收归约结果的 rank 编号。comm通信域当前卡所属的通信域comm句柄即“哪一组卡一起通信”。stream任务流本 rank 使用的 stream设备上的任务队列通信任务按 stream 中的顺序执行。不同芯片的支持差异各芯片支持的数据类型和操作类型不完全一样先查表再写代码芯片系列支持的数据类型支持的操作类型额外限制Ascend 950PR / 950DTint8、int16、int32、int64、uint64、float16、float32、float64、bfp16sum、max、min不提供 prodint64、uint64、float64 仅支持节点内通信Atlas A3 训练/推理系列int8、int16、int32、int64、float16、float32、bfp16sum、prod、max、minprod 不支持 int16、bfp16Atlas A2 训练/推理系列int8、int16、int32、int64、float16、float32、bfp16sum、prod、max、minprod 不支持 int16、bfp16int64 性能有劣化仅支持 Atlas 800T A2 训练服务器、Atlas 900 A2 PoD 集群基础单元、Atlas 200T A2 Box16 异构子框Atlas 训练系列int8、int32、int64、float16、float32sum、prod、max、min无Atlas 推理系列——不支持 HcclReduce返回值与失败排查接口返回 HcclResult成功是 HCCL_SUCCESS其余取值都表示失败。拿到非成功码先查两处所有 rank 的 count、dataType、op 是否完全一致sendBuf 与 recvBuf 的地址是否满足对齐要求。绝大多数失败集中在这两点其次才是通信域或 stream 尚未初始化成功。调用前必看的约束 ⚠️全 rank 参数必须一致。每个 rank 的 count、dataType、op 都要相同。集合通信是“会商”式操作任何一张卡不一致行为就未定义常见表现是通信卡死或结果错乱。地址对齐规则。sendBuf 与 recvBuf 都要满足数据类型对应的对齐要求数据类型对齐要求int81 Byteint16、float16、bfp162 Byteint32、float324 Byteint64、uint64、float648 Byte对齐是硬件读取数据的“步长”要求buffer 起点没对齐轻则性能受损重则访问出错。HcclReduce 最小示例假设通信域和 stream 已经建好初始化过程从略核心就三步申请内存 → 调 HcclReduce → 同步后释放。// 申请 Device 侧内存源缓冲区和目的缓冲区 void *sendBuf nullptr; void *recvBuf nullptr; uint64_t count 8; size_t mallocSize count * sizeof(float); aclrtMalloc((void **)sendBuf, mallocSize, ACL_MEM_MALLOC_HUGE_ONLY); aclrtMalloc((void **)recvBuf, mallocSize, ACL_MEM_MALLOC_HUGE_ONLY); // 假设 hcclComm通信域与 stream任务流已初始化rootRank 为目标 rank // 执行 Reduce把每张卡对应位置的数据相加结果发送到 root 卡的 recvBuf HcclReduce(sendBuf, recvBuf, count, HCCL_DATA_TYPE_FP32, HCCL_REDUCE_SUM, rootRank, hcclComm, stream); // 阻塞等待流中通信任务执行完成 aclrtSynchronizeStream(stream); // 释放资源 aclrtFree(sendBuf); // 释放 Device 内存 aclrtFree(recvBuf); // 释放 Device 内存 aclrtDestroyStream(stream); // 销毁任务流 HcclCommDestroy(hcclComm); // 销毁通信域 HcclReduce 常见坑prod 有类型限制A2、A3 系列上 prod 不支持 int16 和 bfp16Ascend 950 系列干脆没有 prod只能用 sum/max/min。int64 要留个心眼A2 系列上 int64 归约有性能劣化950 系列上 int64/uint64/float64 只支持节点内通信。忘了同步 streamHcclReduce 是异步提交到 stream 的没等任务完成就读 recvBuf 拿不到结果记得 aclrtSynchronizeStream。只对齐了本地这一张卡地址对齐要求对每个 rank 的 sendBuf/recvBuf 都成立任何一张卡不满足都会影响整组通信。【免费下载链接】runner-imagesGitHub Actions runner images项目地址: https://gitcode.com/GitHub_Trending/ru/runner-images创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
