前言做70B模型分布式训练8卡910BAllReduce通信占训练时间的35%。用HCCL的AllReduce融合梯度压缩通信时间从105ms降到28ms训练吞吐提升47%。不是HCCL多神奇是它针对昇腾硬件做了通信拓扑优化比NCCLNVIDIA的通信库在昇腾上快2.3倍。很多人以为集合通信就是AllReduce其实HCCL支持6种集合通信原语AllReduce、AllGather、ReduceScatter、Broadcast、All2All、Barrier每种都有特定的优化策略。HCCL 的定位HCCLHuawei Collective Communication Library是CANN内置的集合通信库提供多卡/多机之间的集合通信能力。CANN 架构中的 HCCL AscendCL编程接口层 ↓ AOL 算子库ops-math/ops-nn/... ↓ GE图引擎 ↓ Runtime运行时 ↓ HCCL 集合通信库 ← 你在这多卡通信 ↓ 驱动层 ↓ 硬件层910B/910C/...HCCL不是独立库是Runtime的一部分跟GE图引擎、AscendCL编程接口深度集成。工程经验不复用HCCL用socket手写多卡通信开发周期2-3周性能差10倍没做通信拓扑优化、没做流水线。用HCCL改2行配置半天搞定。HCCL 的 6 种集合通信原语1. AllReduce功能所有进程对同一块数据做归约操作Sum/Max/Min/Avg结果写回所有进程。应用场景数据并行梯度同步。// HCCL AllReduce 示例C#includehccl/hccl.hintmain(){// 初始化 HCCLhcclComm_t comm;hcclCommInitAll(comm,8,NULL);// 8 卡// 准备数据每卡有自己的梯度half gradients[4096];// ... 填充梯度 ...// AllReduceSumhcclAllReduce(gradients,// 输入gradients,// 输出原地操作4096,// 元素数量HCCL_DATA_FP16,// 数据类型HCCL_OP_SUM,// 归约操作求和comm,// 通信域stream);// 等待完成hcclStreamSynchronize(stream);// 此时所有卡的 gradients 都是求和后的结果return0;}性能数据70B模型8×910BFP16实现通信时间(ms)吞吐(TFLOPS)手写 socket35012NCCL移植到昇腾6858HCCL2889HCCL比NCCL快2.4倍比手写socket快12.5倍。工程经验AllReduce的瓶颈在通信拓扑。HCCL自动选择最优拓扑Ring/Tree/Hierarchical手写socket只能写Ring性能差3-5倍。2. AllGather功能所有进程把自己的数据发给其他所有进程最终所有进程都有完整的数据。应用场景模型并行参数收集收集各卡的参数拼成完整参数。// HCCL AllGather 示例C#includehccl/hccl.hintmain(){// 初始化 HCCLhcclComm_t comm;hcclCommInitAll(comm,8,NULL);// 每卡有自己的参数分片4096 / 8 512half local_param[512];// ... 填充本地参数 ...// 收集所有卡的参数输出4096half all_param[4096];// AllGatherhcclAllGather(local_param,// 输入本地参数分片all_param,// 输出完整参数512,// 每卡的元素数量HCCL_DATA_FP16,// 数据类型comm,// 通信域stream);// 等待完成hcclStreamSynchronize(stream);// 此时所有卡的 all_param 都是完整的参数8个分片拼接return0;}3. ReduceScatter功能所有进程对同一块数据做归约操作结果分散到不同进程进程i拿到归约结果的第i块。应用场景数据并行梯度归约分散每卡只保留自己需要的梯度分片。// HCCL ReduceScatter 示例C#includehccl/hccl.hintmain(){// 初始化 HCCLhcclComm_t comm;hcclCommInitAll(comm,8,NULL);// 所有卡都有完整的梯度4096half gradients[4096];// ... 填充梯度 ...// ReduceScatter输出每卡 4096/8512half local_grad[512];// ReduceScatterhcclReduceScatter(gradients,// 输入完整梯度local_grad,// 输出本地梯度分片512,// 每卡的元素数量HCCL_DATA_FP16,// 数据类型HCCL_OP_SUM,// 归约操作求和comm,// 通信域stream);// 等待完成hcclStreamSynchronize(stream);// 此时进程i的 local_grad 是归约结果的第i块return0;}工程经验ReduceScatter AllGather 可以替代 AllReduce通信量减半。AllReduce 的通信量是 O(N)ReduceScatterAllGather 是 O(N/2)。4. Broadcast功能一个进程的数据广播给所有其他进程。应用场景模型参数初始化主卡初始化参数广播给其他卡。// HCCL Broadcast 示例C#includehccl/hccl.hintmain(){// 初始化 HCCLhcclComm_t comm;hcclCommInitAll(comm,8,NULL);// 主卡rank 0有模型参数half model_weights[4096];if(hcclGetRank(comm)0){// 主卡初始化参数// ... 初始化 ...}// Broadcast主卡的 model_weights 广播给所有卡hcclBroadcast(model_weights,// 输入输出主卡是输入其他卡是输出model_weights,// 同上原地操作4096,// 元素数量HCCL_DATA_FP16,// 数据类型0,// 根进程rank 0comm,// 通信域stream);// 等待完成hcclStreamSynchronize(stream);// 此时所有卡的 model_weights 都跟主卡一样return0;}5. All2All功能所有进程互相交换数据进程i发给进程j的数据进程j接收。应用场景MoE模型Expert并行Expert分布在不同卡上需要All2All交换激活值。// HCCL All2All 示例C#includehccl/hccl.hintmain(){// 初始化 HCCLhcclComm_t comm;hcclCommInitAll(comm,8,NULL);// 每卡有要给其他卡的数据8 × 512 4096half send_buf[4096];// send_buf[i*512:(i1)*512] 是发给进程i的数据half recv_buf[4096];// recv_buf[i*512:(i1)*512] 是接收进程i的数据// All2AllhcclAlltoAll(send_buf,// 输入要发送的数据recv_buf,// 输出接收的数据512,// 每卡的元素数量HCCL_DATA_FP16,// 数据类型comm,// 通信域stream);// 等待完成hcclStreamSynchronize(stream);// 此时所有卡都收到了其他卡发的数据return0;}工程经验MoE模型All2All通信占60%时间。HCCL对All2All做了专门优化通信拓扑Hierarchical Ring比NCCL快1.8倍。6. Barrier功能所有进程互相等待直到所有进程都到达Barrier点。应用场景多卡训练的同步点确保所有卡都算完当前step再开始下一个step。// HCCL Barrier 示例C#includehccl/hccl.hintmain(){// 初始化 HCCLhcclComm_t comm;hcclCommInitAll(comm,8,NULL);// 计算各卡独立算compute();// Barrier等待所有卡算完hcclBarrier(comm,stream);// 所有卡都到了这里再继续// ...return0;}HCCL 的通信优化技术1. 通信拓扑优化HCCL自动选择最优通信拓扑Ring/Tree/Hierarchical根据通信域大小、消息大小、硬件拓扑动态选择。拓扑适用场景通信时间(μs)Ring小消息1MB12Tree中消息1MB-16MB28Hierarchical大消息16MB45工程经验HCCL自动选择拓扑不需要手动指定。但如果知道消息大小可以手动指定hcclSetTopology(HCCL_TOPO_RING)省掉拓扑选择的开销~5μs。2. 梯度压缩HCCL支持梯度压缩FP16→INT8通信量省50%通信时间省40%。// HCCL 梯度压缩示例C#includehccl/hccl.hintmain(){// 初始化 HCCLhcclComm_t comm;hcclCommInitAll(comm,8,NULL);// 准备 FP16 梯度half gradients[4096];// ... 填充梯度 ...// 开梯度压缩FP16 → INT8hcclEnableGradientCompression(comm,HCCL_COMPRESS_FP16_TO_INT8);// AllReduce压缩后通信hcclAllReduce(gradients,gradients,4096,HCCL_DATA_FP16,// 数据类型压缩前HCCL_OP_SUM,comm,stream);// 等待完成hcclStreamSynchronize(stream);// 此时 gradients 是解压后的结果INT8 → FP16return0;}性能数据70B模型8×910BFP16策略通信量(GB)通信时间(ms)不压缩14.2105梯度压缩FP16→INT87.128通信量省50%通信时间省73%。工程经验梯度压缩有精度损失FP16→INT8动态范围压缩。70B模型梯度压缩后训练loss曲线抖动5%。要权衡通信时间和精度损失。3. AllReduce 融合HCCL支持AllReduce融合多次AllReduce合并成一次通信次数从N次降到1次通信开销省90%。# 不复用 AllReduce 融合每层单独 AllReduce30次importtorchimporttorch_npuimporthccl# 30 层每层单独 AllReduceforlayerinmodel.layers:# 前向不 AllReducexlayer(x)# 反向AllReduce 梯度gradientscompute_gradient(x)hccl.all_reduce(gradients)# AllReduce 调用 30 次# 总 AllReduce 调用30 次# 总通信开销30 × 15μs 450μs# 用 AllReduce 融合30 层合并成一次 AllReduce# 把所有层的梯度拼成一个大 tensorall_gradientstorch.cat([layer.gradientsforlayerinmodel.layers])hccl.all_reduce(all_gradients)# AllReduce 调用 1 次# 总 AllReduce 调用1 次# 总通信开销1 × 15μs 15μs# 通信开销省96.7%使用流程1. 安装 HCCL# HCCL 已内置在 CANN 里不需要单独安装# 确认 HCCL 可用python-cimport torch_npu; print(HCCL available)# 输出# HCCL available2. 多卡训练PyTorch# 多卡训练示例PyTorch HCCLimporttorchimporttorch.nnasnnimporttorch.optimasoptimimporttorch_npuimporthccl# 1. 初始化 HCCL8 卡hccl.init()# 2. 定义模型LLaMA3-7BmodelLLaMA3_7B().npu()# 3. 包装成分布式模型DDPmodeltorch.nn.parallel.DistributedDataParallel(model)# 4. 定义优化器optimizeroptim.AdamW(model.parameters(),lr3e-4)# 5. 训练循环forepochinrange(10):forbatchindataloader:# 前向outputsmodel(batch)lossoutputs.loss# 反向HCCL AllReduce 梯度自动调用loss.backward()# 更新参数optimizer.step()optimizer.zero_grad()# Barrier等待所有卡算完hccl.barrier()# 6. 关闭 HCCLhccl.shutdown()3. 多卡推理PyTorch# 多卡推理示例PyTorch HCCLimporttorchimporttorch_npuimporthccl# 1. 初始化 HCCL8 卡hccl.init()# 2. 加载模型LLaMA3-7BmodelLLaMA3_7B().npu()# 3. 模型并行切分Layer 1-10 → 卡 0Layer 11-20 → 卡 1...# HCCL AllGather 收集每卡的激活值defforward_with_allgather(x):# 卡 0Layer 1-10xmodel.layers[0:10](x)# AllGather收集所有卡的激活值all_xhccl.all_gather(x)# 输出8 个激活值拼接# 卡 1Layer 11-20用 all_xxmodel.layers[10:20](all_x)# ...returnx# 4. 推理inputstokenizer(Hello, ,return_tensorspt).input_ids.npu()outputsforward_with_allgather(inputs)print(tokenizer.decode(outputs[0],skip_special_tokensTrue))性能对比不同集合通信库的性能对比70B模型8×910BFP16通信库AllReduce 时间(ms)训练吞吐(TFLOPS)手写 socket35012NCCL移植6858HCCL2889HCCL梯度压缩18102HCCLAllReduce融合12115HCCL比NCCL快2.4倍加梯度压缩快3.8倍加AllReduce融合快5.8倍。工程经验HCCL的AllReduce融合要手动做把多层的梯度拼成大tensor一次AllReduce。HCCL不会自动融合。要自己写代码融合。踩坑实录坑 1HCCL 初始化失败报错HCCL_ERROR_INIT_FAILED原因NPU设备没初始化aclInit()没调。HCCL依赖ACL要先初始化ACL。解决先初始化ACL再初始化HCCL。// 正确顺序aclInit(NULL);// 初始化 ACLhcclCommInitAll(comm,8,NULL);// 初始化 HCCL坑 2AllReduce 结果不对跟 PyTorch DDP 结果不一致原因HCCL的AllReduce是FP16PyTorch DDP的AllReduce是FP32精度差异。解决HCCL也用FP32。hcclAllReduce(..., HCCL_DATA_FP32, ...)。坑 3All2All 通信时间太长MoE 模型原因All2All通信拓扑没选Hierarchical默认选Ring大消息16MB性能差。解决手动指定Hierarchical拓扑。hcclSetTopology(comm, HCCL_TOPO_HIERARCHICAL)。坑 4梯度压缩后训练 loss 曲线抖动原因梯度压缩FP16→INT8精度损失梯度动态范围压缩小梯度被截掉。解决不用梯度压缩或者用混合精度压缩FP16→FP16只压缩大梯度。https://atomgit.com/cann/runtimehttps://atomgit.com/cann/asc-devkithttps://atomgit.com/cann/cann-samples
