最近在帮两个创业团队做 AI 训练集群的硬件选型时明显感觉到一个变化大家不再只盯着 GPU 的算力参数而是会多问一句“这套设备里的电源、光模块、交换芯片、液冷部件供应链是否足够稳健”。这背后很大一部分原因是一些海外市场开始收紧 AI 数据中心的部件供应链尤其是针对中国制造的服务器组件、光模块和网络设备。这类变化虽然表面上属于产业政策范畴但从工程视角看它直接决定了一个 AI 基础设施团队的采购周期、设备选型、备件策略和容灾设计。本文不讨论政策本身的对错而是从 AI 数据中心的硬件组成出发梳理哪些部件属于敏感供应链环节分析替代方案的可行性并给出一套工程团队可以落地的应对流程包含硬件审计脚本、兼容性测试清单和灰度替换策略。无论你正在建设新的智算中心还是维护已有机房都值得提前把供应链风险纳入架构设计。1. AI数据中心的技术组成与面临的新问题1.1 从传统机房到智算中心AI数据中心在发生什么变化过去我们提到“数据中心”更多是指存放 Web 服务器、数据库和虚拟化平台的机房核心指标是机架数量、网络带宽和电力容量。但 AI 时代的数据中心尤其是承担大模型训练和推理任务的智算中心硬件架构发生了几个明显变化。第一个变化是算力密度大幅提升。单台训练服务器可能搭载 8 张 AI 加速卡每张卡的功耗从 300W 到 700W 不等一个机柜的总功耗轻松突破 30kW传统风冷方案已经难以满足散热需求。这就带来液冷、高压直流供电、更高等级的母线配电等新技术的大量引入。第二个变化是网络架构从“三层汇聚”走向“胖树或 Clos 架构”。大模型训练需要 GPU 之间高频同步梯度数据传统 1G/10G 以太网远远不够现在普遍是 400G/800G 光互联。AI 数据中心里使用的光模块数量可能比传统数据中心多一个数量级。第三个变化是软件栈深度绑定硬件。训练框架依赖 CUDA、ROCm 或各类国产加速卡自带的算子库。这意味着更换一块芯片不只是“换硬件”还需要重写或迁移整个软件栈。当 AI 数据中心成为承载智能算力的核心载体它对供应链的敏感度也远远高于传统机房。任何一个关键部件断供都可能让整个集群无法投产。1.2 政策变化的工程视角为什么部件产地会影响算力建设从工程运维来看类似“限制中国部件进入数据中心”的政策如果落地最直接的影响主要有四方面采购周期被拉长。原来可以在一周内从多家供应商拿到货现在需要逐项做原产地证明和合规审核货期可能从两周变成两个月。备件补货成本上升。已存量的设备如果包含受限制部件后续替换备件可能买不到原型号只能寻找替代方案。存量设备的维护风险增加。设备故障后如果无法及时补件整体集群可用性会下降扩容计划也被迫暂停。技术路线被迫调整。一些原本使用进口加速卡的方案可能无法继续需要切换到国产替代芯片或新一代架构。这些问题最终会落到每个做 AI 基础设施的工程师头上。与其等政策落地后再被动应对不如现在就建立自己数据中心的“供应链健康档案”搞清楚每个关键部件从哪来、可替代性如何、备件库存能撑多久。2. AI数据中心常见“中国部件”硬件全景要评估供应链风险首先要有一份清晰的硬件地图。AI 数据中心里的关键部件大致可以分为计算层、网络层、供电层、散热层和配套设备层五类。2.1 计算层AI加速卡、服务器主板与GPU模组计算层是最核心的环节。当前海外大型 AI 数据中心主要使用 NVIDIA 的 GPU 加速卡而这类加速卡的制造环节大量依赖亚洲供应链包括 HBM 高带宽内存、PCB 基板、散热模组等。此外许多服务器的代工制造也在中国大陆完成主板上的电源管理芯片、电容电阻、连接器等元器件有相当比例来自国内厂商。从“限制中国部件”的角度看计算层最容易受到限制的不一定是 GPU 核心而是服务器整机的“准系统”或“主板模块”。如果一个海外数据中心采购浪潮、超聚变等厂商的代工服务器就需要评估主板、背板、电源分配单元等是否属于受限部件。对于国内团队来说海外政策限制反而倒逼国产加速卡和国产服务器整机的成长。华为昇腾、寒武纪、海光等国产芯片虽然生态还在完善但已经能承担不少推理和微调任务。2.2 网络层光模块、交换芯片与DCI设备网络设备是 AI 数据中心里中国制造占比最高的环节之一。根据行业统计中国厂商在全球光模块市场占有率超过 50%中际旭创、新易盛、华工正源等企业是 400G/800G 光模块的主力供应商。光模块之所以难以替代原因在于它兼具高精度硬件制造和复杂固件调优双重属性。一只 800G 光模块里包含激光器、探测器、DSP 芯片、驱动电路等多个组件生产工艺要求极高。而且光模块必须与交换芯片、网卡固件深度适配不是随便换一个品牌就能点亮。此外AI 数据中心大量使用 RoCERDMA over Converged Ethernet或 InfiniBand 网络。InfiniBand 交换机和网卡主要来自 NVIDIA而 RoCE 网络中的交换芯片可以来自博通、英伟达也有相当比例的白盒交换机由中国厂商代工。如果供应链政策限制中国制造的网络设备影响的不只是光模块还包括整台交换机的交付。2.3 供电与散热层BBU、UPS、高压直流、液冷CDUAI 数据中心的电力系统也在发生变化。传统数据中心多以 UPS 加市电为主但高密度 GPU 机柜对供电稳定性的要求提升很多新建智算中心开始采用“市电直供 高压直流 (HVDC) 锂电池 BBU”模式。这个体系里的整流模块、锂电池管理单元、电源监控系统有不少供应商来自中国。散热系统同样是“重灾区”。AI 机柜如果采用液冷方案需要冷板式液冷板、CDU冷量分配单元、Manifold、冷却液、管路接头等部件。当前全球液冷服务器供应链中以中国厂商出货量增长最快。如果海外政策收紧液冷散热部件的采购压力会很快反映到大型 AI 集群项目中。除以上三类外监控摄像头、门禁系统、动环监控终端等配套设备也普遍包含中国制造的传感器和通信模块。虽然单体价值不高但数量大在合规审查时同样不能漏掉。3. 从硬件层面看为什么部分部件难以被快速替换如果只是把“中国部件”换成“非中国部件”就能解决那问题就简单了。但现实是AI 数据中心里很多环节存在明显的替代壁垒大致可以归纳为三层。3.1 算力芯片的生态锁定效应以 AI 加速卡为例NVIDIA 的 CUDA 生态经过十几年积累已经形成从 cuDNN、TensorRT 到大模型框架的完整闭环。即便有 AMD ROCm、Intel oneAPI 等竞品迁移成本依然很高。对于国产芯片来说虽然华为 CANN、寒武纪 Neuware 等工具链在快速补齐但算子覆盖度、分布式训练稳定性和第三方库兼容性仍有差距。这意味着如果政策导致某类算力芯片无法进入数据中心工程团队面临的不是“换卡”而是“换整个软件技术栈”。这个过程通常需要 3 到 6 个月的适配和验证风险不小。3.2 光模块的“隐形门槛”在于固件与制造工艺光模块看起来是标准化产品实际上每一代光模块都需要和交换芯片、网卡进行严格的协议兼容性测试。不同厂商的模块即使接口一致在 FEC前向纠错配置、DDM数字诊断监控上报、链路训练参数上也可能有差异。在大规模 RoCE 网络中几百只光模块同时工作任何一只模块的固件行为不一致都可能引发链路丢包、时延抖动甚至网络风暴。因此很多团队宁可继续采购已验证过的光模块品牌也不愿意随意切换供应商。如果供应链政策限制了某产地光模块就需要重新做完整的网络兼容性和稳定性验证周期通常在 4~8 周。3.3 电力与散热系统的定制化问题供电和散热系统不像芯片那样有强烈的生态依赖但它们往往被设计为“整柜交付”。液冷机柜的 CDU、Manifold、快接头都有各自的接口标准和密封方案跨品牌混用极易漏水或降低散热效率。高压直流配电系统也需要与服务器电源模块PSU的输入电压范围匹配。所以更换供电散热部件不是简单的“即插即用”而可能要从机柜层面重新设计。这也是很多 AI 数据中心在采购时倾向于选择同一家“整机柜解决方案”提供商的原因。4. AI基础设施团队可以提前落地的三件事供应链政策变化无法由工程师个人决定但团队可以在技术层面提前做好准备。下面从资产审计、替代评估和架构冗余三个维度给出可操作方案。4.1 建立硬件资产BOM审计机制第一步是摸清家底。不要等到必须替换时再来查“哪块光模块是哪个国家造的”而是现在就把每个机柜的部件清单整理成结构化数据。下面这个 Python 脚本是一个相对完整的 BOM 审计工具原型支持读取 CSV 格式的硬件清单自动标记高风险部件并输出审计报告供 Excel 或后续BI处理。# 文件路径audit_bom.py import csv import json from collections import defaultdict RISK_KEYWORDS { 电源: [电源, PSU, BBU, UPS, HVDC], 网络: [光模块, 交换机, 网卡, RoCE, DCI], 计算: [GPU, 加速卡, CPU, 主板, HBM], 散热: [液冷, 冷板, CDU, 风扇, Manifold], } SUPPLIER_RISK { 某中国厂商: 高, 某亚洲代工厂: 中, 某美国厂商: 低, } def audit_bom(csv_path): with open(csv_path, encodingutf-8) as f: reader csv.DictReader(f) rows list(reader) summary defaultdict(int) high_risk_items [] for idx, row in enumerate(rows, start2): name row.get(部件名称, ).lower() supplier row.get(供应商, ) origin row.get(产地, ) risk_level 低 for category, kws in RISK_KEYWORDS.items(): if any(kw.lower() in name for kw in kws): summary[category] 1 if origin 中国 or supplier in SUPPLIER_RISK and SUPPLIER_RISK.get(supplier) 高: risk_level 高 elif origin in (中国, 亚太) or 代工 in supplier: risk_level 中 break if risk_level in (中, 高): high_risk_items.append({ 行号: idx, 部件: row.get(部件名称), 供应商: supplier, 产地: origin, 风险级别: risk_level, }) print( BOM风险审计报告 ) print(各类别部件数量:, dict(summary)) print(高风险部件数:, len(high_risk_items)) for item in high_risk_items[:20]: print(f 行 {item[行号]}: {item[部件]} | {item[供应商]} | {item[产地]} | {item[风险级别]}) with open(bom_audit_result.json, w, encodingutf-8) as f: json.dump(high_risk_items, f, ensure_asciiFalse, indent2) if __name__ __main__: audit_bom(hardware_bom.csv)实际落地时需要将脚本接入资产管理系统定期扫描并推送变更告警。关键字段至少包括部件名称、供应商、产地、批次号、安装机柜、启用日期、保修到期日。审计的意义不在于“一次性排查”而是建立持续可见性。4.2 做好国产化替代方案评估对国内 AI 基础设施团队来说海外供应链收紧并不完全是坏消息。很多情况下国产替代部件已经具备“可用”甚至“好用”的水平关键是评估流程要科学。推荐采用“两层评估法”先做兼容性静态评估再做压力测试动态评估。兼容性静态评估可以建立一个矩阵表把业务侧依赖的算子、框架版本、驱动接口、网络协议逐一列出然后对照目标替代芯片的兼容清单。评估维度原方案替代方案兼容性说明训练框架PyTorch 2.1 CUDAPyTorch 2.1 CANN需验证算子映射集合通信NCCLHCCL分布式训练需重测推理引擎TensorRTMindSpore Lite / 自研需转换模型格式光模块接口800G QSFP-DD800G QSFP-DD需验证固件兼容性液冷接口快接头A快接头B必须实测密封性动态评估则是在小规模测试环境里跑通“训练启动 - 梯度同步 - 模型保存 - 推理服务”全链路。4.3 构建多源供应链的架构冗余应对供应链风险不只是“找替代”更要在架构设计上留出弹性。比较有效的做法有三个控制面与数据面分离。将管理网络、存储网络、训练网络分别规划避免某个网络设备受限导致全站不可用。训练与推理资源池解耦。即使训练集群受到供应链影响推理集群仍能维持线上服务。预留跨机房容灾能力。在另一个可用区保存核心模型权重和数据集快照至少保证业务可降级运行。5. 一套可复用的国产化适配评估流程很多团队在国产化替代时容易走两个极端要么不做任何测试直接上线要么因为跑不通一个小算子就全盘否定。正确做法是建立一套可复用、可量化的适配评估流程。5.1 先做兼容性矩阵确定迁移边界在未开始写代码前先和算法团队、运维团队开一次会梳理当前业务依赖的完整技术栈。重点确认是否有依赖 CUDA 专有库例如 cuDNN、cuBLAS、TensorRT。是否使用了 NCCL 多机通信是否有自定义集合通信逻辑是否依赖特定 GPU 的显存大小和 NVLink 拓扑模型推理时是否使用了动态 shape这会影响国产加速卡的图编译优化。把这些问题整理成一份“兼容性矩阵”后团队就能评估出替代方案的适配工作量是“小改”还是“重构”。5.2 再跑基准与回归测试适配测试至少包含三个层级第一层是硬件健康检查。确认替代服务器能识别全部加速卡、网卡速率正常、光模块链路稳定。# 查看加速卡状态以通用方式示例 nvidia-smi # 或国产加速卡环境 ascend-smi # 确认RDMA/ROCE网卡状态 ibstatus # 若为RoCE网络 ethtool -i enp5s0f0第二层是算子级测试。跑 PyTorch 自带算子测试或者行业常见 benchmark如 ResNet-50、BERT、GPT-2 小模型验证常用算子是否在替代芯片上正确对齐。第三层是业务级回归。拿生产环境中的一个小规模模型跑一个完整训练 epoch 和一次推理压测观察 loss 收敛曲线、训练吞吐、推理延迟是否符合预期。5.3 最后做灰度上线与回滚预案即使测试全部通过也不要直接全量切换。建议分三步走先在同机房闲置节点上跑离线任务观察 72 小时稳定性。再承接部分低优先级推理流量逐步扩大到 20%。最后切换训练任务并保留原集群 7 天作为快速回滚通道。整个流程需要有详细的回滚预案包括旧环境镜像、模型权重备份、网络配置快照等。6. 常见问题与排查思路在国产化替代和供应链切换过程中团队最常遇到的问题集中在兼容性、性能和稳定性三方面。下表整理了典型现象和排查思路问题现象常见原因解决思路新加速卡无法被框架识别驱动未正确安装或版本不匹配查看系统日志重装驱动确认框架适配列表多机训练时 NCCL/HCCL 超时网卡未能构建 RDMA 链路检查 RoCE 配置、PFC 优先级、光模块模式训练 loss 不收敛误差大算子精度不匹配或框架版本差异用官方 benchmark 单算子对比检查 mix precision 配置光模块协商速率降级固件版本或传输距离不匹配ethtool 查看自协商结果更换支持更长距离的模块液冷系统温度过高CDU 流量不足或快接头密封不良检查管路接头、冷却液流量计和 CDU 告警日志新服务器进入机房后无法联调供电规格与现有母线不匹配检查 PSU 输入电压范围、柜内PDU接口类型推理服务切换后延迟突增图编译未完成首次推理较慢预热推理模型或开启持久化缓存如果在排查中发现某个部件无法定位故障根因尽量保留完整的日志和上下文信息减少供应商协同排查的沟通成本。7. 最佳实践与工程建议结合多位负责过智算中心建设与运维的读者反馈这里整理几条工程层面的建议。第一把供应链风险写进架构评审清单。现在很多团队做架构评审只关心“性能是否达标”很少问“关键部件是否可替代”。建议评审模板里增加几个问题这个方案的服务器准系统来源光模块供应是否锁定某品牌备件库存够用多久第二建立“两个供应商、两个产地”的采购原则。对于光模块、电源模块、液冷设备这些高价值且易受限的部件至少保留两个可互相替代的供应商。避免单点依赖。第三提前建立国产化适配实验室。即使当前业务不需要切换也建议在测试环境里准备一两个国产芯片节点持续跑小规模任务积累算子兼容性数据。这样一旦外部环境变化团队不会从零开始。第四关注行业软件生态的迁移工具。很多国产芯片厂商提供了直接从 CUDA 迁移的辅助工具例如自动算子映射工具、模型转换工具。虽然不能做到 100% 自动迁移但能明显降低人工适配量。第五不要忽视人才培养。国产化替代不只是“换硬件”更是团队技术栈的迁移。让一线工程师尽早参与国产芯片的测试和调优对后续项目落地帮助很大。
AI数据中心供应链风险应对：硬件审计与国产化替代指南
最近在帮两个创业团队做 AI 训练集群的硬件选型时明显感觉到一个变化大家不再只盯着 GPU 的算力参数而是会多问一句“这套设备里的电源、光模块、交换芯片、液冷部件供应链是否足够稳健”。这背后很大一部分原因是一些海外市场开始收紧 AI 数据中心的部件供应链尤其是针对中国制造的服务器组件、光模块和网络设备。这类变化虽然表面上属于产业政策范畴但从工程视角看它直接决定了一个 AI 基础设施团队的采购周期、设备选型、备件策略和容灾设计。本文不讨论政策本身的对错而是从 AI 数据中心的硬件组成出发梳理哪些部件属于敏感供应链环节分析替代方案的可行性并给出一套工程团队可以落地的应对流程包含硬件审计脚本、兼容性测试清单和灰度替换策略。无论你正在建设新的智算中心还是维护已有机房都值得提前把供应链风险纳入架构设计。1. AI数据中心的技术组成与面临的新问题1.1 从传统机房到智算中心AI数据中心在发生什么变化过去我们提到“数据中心”更多是指存放 Web 服务器、数据库和虚拟化平台的机房核心指标是机架数量、网络带宽和电力容量。但 AI 时代的数据中心尤其是承担大模型训练和推理任务的智算中心硬件架构发生了几个明显变化。第一个变化是算力密度大幅提升。单台训练服务器可能搭载 8 张 AI 加速卡每张卡的功耗从 300W 到 700W 不等一个机柜的总功耗轻松突破 30kW传统风冷方案已经难以满足散热需求。这就带来液冷、高压直流供电、更高等级的母线配电等新技术的大量引入。第二个变化是网络架构从“三层汇聚”走向“胖树或 Clos 架构”。大模型训练需要 GPU 之间高频同步梯度数据传统 1G/10G 以太网远远不够现在普遍是 400G/800G 光互联。AI 数据中心里使用的光模块数量可能比传统数据中心多一个数量级。第三个变化是软件栈深度绑定硬件。训练框架依赖 CUDA、ROCm 或各类国产加速卡自带的算子库。这意味着更换一块芯片不只是“换硬件”还需要重写或迁移整个软件栈。当 AI 数据中心成为承载智能算力的核心载体它对供应链的敏感度也远远高于传统机房。任何一个关键部件断供都可能让整个集群无法投产。1.2 政策变化的工程视角为什么部件产地会影响算力建设从工程运维来看类似“限制中国部件进入数据中心”的政策如果落地最直接的影响主要有四方面采购周期被拉长。原来可以在一周内从多家供应商拿到货现在需要逐项做原产地证明和合规审核货期可能从两周变成两个月。备件补货成本上升。已存量的设备如果包含受限制部件后续替换备件可能买不到原型号只能寻找替代方案。存量设备的维护风险增加。设备故障后如果无法及时补件整体集群可用性会下降扩容计划也被迫暂停。技术路线被迫调整。一些原本使用进口加速卡的方案可能无法继续需要切换到国产替代芯片或新一代架构。这些问题最终会落到每个做 AI 基础设施的工程师头上。与其等政策落地后再被动应对不如现在就建立自己数据中心的“供应链健康档案”搞清楚每个关键部件从哪来、可替代性如何、备件库存能撑多久。2. AI数据中心常见“中国部件”硬件全景要评估供应链风险首先要有一份清晰的硬件地图。AI 数据中心里的关键部件大致可以分为计算层、网络层、供电层、散热层和配套设备层五类。2.1 计算层AI加速卡、服务器主板与GPU模组计算层是最核心的环节。当前海外大型 AI 数据中心主要使用 NVIDIA 的 GPU 加速卡而这类加速卡的制造环节大量依赖亚洲供应链包括 HBM 高带宽内存、PCB 基板、散热模组等。此外许多服务器的代工制造也在中国大陆完成主板上的电源管理芯片、电容电阻、连接器等元器件有相当比例来自国内厂商。从“限制中国部件”的角度看计算层最容易受到限制的不一定是 GPU 核心而是服务器整机的“准系统”或“主板模块”。如果一个海外数据中心采购浪潮、超聚变等厂商的代工服务器就需要评估主板、背板、电源分配单元等是否属于受限部件。对于国内团队来说海外政策限制反而倒逼国产加速卡和国产服务器整机的成长。华为昇腾、寒武纪、海光等国产芯片虽然生态还在完善但已经能承担不少推理和微调任务。2.2 网络层光模块、交换芯片与DCI设备网络设备是 AI 数据中心里中国制造占比最高的环节之一。根据行业统计中国厂商在全球光模块市场占有率超过 50%中际旭创、新易盛、华工正源等企业是 400G/800G 光模块的主力供应商。光模块之所以难以替代原因在于它兼具高精度硬件制造和复杂固件调优双重属性。一只 800G 光模块里包含激光器、探测器、DSP 芯片、驱动电路等多个组件生产工艺要求极高。而且光模块必须与交换芯片、网卡固件深度适配不是随便换一个品牌就能点亮。此外AI 数据中心大量使用 RoCERDMA over Converged Ethernet或 InfiniBand 网络。InfiniBand 交换机和网卡主要来自 NVIDIA而 RoCE 网络中的交换芯片可以来自博通、英伟达也有相当比例的白盒交换机由中国厂商代工。如果供应链政策限制中国制造的网络设备影响的不只是光模块还包括整台交换机的交付。2.3 供电与散热层BBU、UPS、高压直流、液冷CDUAI 数据中心的电力系统也在发生变化。传统数据中心多以 UPS 加市电为主但高密度 GPU 机柜对供电稳定性的要求提升很多新建智算中心开始采用“市电直供 高压直流 (HVDC) 锂电池 BBU”模式。这个体系里的整流模块、锂电池管理单元、电源监控系统有不少供应商来自中国。散热系统同样是“重灾区”。AI 机柜如果采用液冷方案需要冷板式液冷板、CDU冷量分配单元、Manifold、冷却液、管路接头等部件。当前全球液冷服务器供应链中以中国厂商出货量增长最快。如果海外政策收紧液冷散热部件的采购压力会很快反映到大型 AI 集群项目中。除以上三类外监控摄像头、门禁系统、动环监控终端等配套设备也普遍包含中国制造的传感器和通信模块。虽然单体价值不高但数量大在合规审查时同样不能漏掉。3. 从硬件层面看为什么部分部件难以被快速替换如果只是把“中国部件”换成“非中国部件”就能解决那问题就简单了。但现实是AI 数据中心里很多环节存在明显的替代壁垒大致可以归纳为三层。3.1 算力芯片的生态锁定效应以 AI 加速卡为例NVIDIA 的 CUDA 生态经过十几年积累已经形成从 cuDNN、TensorRT 到大模型框架的完整闭环。即便有 AMD ROCm、Intel oneAPI 等竞品迁移成本依然很高。对于国产芯片来说虽然华为 CANN、寒武纪 Neuware 等工具链在快速补齐但算子覆盖度、分布式训练稳定性和第三方库兼容性仍有差距。这意味着如果政策导致某类算力芯片无法进入数据中心工程团队面临的不是“换卡”而是“换整个软件技术栈”。这个过程通常需要 3 到 6 个月的适配和验证风险不小。3.2 光模块的“隐形门槛”在于固件与制造工艺光模块看起来是标准化产品实际上每一代光模块都需要和交换芯片、网卡进行严格的协议兼容性测试。不同厂商的模块即使接口一致在 FEC前向纠错配置、DDM数字诊断监控上报、链路训练参数上也可能有差异。在大规模 RoCE 网络中几百只光模块同时工作任何一只模块的固件行为不一致都可能引发链路丢包、时延抖动甚至网络风暴。因此很多团队宁可继续采购已验证过的光模块品牌也不愿意随意切换供应商。如果供应链政策限制了某产地光模块就需要重新做完整的网络兼容性和稳定性验证周期通常在 4~8 周。3.3 电力与散热系统的定制化问题供电和散热系统不像芯片那样有强烈的生态依赖但它们往往被设计为“整柜交付”。液冷机柜的 CDU、Manifold、快接头都有各自的接口标准和密封方案跨品牌混用极易漏水或降低散热效率。高压直流配电系统也需要与服务器电源模块PSU的输入电压范围匹配。所以更换供电散热部件不是简单的“即插即用”而可能要从机柜层面重新设计。这也是很多 AI 数据中心在采购时倾向于选择同一家“整机柜解决方案”提供商的原因。4. AI基础设施团队可以提前落地的三件事供应链政策变化无法由工程师个人决定但团队可以在技术层面提前做好准备。下面从资产审计、替代评估和架构冗余三个维度给出可操作方案。4.1 建立硬件资产BOM审计机制第一步是摸清家底。不要等到必须替换时再来查“哪块光模块是哪个国家造的”而是现在就把每个机柜的部件清单整理成结构化数据。下面这个 Python 脚本是一个相对完整的 BOM 审计工具原型支持读取 CSV 格式的硬件清单自动标记高风险部件并输出审计报告供 Excel 或后续BI处理。# 文件路径audit_bom.py import csv import json from collections import defaultdict RISK_KEYWORDS { 电源: [电源, PSU, BBU, UPS, HVDC], 网络: [光模块, 交换机, 网卡, RoCE, DCI], 计算: [GPU, 加速卡, CPU, 主板, HBM], 散热: [液冷, 冷板, CDU, 风扇, Manifold], } SUPPLIER_RISK { 某中国厂商: 高, 某亚洲代工厂: 中, 某美国厂商: 低, } def audit_bom(csv_path): with open(csv_path, encodingutf-8) as f: reader csv.DictReader(f) rows list(reader) summary defaultdict(int) high_risk_items [] for idx, row in enumerate(rows, start2): name row.get(部件名称, ).lower() supplier row.get(供应商, ) origin row.get(产地, ) risk_level 低 for category, kws in RISK_KEYWORDS.items(): if any(kw.lower() in name for kw in kws): summary[category] 1 if origin 中国 or supplier in SUPPLIER_RISK and SUPPLIER_RISK.get(supplier) 高: risk_level 高 elif origin in (中国, 亚太) or 代工 in supplier: risk_level 中 break if risk_level in (中, 高): high_risk_items.append({ 行号: idx, 部件: row.get(部件名称), 供应商: supplier, 产地: origin, 风险级别: risk_level, }) print( BOM风险审计报告 ) print(各类别部件数量:, dict(summary)) print(高风险部件数:, len(high_risk_items)) for item in high_risk_items[:20]: print(f 行 {item[行号]}: {item[部件]} | {item[供应商]} | {item[产地]} | {item[风险级别]}) with open(bom_audit_result.json, w, encodingutf-8) as f: json.dump(high_risk_items, f, ensure_asciiFalse, indent2) if __name__ __main__: audit_bom(hardware_bom.csv)实际落地时需要将脚本接入资产管理系统定期扫描并推送变更告警。关键字段至少包括部件名称、供应商、产地、批次号、安装机柜、启用日期、保修到期日。审计的意义不在于“一次性排查”而是建立持续可见性。4.2 做好国产化替代方案评估对国内 AI 基础设施团队来说海外供应链收紧并不完全是坏消息。很多情况下国产替代部件已经具备“可用”甚至“好用”的水平关键是评估流程要科学。推荐采用“两层评估法”先做兼容性静态评估再做压力测试动态评估。兼容性静态评估可以建立一个矩阵表把业务侧依赖的算子、框架版本、驱动接口、网络协议逐一列出然后对照目标替代芯片的兼容清单。评估维度原方案替代方案兼容性说明训练框架PyTorch 2.1 CUDAPyTorch 2.1 CANN需验证算子映射集合通信NCCLHCCL分布式训练需重测推理引擎TensorRTMindSpore Lite / 自研需转换模型格式光模块接口800G QSFP-DD800G QSFP-DD需验证固件兼容性液冷接口快接头A快接头B必须实测密封性动态评估则是在小规模测试环境里跑通“训练启动 - 梯度同步 - 模型保存 - 推理服务”全链路。4.3 构建多源供应链的架构冗余应对供应链风险不只是“找替代”更要在架构设计上留出弹性。比较有效的做法有三个控制面与数据面分离。将管理网络、存储网络、训练网络分别规划避免某个网络设备受限导致全站不可用。训练与推理资源池解耦。即使训练集群受到供应链影响推理集群仍能维持线上服务。预留跨机房容灾能力。在另一个可用区保存核心模型权重和数据集快照至少保证业务可降级运行。5. 一套可复用的国产化适配评估流程很多团队在国产化替代时容易走两个极端要么不做任何测试直接上线要么因为跑不通一个小算子就全盘否定。正确做法是建立一套可复用、可量化的适配评估流程。5.1 先做兼容性矩阵确定迁移边界在未开始写代码前先和算法团队、运维团队开一次会梳理当前业务依赖的完整技术栈。重点确认是否有依赖 CUDA 专有库例如 cuDNN、cuBLAS、TensorRT。是否使用了 NCCL 多机通信是否有自定义集合通信逻辑是否依赖特定 GPU 的显存大小和 NVLink 拓扑模型推理时是否使用了动态 shape这会影响国产加速卡的图编译优化。把这些问题整理成一份“兼容性矩阵”后团队就能评估出替代方案的适配工作量是“小改”还是“重构”。5.2 再跑基准与回归测试适配测试至少包含三个层级第一层是硬件健康检查。确认替代服务器能识别全部加速卡、网卡速率正常、光模块链路稳定。# 查看加速卡状态以通用方式示例 nvidia-smi # 或国产加速卡环境 ascend-smi # 确认RDMA/ROCE网卡状态 ibstatus # 若为RoCE网络 ethtool -i enp5s0f0第二层是算子级测试。跑 PyTorch 自带算子测试或者行业常见 benchmark如 ResNet-50、BERT、GPT-2 小模型验证常用算子是否在替代芯片上正确对齐。第三层是业务级回归。拿生产环境中的一个小规模模型跑一个完整训练 epoch 和一次推理压测观察 loss 收敛曲线、训练吞吐、推理延迟是否符合预期。5.3 最后做灰度上线与回滚预案即使测试全部通过也不要直接全量切换。建议分三步走先在同机房闲置节点上跑离线任务观察 72 小时稳定性。再承接部分低优先级推理流量逐步扩大到 20%。最后切换训练任务并保留原集群 7 天作为快速回滚通道。整个流程需要有详细的回滚预案包括旧环境镜像、模型权重备份、网络配置快照等。6. 常见问题与排查思路在国产化替代和供应链切换过程中团队最常遇到的问题集中在兼容性、性能和稳定性三方面。下表整理了典型现象和排查思路问题现象常见原因解决思路新加速卡无法被框架识别驱动未正确安装或版本不匹配查看系统日志重装驱动确认框架适配列表多机训练时 NCCL/HCCL 超时网卡未能构建 RDMA 链路检查 RoCE 配置、PFC 优先级、光模块模式训练 loss 不收敛误差大算子精度不匹配或框架版本差异用官方 benchmark 单算子对比检查 mix precision 配置光模块协商速率降级固件版本或传输距离不匹配ethtool 查看自协商结果更换支持更长距离的模块液冷系统温度过高CDU 流量不足或快接头密封不良检查管路接头、冷却液流量计和 CDU 告警日志新服务器进入机房后无法联调供电规格与现有母线不匹配检查 PSU 输入电压范围、柜内PDU接口类型推理服务切换后延迟突增图编译未完成首次推理较慢预热推理模型或开启持久化缓存如果在排查中发现某个部件无法定位故障根因尽量保留完整的日志和上下文信息减少供应商协同排查的沟通成本。7. 最佳实践与工程建议结合多位负责过智算中心建设与运维的读者反馈这里整理几条工程层面的建议。第一把供应链风险写进架构评审清单。现在很多团队做架构评审只关心“性能是否达标”很少问“关键部件是否可替代”。建议评审模板里增加几个问题这个方案的服务器准系统来源光模块供应是否锁定某品牌备件库存够用多久第二建立“两个供应商、两个产地”的采购原则。对于光模块、电源模块、液冷设备这些高价值且易受限的部件至少保留两个可互相替代的供应商。避免单点依赖。第三提前建立国产化适配实验室。即使当前业务不需要切换也建议在测试环境里准备一两个国产芯片节点持续跑小规模任务积累算子兼容性数据。这样一旦外部环境变化团队不会从零开始。第四关注行业软件生态的迁移工具。很多国产芯片厂商提供了直接从 CUDA 迁移的辅助工具例如自动算子映射工具、模型转换工具。虽然不能做到 100% 自动迁移但能明显降低人工适配量。第五不要忽视人才培养。国产化替代不只是“换硬件”更是团队技术栈的迁移。让一线工程师尽早参与国产芯片的测试和调优对后续项目落地帮助很大。
