去年给训练集群换新卡的时候我最先做的不是跑分而是逐张查 PCIe 链路状态。结果发现其中一张卡协商到的速度只有 8GT/s也就是 PCIe Gen3而不是新平台该有的 32GT/s。系统能认卡训练也能跑但这张卡等于一直在用四分之一带宽的管子搬运数据资源浪费得非常隐蔽。AI 加速卡这几年算力翻倍的速度确实吓人但有个容易被忽略的事实算力再高数据进不来、出不去GPU 也只能空转。PCIe 就是主机和加速卡之间唯一的大动脉。我见过太多朋友纠结加速卡型号却把总线带宽这个基础问题放到最后才排查。这篇文章就把 AI 加速卡的 IO 命脉这件事讲透PCIe Gen5 到底带来了什么Gen6 为什么要大改以及我们这些做基础设施的人该怎么提前准备。1. AI加速卡的IO瓶颈到底卡在哪1.1 算力翻倍IO却始终差一个数量级看一张现代加速卡的规格表你会觉得它几乎无敌单卡几十上百 TFLOPSHBM 显存带宽轻松突破 4TB/s看起来数据处理能力非常充裕。但注意这些数字描述的都是芯片内部或者显存与计算单元之间的通路。真正连接加速卡和主机内存、NVMe 硬盘、网卡的是 PCIe 总线。以目前主流的 PCIe Gen5 x16 为例单向带宽大约 64GB/s。对比一下 H100/H200 的 4.8TB/s 显存带宽两者差了 75 倍左右。这个差异并不是设计缺陷而是两者的定位完全不同显存带宽服务的是芯片内部高并发计算PCIe 服务的是外部数据的进出。打个比方显存带宽是你办公桌的面积PCIe 是通往办公室的唯一走廊。办公桌再大你要从仓库搬文件进来走廊不够宽一切都是白搭。所以我在评估一台 AI 服务器时从来不会只看 GPU 型号。CPU、内存、NVMe、网卡和 PCIe 拓扑组合起来才决定这台机器在真实业务里的表现。很多训练任务跑不快不是 GPU 算力不够而是数据根本喂不进去。1.2 一次训练迭代里PCIe到底在忙什么很多人以为训练时数据早就驻留在显存里了PCIe 没什么事干。其实完全不是这样。一次常规的训练迭代里PCIe 至少要承担三类流量主机到设备H2D加载训练样本、把 embedding 表从内存同步到显存、实时数据增强后的张量传输这些都从主机内存出发经 PCIe 进入显存。设备到主机D2H定时写 checkpoint、梯度规约时 CPU 侧的聚合、推理服务把结果回传 CPU、打印日志里的中间张量都会走这条反向通路。设备到设备D2D当 NVLink 不可用或跨 PCIe switch 通信时数据会先在 GPU 显存之间经由 PCIe 交换再到达目标 GPU。说个更直观的例子。70B 参数的模型光权重就是大约 140GBbf16 精度。如果做推理服务的冷启动要把这 140GB 从 NVMe 经 CPU 内存搬到显存PCIe 带宽就是绝对瓶颈。Gen4 x16 下大约要 4 秒多Gen5 x16 下大约能压到 2 秒多。如果是多租户平台频繁换模型这几秒的差距会被不断放大最终表现为 GPU 利用率上不去。我有一段时间特别困惑为什么监控面板上 GPU 利用率总是一跳一跳的像锯齿一样。后来抓了 IO 曲线才发现每次训练迭代开始前都要从主机内存读一批增强后的图片PCIe 带宽占满GPU 只能等人。这不是软件优化能解决的问题这是总线带宽的物理边界。1.3 NVLink很强但PCIe始终绕不开有朋友会问现在多卡服务器不是都有 NVLink 吗卡间通信不走 NVLink 吗确实NVLink 把卡间互联带宽做到了 PCIe 的好几倍H100 的 NVLink 带宽约 900GB/s但 NVLink 解决的问题是卡与卡之间。主机内存和显存之间没有 NVLink网卡和 GPU 之间的 GPUDirect RDMA 也要经过 PCIe switch控制面命令的下发更离不开 PCIe。换句话说NVLink 是在机内搭建了一张高速局域网但 PCIe 仍然是这张网接入外部世界的唯一出入口。多机分布式训练里每台机器的梯度要先走网卡出去而网卡本身挂在 PCIe 上。这时候 PCIe 就成了隐含瓶颈明明网卡标称 400Gbps但如果你插在一个 x8 的 Gen4 槽位上实际吞吐可能连一半都跑不满。PCIe 的迭代对 AI 基础设施的影响从来不是参数好看而是直接落在真实业务的吞吐上。2. PCIe Gen5的实际表现与落地经验2.1 先理清Gen5的几个关键参数PCIe Gen5 在消费级平台和服务器平台的普及速度并不一样但技术参数是一致的。它的单通道速率从 Gen4 的 16GT/s 提升到了 32GT/s仍然采用 NRZ 调制编码方式保持 128b/130b。x16 链路单向带宽从约 32GB/s 提升到约 64GB/s双向大约 128GB/s。这里有个容易被忽略的细节。Gen4 到 Gen5 的速率翻倍并不是简单地把时钟加倍就完了。信号频率到了 32GHz 这个量级PCB 走线、连接器、信号反射和串扰带来的损耗都会急剧上升。同样的插槽Gen4 能稳定跑Gen5 可能因为走线太长或者用了劣质转接卡直接降速。这就是为什么 Gen5 时代的主板和服务器普遍开始用 retimer 或者 redriver 芯片不是厂商想堆料而是不用这些芯片信号完整性根本压不住。我整理了一个简表方便对照各代 PCIe 的基本情况PCIe版本单通道速率调制方式编码方式x16单向带宽约Gen38 GT/sNRZ128b/130b16 GB/sGen416 GT/sNRZ128b/130b32 GB/sGen532 GT/sNRZ128b/130b64 GB/sGen664 GT/sPAM4128b/130b FEC128 GB/s2.2 实测Gen4和Gen5在AI场景的差距我自己在实验室做过一次对比测试。同一台双路服务器分别用支持 Gen4 和 Gen5 的 GPU 跑同一个 checkpoint 加载场景模型大小约 60GB。用nvbandwidth工具测 H2D 和 D2H 的理论带宽再测真实业务里的冷加载耗时。理论带宽数据比较符合标称数值Gen4 x16 下 H2D 大约 30GB/sGen5 x16 下大约 58GB/s基本是翻倍的关系。真实 checkpoint 加载从 2.1 秒左右降到了 1.2 秒左右。如果是带大 embedding 表的推荐模型冷启动时间从几十秒降到十几秒的体验提升非常明显。但我也要泼一盆冷水如果你的模型和数据集常驻显存平时的训练迭代性能几乎不会有变化。因为稳态训练时 PCIe 只在加载 batch 和梯度同步时偶尔被占用持续时间短达不到带宽瓶颈。Gen5 最大的受益场景是冷启动、大规模推理服务的模型切换、checkpoint 频繁读写、以及数据增强强度很大的训练管线。选型时先想清楚业务模型再决定要不要为 Gen5 付额外成本。2.3 Gen5还解决不了哪些问题Gen5 把单链路带宽推到了约 64GB/s但 AI 场景里的数据搬不动问题依然存在。第一个是 8 卡 GPU 服务器内部的 PCIe 拓扑。8 张卡全部直连 CPU 是不可能的通道数不够。常见方案是通过 PCIe switch 把 x16 链路拆分成多条 x16 或者 x8GPU 之间通信要经过 switch。switch 本身有延迟如果多张卡同时向主机写 checkpoint上行带宽会互相挤占。Gen5 只提高了单条链路的速率没有改变共享带宽的架构。第二个是显存容量不够时的换入换出。大模型推理场景中如果模型的 KV cache 加起来超过显存容量一个常见方案是把暂时不用的层或者 cache 换到主机内存用的时候再搬回来。这时候 PCIe 带宽决定了换页的延迟。Gen5 的 64GB/s 相比 DDR5 内存动辄几百 GB/s 的带宽依然差很多换页频繁时延迟会非常感人。第三个是 GPUDirect StorageGDS。GDS 允许 GPU 绕过 CPU 直接从 NVMe 读数据省掉了内存拷贝确实高效。但它的最终带宽上限还是由 PCIe 链路决定。PCIe 速度不涨GDS 的收益就卡在那条管子上。所以我一直觉得Gen5 是个非常实用的过渡版本但它并没有改变 AI 基础设施里 IO 的相对短缺只是把短板从非常短变成了短。3. PCIe Gen6到底改了些什么3.1 从NRZ到PAM4信息密度翻倍的代价PCIe Gen6 最核心的变化是把调制方式从 NRZ 换成了 PAM4。这里面有非常清晰的物理逻辑。NRZ 只有两个电平分别表示 0 和 1一个符号携带 1bit 信息。PAM4 用四个电平分别表示 00、01、10、11一个符号携带 2bit 信息。在符号率不变的情况下PAM4 可以让有效数据速率直接翻倍。Gen6 的单通道速率标称 64GT/s等效比特率相比 Gen5 的 32GT/s 是严格翻倍的x16 单向带宽因此来到了约 128GB/s。但天下没有白吃的午餐。PAM4 把一个完整的电压摆幅分成了四份相邻电平之间的间距只有 NRZ 的三分之一左右。这意味着同样强度的噪声干扰在 PAM4 下更容易导致误判。打个比方一个房间里原来只站两个人距离拉得很开互相不干扰。现在为了效率让四个人挤同一个房间彼此之间的边界就模糊了。信号完整性稍差接收端就可能把01判成00。为了对抗这个问题Gen6 引入了更强的纠错机制。这也就是我在前面表格里标注 FEC 的原因。FEC 不是可选项而是 Gen6 链路训练后必须启用的。3.2 FEC和FLIT让高速链路真正稳定可靠FEC前向纠错的原理并不复杂。发送端在数据里加入额外的冗余校验信息接收端收到后不光能发现错误还能在本地纠正一定数量的错误而不需要请求发送方重传。类似快递单上有个二维码哪怕局部被弄脏了扫描设备也能靠冗余信息还原出完整地址。Gen6 的 FEC 是配合 FLITFlow Control Unit机制工作的。数据被封装成固定大小的单元每个 FLIT 里自带 CRC 校验和 FEC 冗余。链路层发现错误时直接靠 FEC 在接收端纠正纠正不了才会触发重传。这样做最大的好处是降低了重传带来的延迟抖动。为什么这对 AI 很重要因为大规模训练和推理最怕的不是偶尔一次延迟高而是延迟抖动。一次 PCIe 重传可能导致某个 rank 的同步被拖慢最终表现为整个集群的 loss 曲线出现毛刺。Gen6 用 FEC 把误码导致的链路抖动压下去对长时间跑训练任务来说稳定性的价值甚至比那翻倍的带宽更关键。3.3 CXL和内存池化Gen6给AI带来的更大想象空间讨论 Gen6 如果不提 CXL基本上等于白聊。CXL 是基于 PCIe 物理层和协议演进出来的一套缓存一致性互联协议它允许 CPU、GPU、内存、智能网卡之间共享一致性的内存语义。CXL 3.0 版本就是跑在 PCIe Gen6 的物理层上。CXL 对 AI 加速卡的意义最直接的体现就是内存池化。未来一台服务器里的多张加速卡可以通过 CXL 访问同一个大容量内存池而不只是各自盯着自己那点显存。大模型训练时参数和 KV cache 可以按需从内存池换入显存显存不够的时候也不用把整卡任务停下来折腾换卡。当然CXL 内存的带宽相比 HBM 差距依然很大它解决的是容量问题而不是带宽问题。但 Gen6 把 PCIe 带宽翻到了约 128GB/s让这种换入换出的操作至少变得可以容忍。我个人的判断是Gen6 对 AI 的最大红利不是单卡传输更快而是它给 CXL 内存池化铺好了路。等生态完善之后服务器的内存墙问题会有个真正可行的解。4. 面向Gen6的工程准备与选型建议4.1 硬件链路不再是插上就能跑从 Gen5 开始PCIe 高速信号就对 PCB 设计提出了极高要求。到了 Gen6信号频率进一步翻倍链路预算变得更加紧张。PCB 板材的介电损耗、走线长度、过孔残桩、连接器质量每一项都可能成为信号质量的短板。如果拿消费级主板的 PCB 设计思路去做 Gen6大概率会出现链路训练失败或者频繁降速。服务器厂商在 Gen5 时代已经普遍采用 retimer 方案Gen6 会更依赖这类芯片。retimer 和 redriver 的区别在于redriver 只是把信号放大相当于给声音加个扩音器retimer 会把信号重新定时和整形相当于把一位说话含糊的人重新复述一遍。retimer 效果好但会增加延迟所以服务器里的 retimer 数量不是越多越好合适才重要。选型时建议关注官方技术白皮书里对链路拓扑的说明确认高速信号走了哪些 switch、哪些 retimer不要只看 GPU 数量。另外功耗也值得提前估算。Gen6 链路的功耗比 Gen5 更高FEC 的持续解码也会消耗额外功率。在高密度机柜里单台服务器的功耗预算如果卡得很紧总线功耗会进一步挤压 GPU 的可用功耗。这在水冷和风冷设计上都要提前留余量。4.2 服务器选型时重点看什么如果你最近有采购 AI 服务器的计划不要把注意力全放在 GPU 上。以下几个点非常影响真实的 PCIe 体验CPU 本身的 PCIe 通道数和代数。有些 CPU 只支持 Gen4插上 Gen5 的 GPU 也会被协商到 Gen4。主板上的 PCIe 插槽是否支持 bifurcation。GPU 卡虽然物理上是 x16但很多服务器会把 x16 拆分成两个 x8 或四个 x4 来接多张卡规划拓扑前要确认拆分能力。是否采用了 retimerretimer 的位置和数量。好的拓扑是 GPU 尽量靠近 CPU 原生 PCIe root complex减少中间跳数。网卡的插槽位置。如果 400G 网卡插在 Gen4 x8 上实际吞吐会受限一定要确认网卡和 GPU 的 PCIe 资源互不挤占。我见过一个比较典型的反面案例采购时只看了 GPU 型号和数量结果网卡和存储控制器挤在同一组 PCIe switch 下多机训练时网络流量和存储流量互相抢带宽训练速度怎么调都上不去。这种问题后期很难通过软件优化解决只能换拓扑或者换硬件。4.3 如何验证链路真的跑到了想要的速率装机后的第一步不是急着跑训练而是先把每张卡的 PCIe 链路状态查一遍。Linux 下最常用的是lspcilspci -vvv -s 3b:00.0 | grep -E LnkCap|LnkStaLnkCap显示的是设备支持的最高能力LnkSta显示的是当前实际协商到的速度和宽度。理想情况下Gen5 x16 的卡应该显示64GT/s和Width x16。如果只显示8GT/s或者Width x4说明链路训练出了问题。带宽压测我建议用 NVIDIA 官方的nvbandwidth它能直接测 H2D、D2H、D2D 等方向的带宽。跑一遍之后把数值和标称值对比如果明显低于理论值再检查降速原因。系统日志也要看dmesg | grep -i pcie如果有大量 AER 错误或者 link down/up 的记录说明信号质量有问题早发现早处理别等到训练任务上线后才发现某张卡不对劲。5. 常见问题与排障实录5.1 最常见链路协商不到满速我在装机时遇到最多的现象就是卡明明支持 Gen5但LnkSta只显示 Gen3 或 Gen4。排查顺序一般是这样先看 BIOS 里 PCIe Link Speed 的设置。有些服务器默认设为 Gen3 省电模式手动改成 Gen4/Gen5 Auto 再重启。再检查物理链路。机架式 GPU 服务器里的 riser 卡和转接线是 Gen5 信号的头号杀手。劣质转接卡或者接触不良会让链路训练自动降速。换个槽位插或者换根转接线试试经常能解决。最后确认 PCIe 通道分配。CPU 通道数不足时BIOS 可能把 x16 的卡分配到 x8 或 x4 上。这个时候看LnkSta的 Width 字段就知道了。有一次我们排查一张卡反复掉速最后发现是机箱里 riser 卡的一颗螺丝没拧紧导致转接卡微微翘起信号完整性大打折扣。拧紧后重新插拔链路立刻恢复到满速。这类问题非常隐蔽建议装机单里加上一条检查所有 PCIe 转接卡固定螺丝。5.2 AER报错刷屏怎么定性系统日志里出现大量类似AER: Corrected error received的报错说明链路上确实发生过可纠正错误。偶尔一条可以忽略但如果持续刷屏必须重视。可纠正错误频发的本质是信号质量余量不足。常见诱因包括链路速率太高但 PCB 走线质量一般、转接卡质量差、温度过高导致信号时序漂移、防尘没做好导致金手指氧化。处理办法是先用软件方式降低压力测试时长如果错误率依然很高大概率要动硬件。这里我建议用工具先量化错误率。拿一张有问题的卡在满载 PCIe 流量下观察 dmesg 里 AER 错误的数量增长。如果几分钟内增长成百上千条说明物理链路余量已经非常紧张换槽位或换转接卡比找软件配置更高效。5.3 如何用数据判断是不是PCIe带宽不够有些朋友来问训练时 GPU 利用率波动明显怎么判断是不是 PCIe 瓶颈。我一般会用两条曲线交叉验证。一条是 GPU 利用率曲线另一条是 PCIe 读写吞吐曲线。如果 GPU 利用率掉到接近 0% 的同时PCIe H2D 或 D2H 吞吐拉到接近带宽上限那基本可以确定是 PCIe 喂不动数据。比如 Gen4 x16 下 H2D 跑到 28GB/s 且持续接近峰值而 GPU 利用率周期性下跌说明总线已经满载数据搬不过来。这种情况下可选的优化路线有几条一是用 NVLink 或 GPUDirect Storage 绕过不必要的 CPU 和 PCIe 路径二是增加数据加载的并行度让 PCIe 在计算阶段提前搬运下一批数据三是调整 batch size减少单位时间里需要搬移的数据量。如果这些手段都试过还是不够那就只能升级到 Gen5 甚至未来的 Gen6 平台从根上拓宽通路。6. 一些个人经验和体会说实话PCIe 这个基础技术在 AI 时代经常被当成理所当然的东西。大家讨论 GPU、讨论算法、讨论框架但很少有人会在意一张卡是不是因为链路降速在偷懒。然而真实的数据中心和训练集群里恰恰是这些底层链路问题最容易造成隐性浪费。我现在每次装机或者验机都会花两分钟把所有 PCIe 链路状态拉一遍把每张卡、每块网卡对应的速率和宽度记录到表格里存档。这个习惯帮我避免过很多次线上事故。链路速度不对系统不一定报错训练也能跑但性能就是上不去。与其等业务受损再回头排查不如从一开始就把 IO 这条命脉握在自己手里。Gen6 离大规模普及还有几年但技术演进的路线已经很清晰更高速率、更强纠错、更统一的互联语义。无论你是做训练平台还是推理服务提前理解 PCIe 的变化总不会吃亏。
PCIe Gen5/Gen6演进：AI加速卡IO瓶颈与服务器选型实践
去年给训练集群换新卡的时候我最先做的不是跑分而是逐张查 PCIe 链路状态。结果发现其中一张卡协商到的速度只有 8GT/s也就是 PCIe Gen3而不是新平台该有的 32GT/s。系统能认卡训练也能跑但这张卡等于一直在用四分之一带宽的管子搬运数据资源浪费得非常隐蔽。AI 加速卡这几年算力翻倍的速度确实吓人但有个容易被忽略的事实算力再高数据进不来、出不去GPU 也只能空转。PCIe 就是主机和加速卡之间唯一的大动脉。我见过太多朋友纠结加速卡型号却把总线带宽这个基础问题放到最后才排查。这篇文章就把 AI 加速卡的 IO 命脉这件事讲透PCIe Gen5 到底带来了什么Gen6 为什么要大改以及我们这些做基础设施的人该怎么提前准备。1. AI加速卡的IO瓶颈到底卡在哪1.1 算力翻倍IO却始终差一个数量级看一张现代加速卡的规格表你会觉得它几乎无敌单卡几十上百 TFLOPSHBM 显存带宽轻松突破 4TB/s看起来数据处理能力非常充裕。但注意这些数字描述的都是芯片内部或者显存与计算单元之间的通路。真正连接加速卡和主机内存、NVMe 硬盘、网卡的是 PCIe 总线。以目前主流的 PCIe Gen5 x16 为例单向带宽大约 64GB/s。对比一下 H100/H200 的 4.8TB/s 显存带宽两者差了 75 倍左右。这个差异并不是设计缺陷而是两者的定位完全不同显存带宽服务的是芯片内部高并发计算PCIe 服务的是外部数据的进出。打个比方显存带宽是你办公桌的面积PCIe 是通往办公室的唯一走廊。办公桌再大你要从仓库搬文件进来走廊不够宽一切都是白搭。所以我在评估一台 AI 服务器时从来不会只看 GPU 型号。CPU、内存、NVMe、网卡和 PCIe 拓扑组合起来才决定这台机器在真实业务里的表现。很多训练任务跑不快不是 GPU 算力不够而是数据根本喂不进去。1.2 一次训练迭代里PCIe到底在忙什么很多人以为训练时数据早就驻留在显存里了PCIe 没什么事干。其实完全不是这样。一次常规的训练迭代里PCIe 至少要承担三类流量主机到设备H2D加载训练样本、把 embedding 表从内存同步到显存、实时数据增强后的张量传输这些都从主机内存出发经 PCIe 进入显存。设备到主机D2H定时写 checkpoint、梯度规约时 CPU 侧的聚合、推理服务把结果回传 CPU、打印日志里的中间张量都会走这条反向通路。设备到设备D2D当 NVLink 不可用或跨 PCIe switch 通信时数据会先在 GPU 显存之间经由 PCIe 交换再到达目标 GPU。说个更直观的例子。70B 参数的模型光权重就是大约 140GBbf16 精度。如果做推理服务的冷启动要把这 140GB 从 NVMe 经 CPU 内存搬到显存PCIe 带宽就是绝对瓶颈。Gen4 x16 下大约要 4 秒多Gen5 x16 下大约能压到 2 秒多。如果是多租户平台频繁换模型这几秒的差距会被不断放大最终表现为 GPU 利用率上不去。我有一段时间特别困惑为什么监控面板上 GPU 利用率总是一跳一跳的像锯齿一样。后来抓了 IO 曲线才发现每次训练迭代开始前都要从主机内存读一批增强后的图片PCIe 带宽占满GPU 只能等人。这不是软件优化能解决的问题这是总线带宽的物理边界。1.3 NVLink很强但PCIe始终绕不开有朋友会问现在多卡服务器不是都有 NVLink 吗卡间通信不走 NVLink 吗确实NVLink 把卡间互联带宽做到了 PCIe 的好几倍H100 的 NVLink 带宽约 900GB/s但 NVLink 解决的问题是卡与卡之间。主机内存和显存之间没有 NVLink网卡和 GPU 之间的 GPUDirect RDMA 也要经过 PCIe switch控制面命令的下发更离不开 PCIe。换句话说NVLink 是在机内搭建了一张高速局域网但 PCIe 仍然是这张网接入外部世界的唯一出入口。多机分布式训练里每台机器的梯度要先走网卡出去而网卡本身挂在 PCIe 上。这时候 PCIe 就成了隐含瓶颈明明网卡标称 400Gbps但如果你插在一个 x8 的 Gen4 槽位上实际吞吐可能连一半都跑不满。PCIe 的迭代对 AI 基础设施的影响从来不是参数好看而是直接落在真实业务的吞吐上。2. PCIe Gen5的实际表现与落地经验2.1 先理清Gen5的几个关键参数PCIe Gen5 在消费级平台和服务器平台的普及速度并不一样但技术参数是一致的。它的单通道速率从 Gen4 的 16GT/s 提升到了 32GT/s仍然采用 NRZ 调制编码方式保持 128b/130b。x16 链路单向带宽从约 32GB/s 提升到约 64GB/s双向大约 128GB/s。这里有个容易被忽略的细节。Gen4 到 Gen5 的速率翻倍并不是简单地把时钟加倍就完了。信号频率到了 32GHz 这个量级PCB 走线、连接器、信号反射和串扰带来的损耗都会急剧上升。同样的插槽Gen4 能稳定跑Gen5 可能因为走线太长或者用了劣质转接卡直接降速。这就是为什么 Gen5 时代的主板和服务器普遍开始用 retimer 或者 redriver 芯片不是厂商想堆料而是不用这些芯片信号完整性根本压不住。我整理了一个简表方便对照各代 PCIe 的基本情况PCIe版本单通道速率调制方式编码方式x16单向带宽约Gen38 GT/sNRZ128b/130b16 GB/sGen416 GT/sNRZ128b/130b32 GB/sGen532 GT/sNRZ128b/130b64 GB/sGen664 GT/sPAM4128b/130b FEC128 GB/s2.2 实测Gen4和Gen5在AI场景的差距我自己在实验室做过一次对比测试。同一台双路服务器分别用支持 Gen4 和 Gen5 的 GPU 跑同一个 checkpoint 加载场景模型大小约 60GB。用nvbandwidth工具测 H2D 和 D2H 的理论带宽再测真实业务里的冷加载耗时。理论带宽数据比较符合标称数值Gen4 x16 下 H2D 大约 30GB/sGen5 x16 下大约 58GB/s基本是翻倍的关系。真实 checkpoint 加载从 2.1 秒左右降到了 1.2 秒左右。如果是带大 embedding 表的推荐模型冷启动时间从几十秒降到十几秒的体验提升非常明显。但我也要泼一盆冷水如果你的模型和数据集常驻显存平时的训练迭代性能几乎不会有变化。因为稳态训练时 PCIe 只在加载 batch 和梯度同步时偶尔被占用持续时间短达不到带宽瓶颈。Gen5 最大的受益场景是冷启动、大规模推理服务的模型切换、checkpoint 频繁读写、以及数据增强强度很大的训练管线。选型时先想清楚业务模型再决定要不要为 Gen5 付额外成本。2.3 Gen5还解决不了哪些问题Gen5 把单链路带宽推到了约 64GB/s但 AI 场景里的数据搬不动问题依然存在。第一个是 8 卡 GPU 服务器内部的 PCIe 拓扑。8 张卡全部直连 CPU 是不可能的通道数不够。常见方案是通过 PCIe switch 把 x16 链路拆分成多条 x16 或者 x8GPU 之间通信要经过 switch。switch 本身有延迟如果多张卡同时向主机写 checkpoint上行带宽会互相挤占。Gen5 只提高了单条链路的速率没有改变共享带宽的架构。第二个是显存容量不够时的换入换出。大模型推理场景中如果模型的 KV cache 加起来超过显存容量一个常见方案是把暂时不用的层或者 cache 换到主机内存用的时候再搬回来。这时候 PCIe 带宽决定了换页的延迟。Gen5 的 64GB/s 相比 DDR5 内存动辄几百 GB/s 的带宽依然差很多换页频繁时延迟会非常感人。第三个是 GPUDirect StorageGDS。GDS 允许 GPU 绕过 CPU 直接从 NVMe 读数据省掉了内存拷贝确实高效。但它的最终带宽上限还是由 PCIe 链路决定。PCIe 速度不涨GDS 的收益就卡在那条管子上。所以我一直觉得Gen5 是个非常实用的过渡版本但它并没有改变 AI 基础设施里 IO 的相对短缺只是把短板从非常短变成了短。3. PCIe Gen6到底改了些什么3.1 从NRZ到PAM4信息密度翻倍的代价PCIe Gen6 最核心的变化是把调制方式从 NRZ 换成了 PAM4。这里面有非常清晰的物理逻辑。NRZ 只有两个电平分别表示 0 和 1一个符号携带 1bit 信息。PAM4 用四个电平分别表示 00、01、10、11一个符号携带 2bit 信息。在符号率不变的情况下PAM4 可以让有效数据速率直接翻倍。Gen6 的单通道速率标称 64GT/s等效比特率相比 Gen5 的 32GT/s 是严格翻倍的x16 单向带宽因此来到了约 128GB/s。但天下没有白吃的午餐。PAM4 把一个完整的电压摆幅分成了四份相邻电平之间的间距只有 NRZ 的三分之一左右。这意味着同样强度的噪声干扰在 PAM4 下更容易导致误判。打个比方一个房间里原来只站两个人距离拉得很开互相不干扰。现在为了效率让四个人挤同一个房间彼此之间的边界就模糊了。信号完整性稍差接收端就可能把01判成00。为了对抗这个问题Gen6 引入了更强的纠错机制。这也就是我在前面表格里标注 FEC 的原因。FEC 不是可选项而是 Gen6 链路训练后必须启用的。3.2 FEC和FLIT让高速链路真正稳定可靠FEC前向纠错的原理并不复杂。发送端在数据里加入额外的冗余校验信息接收端收到后不光能发现错误还能在本地纠正一定数量的错误而不需要请求发送方重传。类似快递单上有个二维码哪怕局部被弄脏了扫描设备也能靠冗余信息还原出完整地址。Gen6 的 FEC 是配合 FLITFlow Control Unit机制工作的。数据被封装成固定大小的单元每个 FLIT 里自带 CRC 校验和 FEC 冗余。链路层发现错误时直接靠 FEC 在接收端纠正纠正不了才会触发重传。这样做最大的好处是降低了重传带来的延迟抖动。为什么这对 AI 很重要因为大规模训练和推理最怕的不是偶尔一次延迟高而是延迟抖动。一次 PCIe 重传可能导致某个 rank 的同步被拖慢最终表现为整个集群的 loss 曲线出现毛刺。Gen6 用 FEC 把误码导致的链路抖动压下去对长时间跑训练任务来说稳定性的价值甚至比那翻倍的带宽更关键。3.3 CXL和内存池化Gen6给AI带来的更大想象空间讨论 Gen6 如果不提 CXL基本上等于白聊。CXL 是基于 PCIe 物理层和协议演进出来的一套缓存一致性互联协议它允许 CPU、GPU、内存、智能网卡之间共享一致性的内存语义。CXL 3.0 版本就是跑在 PCIe Gen6 的物理层上。CXL 对 AI 加速卡的意义最直接的体现就是内存池化。未来一台服务器里的多张加速卡可以通过 CXL 访问同一个大容量内存池而不只是各自盯着自己那点显存。大模型训练时参数和 KV cache 可以按需从内存池换入显存显存不够的时候也不用把整卡任务停下来折腾换卡。当然CXL 内存的带宽相比 HBM 差距依然很大它解决的是容量问题而不是带宽问题。但 Gen6 把 PCIe 带宽翻到了约 128GB/s让这种换入换出的操作至少变得可以容忍。我个人的判断是Gen6 对 AI 的最大红利不是单卡传输更快而是它给 CXL 内存池化铺好了路。等生态完善之后服务器的内存墙问题会有个真正可行的解。4. 面向Gen6的工程准备与选型建议4.1 硬件链路不再是插上就能跑从 Gen5 开始PCIe 高速信号就对 PCB 设计提出了极高要求。到了 Gen6信号频率进一步翻倍链路预算变得更加紧张。PCB 板材的介电损耗、走线长度、过孔残桩、连接器质量每一项都可能成为信号质量的短板。如果拿消费级主板的 PCB 设计思路去做 Gen6大概率会出现链路训练失败或者频繁降速。服务器厂商在 Gen5 时代已经普遍采用 retimer 方案Gen6 会更依赖这类芯片。retimer 和 redriver 的区别在于redriver 只是把信号放大相当于给声音加个扩音器retimer 会把信号重新定时和整形相当于把一位说话含糊的人重新复述一遍。retimer 效果好但会增加延迟所以服务器里的 retimer 数量不是越多越好合适才重要。选型时建议关注官方技术白皮书里对链路拓扑的说明确认高速信号走了哪些 switch、哪些 retimer不要只看 GPU 数量。另外功耗也值得提前估算。Gen6 链路的功耗比 Gen5 更高FEC 的持续解码也会消耗额外功率。在高密度机柜里单台服务器的功耗预算如果卡得很紧总线功耗会进一步挤压 GPU 的可用功耗。这在水冷和风冷设计上都要提前留余量。4.2 服务器选型时重点看什么如果你最近有采购 AI 服务器的计划不要把注意力全放在 GPU 上。以下几个点非常影响真实的 PCIe 体验CPU 本身的 PCIe 通道数和代数。有些 CPU 只支持 Gen4插上 Gen5 的 GPU 也会被协商到 Gen4。主板上的 PCIe 插槽是否支持 bifurcation。GPU 卡虽然物理上是 x16但很多服务器会把 x16 拆分成两个 x8 或四个 x4 来接多张卡规划拓扑前要确认拆分能力。是否采用了 retimerretimer 的位置和数量。好的拓扑是 GPU 尽量靠近 CPU 原生 PCIe root complex减少中间跳数。网卡的插槽位置。如果 400G 网卡插在 Gen4 x8 上实际吞吐会受限一定要确认网卡和 GPU 的 PCIe 资源互不挤占。我见过一个比较典型的反面案例采购时只看了 GPU 型号和数量结果网卡和存储控制器挤在同一组 PCIe switch 下多机训练时网络流量和存储流量互相抢带宽训练速度怎么调都上不去。这种问题后期很难通过软件优化解决只能换拓扑或者换硬件。4.3 如何验证链路真的跑到了想要的速率装机后的第一步不是急着跑训练而是先把每张卡的 PCIe 链路状态查一遍。Linux 下最常用的是lspcilspci -vvv -s 3b:00.0 | grep -E LnkCap|LnkStaLnkCap显示的是设备支持的最高能力LnkSta显示的是当前实际协商到的速度和宽度。理想情况下Gen5 x16 的卡应该显示64GT/s和Width x16。如果只显示8GT/s或者Width x4说明链路训练出了问题。带宽压测我建议用 NVIDIA 官方的nvbandwidth它能直接测 H2D、D2H、D2D 等方向的带宽。跑一遍之后把数值和标称值对比如果明显低于理论值再检查降速原因。系统日志也要看dmesg | grep -i pcie如果有大量 AER 错误或者 link down/up 的记录说明信号质量有问题早发现早处理别等到训练任务上线后才发现某张卡不对劲。5. 常见问题与排障实录5.1 最常见链路协商不到满速我在装机时遇到最多的现象就是卡明明支持 Gen5但LnkSta只显示 Gen3 或 Gen4。排查顺序一般是这样先看 BIOS 里 PCIe Link Speed 的设置。有些服务器默认设为 Gen3 省电模式手动改成 Gen4/Gen5 Auto 再重启。再检查物理链路。机架式 GPU 服务器里的 riser 卡和转接线是 Gen5 信号的头号杀手。劣质转接卡或者接触不良会让链路训练自动降速。换个槽位插或者换根转接线试试经常能解决。最后确认 PCIe 通道分配。CPU 通道数不足时BIOS 可能把 x16 的卡分配到 x8 或 x4 上。这个时候看LnkSta的 Width 字段就知道了。有一次我们排查一张卡反复掉速最后发现是机箱里 riser 卡的一颗螺丝没拧紧导致转接卡微微翘起信号完整性大打折扣。拧紧后重新插拔链路立刻恢复到满速。这类问题非常隐蔽建议装机单里加上一条检查所有 PCIe 转接卡固定螺丝。5.2 AER报错刷屏怎么定性系统日志里出现大量类似AER: Corrected error received的报错说明链路上确实发生过可纠正错误。偶尔一条可以忽略但如果持续刷屏必须重视。可纠正错误频发的本质是信号质量余量不足。常见诱因包括链路速率太高但 PCB 走线质量一般、转接卡质量差、温度过高导致信号时序漂移、防尘没做好导致金手指氧化。处理办法是先用软件方式降低压力测试时长如果错误率依然很高大概率要动硬件。这里我建议用工具先量化错误率。拿一张有问题的卡在满载 PCIe 流量下观察 dmesg 里 AER 错误的数量增长。如果几分钟内增长成百上千条说明物理链路余量已经非常紧张换槽位或换转接卡比找软件配置更高效。5.3 如何用数据判断是不是PCIe带宽不够有些朋友来问训练时 GPU 利用率波动明显怎么判断是不是 PCIe 瓶颈。我一般会用两条曲线交叉验证。一条是 GPU 利用率曲线另一条是 PCIe 读写吞吐曲线。如果 GPU 利用率掉到接近 0% 的同时PCIe H2D 或 D2H 吞吐拉到接近带宽上限那基本可以确定是 PCIe 喂不动数据。比如 Gen4 x16 下 H2D 跑到 28GB/s 且持续接近峰值而 GPU 利用率周期性下跌说明总线已经满载数据搬不过来。这种情况下可选的优化路线有几条一是用 NVLink 或 GPUDirect Storage 绕过不必要的 CPU 和 PCIe 路径二是增加数据加载的并行度让 PCIe 在计算阶段提前搬运下一批数据三是调整 batch size减少单位时间里需要搬移的数据量。如果这些手段都试过还是不够那就只能升级到 Gen5 甚至未来的 Gen6 平台从根上拓宽通路。6. 一些个人经验和体会说实话PCIe 这个基础技术在 AI 时代经常被当成理所当然的东西。大家讨论 GPU、讨论算法、讨论框架但很少有人会在意一张卡是不是因为链路降速在偷懒。然而真实的数据中心和训练集群里恰恰是这些底层链路问题最容易造成隐性浪费。我现在每次装机或者验机都会花两分钟把所有 PCIe 链路状态拉一遍把每张卡、每块网卡对应的速率和宽度记录到表格里存档。这个习惯帮我避免过很多次线上事故。链路速度不对系统不一定报错训练也能跑但性能就是上不去。与其等业务受损再回头排查不如从一开始就把 IO 这条命脉握在自己手里。Gen6 离大规模普及还有几年但技术演进的路线已经很清晰更高速率、更强纠错、更统一的互联语义。无论你是做训练平台还是推理服务提前理解 PCIe 的变化总不会吃亏。
