KTransformers：CPU-GPU 异构计算驱动的大模型推理与微调框架深度解析

一个正在重新定义"消费级硬件边界"的研究项目

在大语言模型工程化落地的路径上，有两种截然不同的方向：一种是继续堆叠高端 GPU 集群，依靠算力暴力碾压；另一种是在既有硬件约束内，通过系统级优化挖掘被忽视的计算潜能。KTransformers 属于后者，而且走得相当彻底。

这不是一次渐进式的性能调优，而是一次对"推理栈应该如何组织"这一基础问题的重新回答——它的核心命题是：CPU 和系统内存，能否成为超大规模 MoE 模型推理与微调的合法一等公民？

正如《GitHub - kvcache-ai/ktransformers》项目介绍所指出的，KTransformers 是一个"专注于通过 CPU-GPU 异构计算实现大语言模型高效推理与微调的研究项目"，由清华大学 MADSys 实验室、Approaching.AI 及 9#AISoft 联合开发维护，其学术成果已发表于 ACM SIGOPS 2025 论文集（DOI: 10.1145/3731569.3764843）。

核心机制：异构专家调度，而非简单的 CPU Offload

理解 KTransformers 的关键，在于搞清楚它不是什么。

传统的 CPU Offload 方案（如 ZeRO-Offload）的逻辑是：GPU 显存不够，就把一部分张量临时挪到 CPU 内存，需要时再搬回来。这种方案的本质是"GPU 中心化+CPU 作为缓冲区"，PCIe 数据搬运开销往往成为严重瓶颈，尤其在训练场景下，ZeRO-Offload 的实际吞吐常常令人失望。

KTransformers 的思路在推理场景下截然不同，核心机制是异构专家放置（Heterogeneous Expert Placement）：

• 热专家（Hot Experts）放置在 GPU 显存中，享受高带宽、低延迟的 CUDA 计算；
• 冷专家（Cold Experts）留在 CPU 内存中，通过深度优化的 CPU 内核执行计算；
• 调度策略基于 NUMA 感知的内存管理，减少跨 NUMA 域的内存访问开销。

这个设计的精妙之处在于，它利用了 MoE（Mixture-of-Experts）模型自身的稀疏激活特性——每次推理，只有少数几个专家被激活。这意味着绝大多数专家参数在任意时刻是"静止"的，完全可以驻留在 CPU 内存而不产生频繁的搬运。当模型规模越大（如 DeepSeek-V3/R1 这类拥有数百个专家的模型），这个优势越显著，因为冷热专家的比例越悬殊。

在 CPU 侧的计算能力方面，KTransformers 通过 kt-kernel 提供了深度优化的 CPU 内核，支持：

• Intel AMX（Advanced Matrix Extensions）加速的 INT8/BF16 矩阵运算；
• AVX512/AVX2优化的 INT4/INT8 量化推理内核；
• 从 2026 年 3 月起，还新增了仅依赖 AVX2 的 CPU 后端，覆盖更广泛的硬件。

与前代方案的对比：速度与内存的双重突破

以 DeepSeek-R1/V3 这类旗舰级 MoE 模型为参照系，可以清晰地看到 KTransformers 的价值所在。

在推理场景，正如《Introduction - Ktransformers》官方文档所示，使用 8×L20 GPU + Xeon Gold 6454S 的配置，DeepSeek-R1-0528（FP8 精度）在 8 路并发下可达227.85 tokens/s 总吞吐、87.58 tokens/s 输出吞吐。更早期的数据（2025 年 2 月）显示，在单张 24GB 显存 GPU + 382GB 系统内存的配置下，相较于朴素实现可实现3～28 倍加速。

在微调（SFT）场景，与 ZeRO-Offload 方案相比，KTransformers × LLaMA-Factory 集成方案在基准测试的 MoE SFT 工作负载中实现了6～12 倍训练加速，同时将 CPU 内存占用降至前一代 KT SFT 方案的约一半。具体数据为：

这意味着，原本需要 80GB+ 单卡（如 H100）才能全量微调的超大 MoE 模型，现在用 4 张消费级 RTX 4090 即可完成，而且速度并不慢。这是量变触发质变的典型案例——硬件门槛的大幅下降，将把超大模型微调能力从"大厂专属"变成"研究团队可及"。

牺牲了什么？主要是部署配置的复杂度和对CPU 内存容量的强依赖。382GB 的系统内存并非随处可见，而且异构调度的配置（NUMA 绑定、专家分配策略）需要一定的系统调优经验。

演进轨迹：从实验性工具到生产级基础设施

KTransformers 的更新日志本身就是一部值得细读的演进史。

2024 年 8 月，项目最初以"将 DeepSeekV2 所需显存从 21G 降至 11G"为切入点，以显存压缩作为核心卖点，定位是个人开发者的实验工具。

到 2025 年，项目的野心明显扩展：2025 年 2 月支持 DeepSeek-R1 和 V3，10 月接入 SGLang（主流推理服务框架），11 月与 LLaMA-Factory 深度集成支持微调。硬件生态也在快速扩展：AMD ROCm（2025 年 3 月）、Intel Arc GPU（2025 年 5 月）、华为昇腾 NPU（2025 年 10 月）相继获得支持，表明项目正在建立多硬件平台的护城河。

进入 2026 年，节奏进一步加快：GLM-5、Kimi-K2.5、MiniMax-M2.5、DeepSeek-V4-Flash、GLM-5.2、MiniMax-M3 等模型相继获得"Day0 支持"（即模型发布当天即可运行），这说明 KTransformers 已经建立起了与顶级模型团队的协作机制，而非被动跟进。

2026 年 6 月的 v0.6.1 版本将架构重组为以 kt-kernel 为核心的两大能力模块（推理与 SFT），原有的整合框架被归档，标志着项目从"原型验证"进入"工程化沉淀"阶段。

基于此轨迹，可以推导出一个较为确定的趋势：KTransformers 正在从单机优化工具演变为异构推理的中间件层。SGLang 集成已经迈出第一步，接下来大概率会看到它在更多生产级推理框架中作为 CPU 计算后端出现。

局限性：不要过度解读这些数字

必须对几个常被忽视的约束条件保持清醒。

第一，性能数字的适用范围。"3～28 倍加速"这一区间跨度极大，实际落点高度依赖于具体模型的稀疏度、CPU/GPU 的内存带宽比例以及批次大小。小批次、冷启动场景下，异构调度的开销反而可能使首 token 延迟（TTFT）劣于全 GPU 方案。KTransformers 更适合吞吐优先而非延迟极致敏感的场景。

第二，稠密模型收益有限。KTransformers 的核心优势建立在 MoE 稀疏激活的特性上，对于 LLaMA 系列等稠密（Dense）模型，CPU 侧无法利用专家冷热分离的特性，异构调度的收益会大幅缩水。

第三，量化精度损失。CPU 侧 INT4/INT8 量化不可避免地引入精度损失，在数学推理、代码生成等对精度敏感的任务上，与 BF16/FP16 全精度方案的差距需要针对具体任务实际评测，不能默认可以忽略。

第四，硬件依赖性较强。AMX 加速依赖较新的 Intel Xeon（Sapphire Rapids 及以后），AVX512 在部分 AMD 平台上存在差异，NUMA 感知优化在多路服务器上效果最好——家用级台式机（单路无 NUMA）的实际表现会与服务器级配置有明显差距。

第五，3 层前缀缓存的磁盘依赖。2025 年 6 月引入的 GPU-CPU-Disk 三层前缀缓存复用功能，在磁盘 I/O 成为瓶颈时，实际收益可能远低于预期，需要高速 NVMe 存储配合。

对不同角色的行动建议

对研究人员：如果你正在研究 MoE 模型或希望在有限 GPU 资源下复现/微调 DeepSeek 级别的模型，KTransformers + LLaMA-Factory 的组合是目前公开可用方案中性价比最高的选项之一，值得立即评估。需要重点关注的是量化精度对下游任务评测的影响，并在论文中如实报告硬件配置。

对工程团队：如果服务栈已经采用 SGLang，可以考虑将 KTransformers 的 kt-kernel 作为 CPU 计算后端进行集成测试，尤其适合混合部署（部分请求走 GPU 快速路径，大模型 MoE 请求走异构路径）的场景。在此之前，务必在实际业务流量下测量 TTFT 和 P99 延迟，而不只是看吞吐数字。

对个人开发者：如果你拥有一台配备 RTX 3090/4090（24GB）且系统内存不低于 128GB 的工作站，在 DeepSeek-R1 或 Qwen3-235B 等超大 MoE 模型上进行本地推理实验，KTransformers 是目前最值得尝试的方案。需要做好的心理准备是：配置不比装一个 pip 包简单，社区的 issue 区会是你最重要的参考资料。

对硬件采购决策者：如果组织已有大量 Intel Xeon 服务器资产且希望最大化利用，KTransformers 的 AMX 优化内核提供了一个将闲置 CPU 算力转化为 LLM 推理能力的合理路径——但在投入前，建议先对目标模型和目标任务做端到端的基准测试，避免被顶线数字误导。

KTransformers 仍然是一个"研究项目"标签下的快速迭代框架，生产级稳定性和完整的可观测性工具链仍在建设中。但它所探索的方向——用系统级的异构协同取代对单一 GPU 算力的绝对依赖——代表着一类在当前算力紧缺背景下极具现实价值的技术路线。从其发展轨迹来看，这个方向的基本正确性已经通过大量实测数据得到了验证。

📚 参考来源

1. GitHub - kvcache-ai/ktransformers: A Flexible Framework for Experiencing Heterogeneous LLM Inference/Fine-tune Optimizations · GitHub
2. Introduction - Ktransformers