1. 项目概述为Arm CCA构建机密加速器计算环境在云计算和边缘计算日益普及的今天数据安全尤其是处理过程中的数据安全成为了一个核心挑战。传统的安全模型主要关注静态数据存储加密和动态数据传输加密但对于正在被CPU或加速器处理的数据其保护往往依赖于对底层系统软件如操作系统、虚拟机监控器的信任。然而在复杂的多租户环境中这种信任模型变得非常脆弱。机密计算应运而生它旨在通过硬件强制隔离为代码和数据创建一个“飞地”或“领域”即使底层系统软件被攻破也能保证其机密性和完整性。各大芯片厂商都推出了自己的机密计算方案例如Intel的SGX、AMD的SEV。而Arm作为移动和服务器领域的重要架构也推出了其机密计算架构。Arm CCA引入了一个新的执行状态——领域世界并创建了称为“领域”的隔离执行环境。领域由运行在Hypervisor层的轻量级领域管理监视器管理但其内存和状态对包括Hypervisor在内的非特权软件是不可见的。这为在不受信任的基础设施上运行敏感工作负载提供了强大的安全保障。然而一个关键问题随之浮现现代计算负载尤其是人工智能训练、科学计算和高性能数据分析严重依赖硬件加速器来提升性能。无论是GPU的并行计算能力还是FPGA的可定制化逻辑都已成为不可或缺的计算单元。但Arm CCA的初始设计主要聚焦于CPU侧的隔离将通用加速器视为“不可信的外设”。这意味着如果一个领域试图使用GPU或FPGA来处理其敏感数据这些数据在传输到加速器以及在其上计算时将暴露给可能被攻击者控制的加速器驱动或系统软件机密性荡然无存。现有的解决方案要么需要修改硬件如RME-DA尚处于概念阶段要么需要将庞大的加速器软件栈驱动、运行时库纳入领域的可信计算基显著增加了攻击面。这正是CAGE项目要解决的核心问题如何在无需修改现有硬件的前提下为Arm CCA的领域式架构提供一套安全、高效且通用的机密加速器计算支持框架。CAGE的目标是让开发者能够像在普通环境中一样轻松地将GPU或FPGA加速任务部署到Arm CCA的领域中同时确保整个数据处理链路的安全。2. CAGE的核心设计思路与挑战拆解CAGE的设计并非从零开始构建一个全新的安全加速框架而是巧妙地“嫁接”在Arm CCA现有的安全原语之上特别是内存颗粒保护检查这一硬件特性。GPC是Armv9架构中引入的一种细粒度内存访问控制机制它通过颗粒保护表来定义每一块物理内存的安全属性如属于根世界、领域世界还是普通世界并由硬件在每次内存访问时进行检查。CAGE的核心洞察在于既然GPC可以为CPU和所有支持DMA的外设通过SMMU提供统一的内存安全视图那么我们就可以利用它来为加速器计算环境构建一个“双向隔离”的安全边界。2.1 核心设计原则CAGE的设计遵循四个关键目标这直接决定了其技术路径的选择与CCA架构兼容必须遵循CCA的“领域式”架构精髓。即复杂的、但与数据无关的加速器管理功能如任务调度、内存分配仍由不可信的主机软件栈执行而敏感数据则始终被禁锢在领域内部。这避免了将数十万行代码的驱动和运行时库塞进TCB。提供强数据安全必须能抵御Arm CCA威胁模型中定义的强敌手。该敌手控制了普通世界和安全世界的全部软件栈包括加速器驱动、操作系统和Hypervisor。CAGE需要确保敌手无法从CPU侧或通过其他外设窃取或篡改正在加速器上处理的领域数据。性能开销可控安全机制引入的性能损耗必须是适度的不能抵消掉使用加速器带来的性能收益。这意味着需要在安全检查和流程开销上进行精细优化。无需硬件修改方案必须基于现有Arm CCA和通用加速器的硬件特性实现确保其能部署在下一代Arm设备上具备高度的硬件兼容性。2.2 面临的核心挑战与应对策略基于以上目标CAGE在设计和实现中主要解决了三大挑战挑战C1主机加速器软件并非为管理领域内应用而设计。加速器软件驱动和运行时通常直接与用户空间应用交互管理其生命周期。但在CCA模型中敏感应用运行在隔离的领域内主机软件无法直接访问。一个简单的想法是将整个加速器软件栈放入领域但这会极大膨胀TCB。另一个想法是让领域通过Hypervisor频繁与主机驱动交互但这会带来巨大的世界切换和通信开销。解决方案影子任务机制。这是CAGE最核心的创新之一。其思路是“虚实分离”。主机上的不可信加速器软件照常工作但它创建和管理的是一个“影子任务”——这个任务具有真实任务的所有数据结构缓冲区、元数据、页表但里面不包含任何真实的敏感数据只包含数据的“描述”如大小、类型。同时领域用户通过安全信道将真实的敏感数据和任务签名传递给领域。当需要执行计算时由运行在最高特权根世界中的Monitor监视器介入。Monitor验证影子任务的完整性后在领域内创建一个对应的“真实任务”用真实数据填充缓冲区并替换掉影子任务中的关键指针如缓冲区地址、页表基址最后将真实任务提交给加速器硬件执行。这样繁重的任务管理工作留给了主机软件而涉及敏感数据的操作则在受保护的Monitor和领域内完成。挑战C2缺乏硬件支持加速器被视为普通外设无法直接享受领域级隔离。在标准CCA视图中加速器和USB、网卡一样属于“普通世界外设”其发起的DMA访问无法被标记为“领域”访问。因此RMM提供的CPU侧内存隔离对加速器无效。攻击者可以篡改加速器驱动让其DMA访问任意内存区域包括其他领域的内存。解决方案基于GPC的双向隔离机制。CAGE利用GPC的灵活性为加速器计算环境构建了一个“双向锁”。一方面它配置CPU和其他不可信外设的GPT禁止它们访问被Monitor标记为受保护的区域如正在使用的加速器元数据、代码缓冲区以及加速器MMIO寄存器。另一方面它为每个领域配置一个独特的加速器GPT。当某个领域的任务在加速器上执行时Monitor会将该加速器SMMU的GPC指向这个专属的GPT。在这个GPT的视图中只有该领域的内存区域以及任务必需的元数据/代码缓冲区被标记为“可访问”普通属性而其他领域和Monitor的内存则被标记为“不可访问”根属性。这就实现了加速器DMA访问的领域间隔离。挑战C3管理多个GPT视图带来的性能开销。为了实现上述保护CAGE需要动态维护多个GPTCPU的GPT、各个外设的GPT以及每个领域对应的加速器GPT。在任务提交和完成时需要同步这些GPT的视图例如在任务执行期间锁定某些内存区域执行后解锁。此外为每个新领域初始化一个涵盖整个物理内存的加速器GPT也是一项耗时操作。解决方案GPT维护优化。CAGE提出了两项关键优化。首先针对CPU和外设GPT的同步它利用GPT的层次化结构让CPU GPT和所有相关外设GPT共享一个统一的子级GPT表这个子表专门描述加速器任务内存区域的安全属性。当需要修改该区域的保护状态时只需更新这一个子表然后通知所有相关GPC刷新TLB即可避免了逐个更新多个顶级GPT表的开销。其次针对加速器GPT的初始化CAGE不再复用为CPU设计的复杂GPT构建函数需要描述安全世界、领域世界、根世界等所有区域而是从一个将所有内存默认为“根”不可访问的模板GPT开始仅将当前领域的内存区域设置为“普通”可访问。这大大简化了初始化过程。3. 影子任务机制安全与效率的平衡术影子任务机制是CAGE协调不可信主机软件与受保护领域之间工作的核心枢纽。它的设计精巧地平衡了安全性与性能下面我们深入其工作流程的每一个环节。3.1 初始化与影子任务创建整个流程始于领域用户。用户准备好在加速器上运行的代码对于GPU或硬件比特流对于FPGA以及输入数据的描述。这些描述是元数据指明了每个数据缓冲区的大小、是输入还是输出、以及对于FPGA而言对应哪个DMA通道H2C或C2H。关键一步是用户需要为代码和这些描述生成数字签名如基于HMAC并通过与领域建立的安全信道基于远程认证和密钥交换将这些签名传递给领域。在主机侧不可信的加速器软件栈如OpenCL运行时和GPU驱动像往常一样工作。它根据用户提供的缓冲区描述在主机内存中分配物理页面创建“影子”数据缓冲区、代码缓冲区以及任务所需的元数据结构。对于需要DMA的加速器它还会创建并维护一个“影子页表”。这里的所有缓冲区都是空的或者只填充了无关的测试数据。同时加速器软件会记录下它对影子页表的所有操作新建或更新条目以便后续同步。为了确保安全在提交机密计算任务前加速器软件需要为当前任务清理硬件环境。它会暂时阻塞其他非机密任务的提交并等待加速器硬件上现有的任务完成。这个“独占执行窗口”是防止任务间数据泄露的重要一环。3.2 真实任务创建与执行当影子任务准备就绪并被调度到执行队列头部时控制权转移到根世界的Monitor。Monitor开始执行以下安全关键操作完整性验证Monitor首先使用领域内存储的签名验证从主机接收到的任务代码和缓冲区描述的完整性和真实性。这防止了敌手篡改代码逻辑或缓冲区参数。环境安全检查Monitor检查加速器硬件状态寄存器确认加速器是否空闲、MMIO配置是否正常确保没有隐藏的恶意任务。真实缓冲区创建在领域内存中Monitor根据验证通过的描述分配物理内存创建真实的输入/输出数据缓冲区并将通过安全信道传输过来的敏感数据填充到输入缓冲区中。真实页表构建Monitor检查主机软件记录的页表操作记录在领域内为加速器DMA重建“真实页表”。它会将影子页表中指向影子缓冲区的映射修改为指向领域内的真实缓冲区。由于加速器页表在任务执行期间通常不变这一步可以批量异步完成。内存保护配置Monitor通过GPC机制将影子任务使用的元数据、代码缓冲区以及加速器的MMIO寄存器区域“锁定”。对于CPU和其他外设的GPT这些区域被标记为“领域”或“根”禁止访问。同时加载为该领域配置的加速器GPT使加速器只能访问本领域内存和必要的元数据区域。任务切换与提交Monitor将影子任务元数据中的关键指针如数据缓冲区地址、页表基址寄存器值替换为指向真实资源的指针。最后通过向受保护的加速器MMIO寄存器写入启动命令提交真实任务。3.3 环境恢复与清理加速器完成任务后会触发一个中断被Monitor捕获。Monitor随后进行环境恢复结果保护加速器的输出数据已经通过DMA写入到领域内的输出缓冲区中这些数据受到领域隔离的保护。状态恢复Monitor将之前修改的元数据指针恢复为指向影子缓冲区的原始值。保护解除解除对元数据、代码缓冲区和MMIO区域的GPC锁定将其安全属性恢复为“普通”。缓存清理刷新加速器SMMU的TLB确保旧的映射被清除。硬件释放通知主机加速器软件硬件环境已清理完毕可以继续调度其他任务。FPGA的特殊处理对于拥有专用内存的FPGAGPC无法控制其片内内存。因此CAGE采取了更严格的措施在机密FPGA应用的整个生命周期内完全控制其MMIO接口阻止任何其他任务提交。在计算结束后Monitor会显式地清零FPGA的专用内存然后再解除保护防止残留数据被读取。3.4 可信计算基分析CAGE的TCB被严格控制得很小。领域侧只需要包含验证签名和存储数据的逻辑完全不需要包含庞大的加速器驱动。Monitor侧的增量的代码量也很有限在原型中GPU支持部分仅增加了约1300行代码FPGA扩展部分仅增加约140行代码。主要的复杂性如任务调度、内存管理和硬件交互仍然由主机上经过充分测试和优化的、成熟的不可信加速器软件栈承担。这种设计极大地减少了可信代码的攻击面。4. 基于GPC的加速器环境隔离实战GPC是CAGE实现安全隔离的基石。理解其配置方式对于把握CAGE的安全模型至关重要。下面我们以一个具体的机密GPU任务为例拆解其执行过程中内存视图的变化。4.1 内存视图与GPT配置策略假设系统中有两个领域领域A运行机密GPU任务和领域B以及一个不可信的主机操作系统。物理内存大致分为以下几个区域根世界内存存放Monitor固件、GPT表本身。领域A内存存放领域A的代码、数据以及本次GPU任务的真实输入/输出缓冲区。领域B内存存放领域B的代码和数据。普通世界内存主机操作系统、加速器驱动、影子任务的数据/代码缓冲区、加速器MMIO寄存器区域。在任务执行的不同阶段CAGE通过动态配置三组GPT来改变不同访问者的“视野”CPU GPT控制CPU发起的访问。常态CPU运行主机OS可以访问普通世界内存不能访问根世界和领域世界内存。任务执行期除了常态限制CPU还被禁止访问影子任务的元数据/代码缓冲区以及GPU MMIO区域这些区域被临时提升为“根”或“领域”属性。不可信外设GPT如网卡、磁盘控制器控制其他DMA设备的访问。配置与CPU GPT类似确保这些外设在任务执行期间也无法窥探或篡改受保护区域。加速器GPUGPT for 领域A控制GPU的DMA访问。任务执行期只有领域A的内存区域以及本次任务所需的元数据/代码缓冲区被标记为“普通”可访问。领域B的内存、根世界内存、以及其他普通世界内存均被标记为“根”不可访问。这就像给GPU戴上了一副特制眼镜它只能“看到”领域A相关的内存。4.2 配置流程与攻击防御当Monitor准备提交领域A的GPU任务时它会按顺序执行以下操作来建立隔离环境锁定共享资源通过修改CPU GPT和不可信外设GPT中对应的子表条目将影子任务的元数据/代码缓冲区以及GPU MMIO区域的安全属性从“普通”改为“根”。立即执行TLB无效化操作防止敌手利用缓存的旧映射进行访问。这一步防御了攻击者直接读取或篡改任务元数据的企图。加载领域视图将GPU SMMU的GPC配置寄存器指向为领域A预先创建好的加速器GPT。同样刷新SMMU TLB。提交任务此时GPU在硬件层面被限制为只能访问领域A的授权内存。即使GPU驱动被完全攻破试图发起恶意的DMA访问也会被SMMU的GPC检查拦截并触发错误。恢复环境任务完成后逆向执行步骤1和2将内存属性恢复并刷新TLB。针对特定攻击的防御恶意DMA攻击攻击者控制另一个PCIe设备如被入侵的网卡发起DMA试图读取GPU的中间结果。由于该设备的GPT也配置为禁止访问受保护区域此攻击会被其自身的SMMU GPC阻断。领域间数据泄露攻击者在领域B中启动一个恶意GPU任务试图让GPU去访问领域A的内存。由于领域B的加速器GPT中领域A的内存被标记为“根”不可访问此攻击同样失败。GPT篡改攻击攻击者试图修改CPU或外设的GPT表以解除保护。但GPT表本身存放在根世界内存中攻击者缺乏根世界特权其修改尝试会触发GPC故障。5. 性能评估与优化效果实测任何安全方案都必须接受性能的检验。CAGE团队在真实的Arm Juno R2开发板搭载Mali-T624 GPU和Xilinx VCU118 FPGA上进行了原型实现和性能测试。5.1 GPU基准测试结果测试选取了Rodinia基准测试套件中的六个代表性应用覆盖了从轻量级到计算密集型的各种负载KNNK最近邻分类。LUDLU矩阵分解。PF粒子滤波。H3DHotSpot 3D。GS高斯消元法。LMD流粒子动力学。性能开销如图5所示CAGE引入的总体性能开销在0.58%到5.31%之间。这是一个非常可观的成绩意味着在获得强大安全保证的同时GPU加速的性能收益基本得以保留。开销分解分析GPU计算时间本身几乎不受影响因为硬件执行单元的计算过程没有变化。影子任务机制开销这部分开销与任务数量和内存大小相关。例如包含4096个细粒度任务的GS应用其影子任务管理开销就比只有5个任务的PF应用要高。GPU环境保护开销主要来自GPC配置和TLB刷新操作。得益于硬件辅助的GPC机制这部分开销是最小的因为不涉及加解密等计算密集型操作。不可信软件栈开销由于大部分管理工作仍由主机驱动完成这部分开销与原生执行相比几乎没有增加。与现有方案对比与另一项知名GPU TEE工作StrongBox相比CAGE在相同基准测试上表现出了更低的开销。StrongBox需要不可信驱动直接操作敏感数据因此引入了额外的加解密操作。而CAGE的影子任务机制避免了敏感数据流出领域从而省去了这部分加解密成本。5.2 FPGA基准测试结果针对FPGA测试了快速傅里叶变换和矩阵乘法两种典型负载并变化问题规模。性能开销CAGE在FPGA上引入的开销在9.61%到16.30%之间。高于GPU开销的主要原因在于FPGA的工作流程差异。FPGA通常通过PCIe DMA进行数据传输且CAGE需要在任务整个生命周期内独占FPGA控制权以防止专用内存泄露这增加了串行化开销。但对于大规模计算任务如MM-512相对开销反而更低因为固定的安全操作开销被更长的计算时间所分摊。5.3 GPT优化技术效果验证CAGE的两项GPT优化技术效果显著GPT同步优化当需要保护的内存区域大小从1MB增加到64MB时优化机制将同步开销降低了87.4%到87.5%。当需要同步的GPT数量从1个增加到8个时优化机制将开销降低了50.01%到93.65%。这证明了共享子表设计的高效性。加速器GPT初始化优化与传统方法模拟调用TF-A的GPT初始化API相比CAGE的模板化初始化方法将开销降低了84.63%到96.55%针对2GB到16GB内存。虽然GPT初始化在单个应用生命周期中只发生一次但这项优化对于领域创建频繁的场景如云服务器具有重要意义。6. 安全分析与攻防实践CAGE的安全模型建立在Arm CCA的硬件信任根之上。我们假设Monitor固件通过安全启动被验证是可信的。敌手则控制了所有非根世界的软件包括主机OS、Hypervisor、安全世界组件以及加速器驱动栈。6.1 攻击面与防御措施下表总结了CAGE面临的主要攻击向量及相应的防御机制攻击类型具体攻击手段CAGE防御机制对应组件未授权内存访问1. 敌手OS直接读取领域内存或GPU缓冲区。2. 敌手修改任务元数据将结果导出到非保护区域。1. GPC将领域内存和受保护缓冲区标记为不可访问根/领域属性。2. GPC锁定任务元数据区域防止篡改。GPC保护模块数据/代码完整性破坏1. 敌手篡改GPU内核代码或缓冲区描述符。2. 提供错误的缓冲区-通道映射针对FPGA。1. Monitor使用领域内存储的签名进行完整性验证。2. 在FPGA描述符中验证通道-缓冲区关系。影子任务机制完整性验证非法内存管理1. Iago攻击驱动返回错误的已分配内存地址。2. 在页表中创建非法或重复映射。1. Monitor检查提供的地址是否与其他受保护区域重叠。2. Monitor在重建真实页表时检查映射记录的合法性。Monitor安全检查非法任务调度1. 敌手将影子任务直接提交给GPU执行。2. 提供错误的任务所有者或执行顺序。1. 影子任务不含真实数据执行无意义。2. 任务签名验证会失败。影子任务机制完整性验证恶意加速器任务在GPU页表中映射其他领域内存进行跨领域访问。加速器GPT将非本领域的内存标记为不可访问根属性。加速器GPT隔离GPC/TLB旁路1. 禁用GPC或替换GPT。2. 利用旧的TLB条目访问新保护的区域。1. GPC相关寄存器仅根世界可访问。2. 在修改GPT后立即无效化相关TLB。硬件强制Monitor操作物理攻击/旁路攻击冷启动攻击、总线窃听、物理接口探测等。CCA内存加密引擎、正交研究如总线加密、物理接口保护。依赖底层硬件或其他研究6.2 实操心得与注意事项在实际部署和开发基于CAGE的应用时有以下几点经验值得分享应用适配最小化开发者要将现有GPU/FPGA应用迁移到CAGE环境所需改动非常小。主要工作是a)使用包装函数确保数据缓冲区按内存颗粒如4KB页对齐分配b)按照CAGE要求的格式准备数据缓冲区描述符大小、输入/输出标志、对于FPGA还包括通道IDc)将真实的敏感数据替换为描述符哈希值进行编译。应用的业务逻辑和内核代码无需修改。性能调优关注点性能开销主要来自Monitor的世界切换和GPT/TLB操作。对于计算密集型的长时间运行任务开销几乎可以忽略。但对于短时、高频率的小任务需要谨慎评估。可以考虑任务批处理将多个小任务组合成一个大的影子任务提交以分摊固定开销。内存布局规划由于GPC的颗粒度如4KB应尽量避免让单个缓冲区分摊在两个内存颗粒上或者让敏感缓冲区与非敏感缓冲区共享同一个颗粒。这可能导致不必要的保护扩大化。在分配缓冲区时建议进行颗粒对齐的分配。FPGA开发的特殊性FPGA没有“代码缓冲区”其计算逻辑已烧录在硬件中。因此安全关键点在于数据通道的正确映射和任务执行期间的硬件独占控制。务必在描述符中准确指定每个缓冲区对应的H2C/C2H通道ID并在签名中包含这些信息。同时由于FPGA专用内存无法被GPC保护必须在任务完成后主动清零内存。调试与排查在开发阶段如果遇到加速器任务失败建议按以下顺序排查a)检查Monitor日志确认完整性验证是否通过b)检查GPC配置是否正确特别是加速器GPT中领域内存的属性是否为“普通”c)检查TLB是否在配置后正确刷新d)检查FPGA的通道状态寄存器或GPU的作业状态寄存器确认硬件是否处于预期状态。7. 未来展望与生态适配CAGE的设计展现了一种在现有硬件上实现机密加速计算的优雅路径。它不仅适用于GPU和FPGA其基于影子任务和GPC隔离的核心思想可以扩展到其他类型的加速器如NPU、DPU等只要该加速器通过系统SMMU进行DMA访问。当前方案的一个局限性在于对于拥有专用内存的加速器如许多高端GPU和FPGA需要在任务整个生命周期内独占设备这可能影响设备利用率。未来的优化可以借鉴GPU延迟隐藏等技术在数据传输阶段允许其他非机密任务使用计算单元或者探索更细粒度的内存保护单元。从Arm生态的角度CAGE也揭示了一个硬件改进的需求。目前一个PCIe SMMU管理其下所有设备如多个FPGA的GPC但它们共享同一个GPT视图。理想情况下SMMU应为每个设备通过StreamID区分提供独立的GPC配置能力这将允许为每个加速器实例设置不同的安全策略实现更灵活的隔离。我个人在实际研究和复现类似系统的体会是机密计算与加速器计算的结合正从一种前沿探索走向工程实践。CAGE这样的工作清晰地表明通过巧妙的系统软件设计完全可以在不等待专用硬件普及的情况下为现有广泛部署的Arm平台提供实用的机密加速能力。对于云服务提供商和需要处理敏感数据的终端应用开发者来说这意味着可以更早地享受到硬件加速带来的性能红利同时满足严格的数据安全合规要求。
