PyPTO 算子设计模式 AT-04RoPE 旋转位置编码的三种实现变体与实战解析【免费下载链接】pypto-gymPyPTO-Gym 是基于 PyPTO 编程框架构建的算子与模型样例仓库项目地址: https://gitcode.com/cann/pypto-gym本文围绕 CANN pypto-gym 仓库中 AT-04-rope.md 这一局部计算模式卡片展开系统讲解旋转位置编码RoPE在 PyPTO 算子中的三种实现变体Half-Split、Interleave GatherMask、Rotate-Half、其实例化参数并结合仓库内 Qwen3-1.7B、InterleaveRope、MLA Prolog 等真实算子源码给出可落地、可验证的 PyPTO 编码实践。读完本文你将掌握 RoPE 在 VectorV流水上的核心排布逻辑、三种变体的适用场景与 PyPTO API 级实现要点。一、模式定位RoPE 在 PyPTO 算子设计体系中的角色在 pypto-gym 的算子设计模式体系中局部计算模式Atom按CCube/VVector标记计算流水类型。RoPERotary Position Embedding是 atoms/index.md 中登记的AT-04号模式标签为positional-encodingCV 排布为纯 V——即完全由 Vector 流水承载的逐元素计算不涉及 Cube 矩阵运算。其核心描述为旋转位置编码应用于 Query/Key 的 head_dim 维度。这意味着 RoPE 的输入是注意力投影Q/K Projection之后的 Q、K 张量输出仍保持相同的[B, N, D]或[S, N, D]形状仅沿最后一维做旋转变换因此非常适合与 Norm、Cache 写入等 V 算子融合进同一条计算流水。在仓库的模式骨架中RoPE 频繁出现在 pre-attention 阶段。例如 SK-05-fused-pre-attention.md 描述的「Norm QKV Proj RoPE 与 Flash Attention 融合为单一 kernel」场景中Phase 1 为V(Norm) → C(Quant Linear) → V(DequantSplitNormRoPECache)其中q rope(q, cos, sin)、k rope(k, cos, sin)正是 RoPE 原子在融合链路中的典型落点该骨架还建议将 KV Cache scatterAT-16紧贴 RoPE 之后写入实现与 Phase 2 KV 读取的解耦。二、三种实现变体数学本质与 PyPTO 计算流原文档给出 RoPE 的三种变体它们在数学上等价都是对相邻/前后半维做二维旋转但在内存排布、所需算子、适用硬件上各有取舍。以下逐一展开。变体 A — Half-Split最常用这是最经典、也是最常用的实现直接把 head_dim 切成前后两半按[x_left, x_right]配对旋转。# 输入 x: [B, N, D], cos/sin: [B, D/2] x_left view(x, [..., 0:D/2]) x_right view(x, [..., D/2:D]) o1 sub(mul(x_left, cos), mul(x_right, sin)) o2 add(mul(x_right, cos), mul(x_left, sin)) out concat([o1, o2], dim-1)其核心是四个向量乘加操作与一次concatview 切半零成本不需要任何数据搬移算子因此在 PyPTO 中实现最简单、指令开销最低。原文档标注其使用算子为MLAProlog、Qwen3PreAttn、Compressor。仓库实证Qwen3-1.7B 融合 kernelrrms_norm_rope_impl.py 中_make_qk_rope_kernel(num_heads)工厂函数生成的 QN16与 KN8两版 kernel正是变体 A 的完整实现# Step 4: RoPE computation x_left pypto.view(normed_fp32, [BS_TILE, num_heads, HALF_D], [0, 0, 0], ...) x_right pypto.view(normed_fp32, [BS_TILE, num_heads, HALF_D], [0, 0, HALF_D], ...) o1 pypto.sub(pypto.mul(x_left, cos_b), pypto.mul(x_right, sin_b)) o2 pypto.add(pypto.mul(x_right, cos_b), pypto.mul(x_left, sin_b)) roped_fp32 pypto.concat([o1, o2], 2) # concat 回完整 D 维 roped_bf pypto.cast(roped_fp32, pypto.DT_BF16) pypto.assemble(roped_bf, [bs_idx * BS_TILE, 0, 0], out)值得注意的实现细节见该文件第 41~65、124~161 行FP32 中间计算输入x、cos、sin先pypto.cast到 FP32乘加运算全部在 FP32 域完成最后 cast 回 BF16保证旋转精度cos/sin 只取前半区cos_half view(cos_tile, [BS_TILE, HALF_D], [0, 0])即 cos/sin 仅需D/2长度cos: [seq_len, D]中取前半并通过reshape为[BS_TILE, 1, HALF_D]沿 head 维广播tile 化循环BS_TILE8外层pypto.loop(bs_loop, unroll_list[8, 4, 2, 1])遍历 seq 维pypto.view配合valid_shape[cur_bs, ...]处理 seq 不能被 BS_TILE 整除的尾块。变体 B — Interleave GatherMask当特征沿 head_dim 按相邻对interleave排布即x[2k]与x[2k1]构成一个旋转对时需要先把偶数位、奇数位拆开再旋转xe gathermask(x, mode1) # 偶数位 xo gathermask(x, mode2) # 奇数位 ye sub(mul(xe, cos), mul(xo, sin)) yo add(mul(xe, sin), mul(xo, cos)) out assemble interleaved ye, yo该变体的关键开销在gathermask的奇偶抽取与输出端的交错重组原文档标注使用算子为InterleaveRope。仓库实证InterleaveRope 算子interleave_rope_impl.py 完整实现了该变体且其 docstring第 12~37 行揭示了与 ASC ops-transformer 对齐的细节约定数学约定x_even[k] x[..., 2k]x_odd[k] x[..., 2k1]cos/sin 采用半区配对排布等价cat(freqs, freqs)即c_lo cos[..., 0:32]、c_hi cos[..., 32:64]输出 layout 为 split-half非 interleaveout[..., 0:32]写全部偶位结果out[..., 32:64]写全部奇位结果。这是为避开 PyPTO 5D 重组 op 限制的刻意约定且点积QK^T Σ_d Q[d]·K[d]对 D 维顺序不敏感Q/K 同 layout 时数值与原 interleave 排布等价——但调用方契约要求下游 attention 的 Q、K 必须同 layout混用会出错见 InterleaveRope/README.md 第 21~32 行实现路径kernel 内pypto.gathermask(x_f, pattern_mode1/2)拆奇偶位 → 全部输入 cast FP32 →mul/sub/add计算 → 出口 castbf16 用CAST_RINT、fp16 用CAST_NONE与 ASC RoundMode 一致→ 两次pypto.assemble分别写 out 左半偏移 0与右半偏移 32全程 4D 无 5D 重组Ascend 950 特化在DAV_3510架构上ASCEND_950_NPUARCH用pypto.deinterleave(x_f)单指令取奇偶双半替代两次 gathermask进一步降低指令数第 240~241 行。该算子 wrapper第 611~652 行按(arch, N, dtype, S, S_cs)五元组做 kernel 派发N ∈ {1, 128}×{bf16, fp16}四套基础 kernel另有broadcastcos/sin 只随 batch 变化、跨 N/S tile 复用、short_sS1、short_s_btileS2 且 B 维分块、unrollS2048等变体展示了同一 Atom 模式在不同 shape/arch 下的实例化策略。变体 C — Rotate-Half (Reshape-Transpose)该变体先将 D 维重塑为[D/2, 2]转置后实现「后半维取负 交换」的旋转语义x_2d reshape(x, [..., D/2, 2]) x_2d_t transpose(x_2d, -1, -2) # swap last two dims x_rot reshape(x_2d_t, [..., D]) # x_rot [-x2, x1] out concat([mul(-x_rot_right, cos) mul(x_rot_left, sin), ...])其本质是rotate_half把后半维取负并与前半维交换与旋转乘加的复合适合以 reshape/transpose 表达旋转对、随后统一做乘加的算子形态。原文档标注使用算子为MLAPrologQuant量化版 MLA Prolog即在该路径上 RoPE 与量化/反量化计算流串接。实例化参数原文档给出 RoPE 原子在具体 kernel 实例化时需要确定的三个参数参数说明variantA / B / Crotary_dim旋转维度通常 head_dim 或 head_dim 的子集partial_rotate是否仅旋转部分维度前 rotary_dim剩余维度直通补充仓库中的取值实例Qwen3-1.7B 场景D128、HALF_D64即rotary_dim head_dim全量旋转rrms_norm_rope_impl.py 第 41~42 行InterleaveRope 场景D64、HALF32同样全量旋转interleave_rope_impl.py 第 50~51 行。若rotary_dim head_dim则只需对前rotary_dim维执行上述任一变体剩余head_dim - rotary_dim维通过view直通拼接即partial_rotateTrue——这正是 GPT-NeoX 等模型的多模态/部分旋转配置仓库中 spatial_ssrl_3b 的 MRoPEmrope_section[16,24,24]分三段不同频率区间旋转见 rope/README.md即为分段旋转的变体应用。三、变体选型与融合场景什么时候用哪一种从仓库的算子实现可以总结出选型经验默认选变体 AHalf-Splitview 切半零成本、无数据搬移只要上游 Q/K Proj 输出是 split-half 排布[..., 0:D/2]与[..., D/2:D]配对就应优先使用。MLAProlog、Qwen3PreAttn、Compressor 均属此类其中 SK-04-multi-stage-prolog.md 与 SK-11-cache-compressor.md 骨架都将 RoPE 嵌入多阶段 prolog / 缓存压缩的 V 阶段。上游已是 interleave 排布时选变体 B若特征张量本身按相邻对组织常见于某些 ASC 兼容算子与量化场景强行转 split-half 反而要付出重排成本此时用gathermask(PM1/2)拆奇偶位、算完再assemble交错写出。InterleaveRope 即为此类且其「输出 split-half」的契约设计还顺带规避了 PyPTO 5D 重组限制InterleaveRope/README.md 第 21~28 行。需要显式 rotate_half 语义时选变体 C当计算流以[-x2, x1]交换取负形式组织如量化链中与 MLA Prolog 融合的 MLAPrologQuantreshape-transpose 的写法更贴近数学表达便于与后续乘加流水统一。此外在融合设计上遵循 SK-05-fused-pre-attention.md 的指导RoPE 属于 Phase 1 的 V 阶段尾部操作建议紧随其后做 KV Cache scatterAT-16写入紧贴 RoPE 之后使 Phase 2 的 KV 读取与 Phase 1 完全解耦。四、精度、约束与测试验证RoPE 是纯逐元素 V 算子仓库实现普遍遵循以下工程约束FP32 中间计算无论输入是 bf16 还是 fp16乘加均在 FP32 域完成后再 cast 回原 dtype避免旋转误差放大出口 cast 模式对齐 ASCbf16 用CAST_RINTfp16 用CAST_NONE。tile 化与尾块以BS_TILE8Qwen3 路径或S_TILE/N_TILEInterleaveRope 路径分块遍历valid_shape处理 S 维不被 tile 整除的尾块。dtype/shape 约束InterleaveRope 要求D64、N ∈ {1,128}、dtype 仅 fp16/bf16wrapper 中assert校验见 interleave_rope_impl.py 第 618~631 行Qwen3 路径要求D128。精度验收InterleaveRope 约定atol1e-4, rtol7.8125e-3即 2^-7对应 bf16 精度量级golden 直接取 PyTorch 等价实现。验证方式仓库内可直接复跑# Qwen3-1.7B 的 RMSNormRoPE 融合算子测试 export TILE_FWK_DEVICE_ID0 source /usr/local/Ascend/ascend-toolkit/set_env.sh python3 tests/ops/qwen3_1_7b/test_rms_norm_rope.py # spatial_ssrl_3b 的 RoPE/MRoPE 测试 export TILE_FWK_DEVICE_ID2 pytest tests/ops/spatial_ssrl_3b/rope/test_rope.py -v --forked相关测试用例与 golden 分布在 tests/ops/qwen3_1_7b/含test_cases.json与rms_norm_rope_golden.py和 tests/ops/spatial_ssrl_3b/rope/含rms_norm_golden_qwen3_vl_8b_instruct_unredacted_max.py等参考实现测试用例来源于模型打点采集的真实 shape/dtypePrefill 变长输入 S1,4,7,32,128 等。五、小结RoPE 作为positional-encoding类纯 V 原子模式是 pre-attention 融合链路中高频复用的基础算子。AT-04 模式卡片给出的三种变体——Half-Splitview 切半 4 次乘加 concat、Interleave GatherMaskgathermask 奇偶拆解 assemble 重组、Rotate-Halfreshape-transpose rotate_half 乘加——覆盖了 split-half 与 interleave 两大类内存排布实例化时通过variant、rotary_dim、partial_rotate三个参数即可快速确定 kernel 形态。仓库内 Qwen3-1.7B 与 InterleaveRope 的实现进一步印证了「FP32 中间计算 tile 化 valid_shape 尾块 出口 cast 模式对齐」这一套可复用的 PyPTO 编码范式可作为后续自定义注意力类算子的直接参考样板。【免费下载链接】pypto-gymPyPTO-Gym 是基于 PyPTO 编程框架构建的算子与模型样例仓库项目地址: https://gitcode.com/cann/pypto-gym创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
PyPTO 算子设计模式 AT-04：RoPE 旋转位置编码的三种实现变体与实战解析
PyPTO 算子设计模式 AT-04RoPE 旋转位置编码的三种实现变体与实战解析【免费下载链接】pypto-gymPyPTO-Gym 是基于 PyPTO 编程框架构建的算子与模型样例仓库项目地址: https://gitcode.com/cann/pypto-gym本文围绕 CANN pypto-gym 仓库中 AT-04-rope.md 这一局部计算模式卡片展开系统讲解旋转位置编码RoPE在 PyPTO 算子中的三种实现变体Half-Split、Interleave GatherMask、Rotate-Half、其实例化参数并结合仓库内 Qwen3-1.7B、InterleaveRope、MLA Prolog 等真实算子源码给出可落地、可验证的 PyPTO 编码实践。读完本文你将掌握 RoPE 在 VectorV流水上的核心排布逻辑、三种变体的适用场景与 PyPTO API 级实现要点。一、模式定位RoPE 在 PyPTO 算子设计体系中的角色在 pypto-gym 的算子设计模式体系中局部计算模式Atom按CCube/VVector标记计算流水类型。RoPERotary Position Embedding是 atoms/index.md 中登记的AT-04号模式标签为positional-encodingCV 排布为纯 V——即完全由 Vector 流水承载的逐元素计算不涉及 Cube 矩阵运算。其核心描述为旋转位置编码应用于 Query/Key 的 head_dim 维度。这意味着 RoPE 的输入是注意力投影Q/K Projection之后的 Q、K 张量输出仍保持相同的[B, N, D]或[S, N, D]形状仅沿最后一维做旋转变换因此非常适合与 Norm、Cache 写入等 V 算子融合进同一条计算流水。在仓库的模式骨架中RoPE 频繁出现在 pre-attention 阶段。例如 SK-05-fused-pre-attention.md 描述的「Norm QKV Proj RoPE 与 Flash Attention 融合为单一 kernel」场景中Phase 1 为V(Norm) → C(Quant Linear) → V(DequantSplitNormRoPECache)其中q rope(q, cos, sin)、k rope(k, cos, sin)正是 RoPE 原子在融合链路中的典型落点该骨架还建议将 KV Cache scatterAT-16紧贴 RoPE 之后写入实现与 Phase 2 KV 读取的解耦。二、三种实现变体数学本质与 PyPTO 计算流原文档给出 RoPE 的三种变体它们在数学上等价都是对相邻/前后半维做二维旋转但在内存排布、所需算子、适用硬件上各有取舍。以下逐一展开。变体 A — Half-Split最常用这是最经典、也是最常用的实现直接把 head_dim 切成前后两半按[x_left, x_right]配对旋转。# 输入 x: [B, N, D], cos/sin: [B, D/2] x_left view(x, [..., 0:D/2]) x_right view(x, [..., D/2:D]) o1 sub(mul(x_left, cos), mul(x_right, sin)) o2 add(mul(x_right, cos), mul(x_left, sin)) out concat([o1, o2], dim-1)其核心是四个向量乘加操作与一次concatview 切半零成本不需要任何数据搬移算子因此在 PyPTO 中实现最简单、指令开销最低。原文档标注其使用算子为MLAProlog、Qwen3PreAttn、Compressor。仓库实证Qwen3-1.7B 融合 kernelrrms_norm_rope_impl.py 中_make_qk_rope_kernel(num_heads)工厂函数生成的 QN16与 KN8两版 kernel正是变体 A 的完整实现# Step 4: RoPE computation x_left pypto.view(normed_fp32, [BS_TILE, num_heads, HALF_D], [0, 0, 0], ...) x_right pypto.view(normed_fp32, [BS_TILE, num_heads, HALF_D], [0, 0, HALF_D], ...) o1 pypto.sub(pypto.mul(x_left, cos_b), pypto.mul(x_right, sin_b)) o2 pypto.add(pypto.mul(x_right, cos_b), pypto.mul(x_left, sin_b)) roped_fp32 pypto.concat([o1, o2], 2) # concat 回完整 D 维 roped_bf pypto.cast(roped_fp32, pypto.DT_BF16) pypto.assemble(roped_bf, [bs_idx * BS_TILE, 0, 0], out)值得注意的实现细节见该文件第 41~65、124~161 行FP32 中间计算输入x、cos、sin先pypto.cast到 FP32乘加运算全部在 FP32 域完成最后 cast 回 BF16保证旋转精度cos/sin 只取前半区cos_half view(cos_tile, [BS_TILE, HALF_D], [0, 0])即 cos/sin 仅需D/2长度cos: [seq_len, D]中取前半并通过reshape为[BS_TILE, 1, HALF_D]沿 head 维广播tile 化循环BS_TILE8外层pypto.loop(bs_loop, unroll_list[8, 4, 2, 1])遍历 seq 维pypto.view配合valid_shape[cur_bs, ...]处理 seq 不能被 BS_TILE 整除的尾块。变体 B — Interleave GatherMask当特征沿 head_dim 按相邻对interleave排布即x[2k]与x[2k1]构成一个旋转对时需要先把偶数位、奇数位拆开再旋转xe gathermask(x, mode1) # 偶数位 xo gathermask(x, mode2) # 奇数位 ye sub(mul(xe, cos), mul(xo, sin)) yo add(mul(xe, sin), mul(xo, cos)) out assemble interleaved ye, yo该变体的关键开销在gathermask的奇偶抽取与输出端的交错重组原文档标注使用算子为InterleaveRope。仓库实证InterleaveRope 算子interleave_rope_impl.py 完整实现了该变体且其 docstring第 12~37 行揭示了与 ASC ops-transformer 对齐的细节约定数学约定x_even[k] x[..., 2k]x_odd[k] x[..., 2k1]cos/sin 采用半区配对排布等价cat(freqs, freqs)即c_lo cos[..., 0:32]、c_hi cos[..., 32:64]输出 layout 为 split-half非 interleaveout[..., 0:32]写全部偶位结果out[..., 32:64]写全部奇位结果。这是为避开 PyPTO 5D 重组 op 限制的刻意约定且点积QK^T Σ_d Q[d]·K[d]对 D 维顺序不敏感Q/K 同 layout 时数值与原 interleave 排布等价——但调用方契约要求下游 attention 的 Q、K 必须同 layout混用会出错见 InterleaveRope/README.md 第 21~32 行实现路径kernel 内pypto.gathermask(x_f, pattern_mode1/2)拆奇偶位 → 全部输入 cast FP32 →mul/sub/add计算 → 出口 castbf16 用CAST_RINT、fp16 用CAST_NONE与 ASC RoundMode 一致→ 两次pypto.assemble分别写 out 左半偏移 0与右半偏移 32全程 4D 无 5D 重组Ascend 950 特化在DAV_3510架构上ASCEND_950_NPUARCH用pypto.deinterleave(x_f)单指令取奇偶双半替代两次 gathermask进一步降低指令数第 240~241 行。该算子 wrapper第 611~652 行按(arch, N, dtype, S, S_cs)五元组做 kernel 派发N ∈ {1, 128}×{bf16, fp16}四套基础 kernel另有broadcastcos/sin 只随 batch 变化、跨 N/S tile 复用、short_sS1、short_s_btileS2 且 B 维分块、unrollS2048等变体展示了同一 Atom 模式在不同 shape/arch 下的实例化策略。变体 C — Rotate-Half (Reshape-Transpose)该变体先将 D 维重塑为[D/2, 2]转置后实现「后半维取负 交换」的旋转语义x_2d reshape(x, [..., D/2, 2]) x_2d_t transpose(x_2d, -1, -2) # swap last two dims x_rot reshape(x_2d_t, [..., D]) # x_rot [-x2, x1] out concat([mul(-x_rot_right, cos) mul(x_rot_left, sin), ...])其本质是rotate_half把后半维取负并与前半维交换与旋转乘加的复合适合以 reshape/transpose 表达旋转对、随后统一做乘加的算子形态。原文档标注使用算子为MLAPrologQuant量化版 MLA Prolog即在该路径上 RoPE 与量化/反量化计算流串接。实例化参数原文档给出 RoPE 原子在具体 kernel 实例化时需要确定的三个参数参数说明variantA / B / Crotary_dim旋转维度通常 head_dim 或 head_dim 的子集partial_rotate是否仅旋转部分维度前 rotary_dim剩余维度直通补充仓库中的取值实例Qwen3-1.7B 场景D128、HALF_D64即rotary_dim head_dim全量旋转rrms_norm_rope_impl.py 第 41~42 行InterleaveRope 场景D64、HALF32同样全量旋转interleave_rope_impl.py 第 50~51 行。若rotary_dim head_dim则只需对前rotary_dim维执行上述任一变体剩余head_dim - rotary_dim维通过view直通拼接即partial_rotateTrue——这正是 GPT-NeoX 等模型的多模态/部分旋转配置仓库中 spatial_ssrl_3b 的 MRoPEmrope_section[16,24,24]分三段不同频率区间旋转见 rope/README.md即为分段旋转的变体应用。三、变体选型与融合场景什么时候用哪一种从仓库的算子实现可以总结出选型经验默认选变体 AHalf-Splitview 切半零成本、无数据搬移只要上游 Q/K Proj 输出是 split-half 排布[..., 0:D/2]与[..., D/2:D]配对就应优先使用。MLAProlog、Qwen3PreAttn、Compressor 均属此类其中 SK-04-multi-stage-prolog.md 与 SK-11-cache-compressor.md 骨架都将 RoPE 嵌入多阶段 prolog / 缓存压缩的 V 阶段。上游已是 interleave 排布时选变体 B若特征张量本身按相邻对组织常见于某些 ASC 兼容算子与量化场景强行转 split-half 反而要付出重排成本此时用gathermask(PM1/2)拆奇偶位、算完再assemble交错写出。InterleaveRope 即为此类且其「输出 split-half」的契约设计还顺带规避了 PyPTO 5D 重组限制InterleaveRope/README.md 第 21~28 行。需要显式 rotate_half 语义时选变体 C当计算流以[-x2, x1]交换取负形式组织如量化链中与 MLA Prolog 融合的 MLAPrologQuantreshape-transpose 的写法更贴近数学表达便于与后续乘加流水统一。此外在融合设计上遵循 SK-05-fused-pre-attention.md 的指导RoPE 属于 Phase 1 的 V 阶段尾部操作建议紧随其后做 KV Cache scatterAT-16写入紧贴 RoPE 之后使 Phase 2 的 KV 读取与 Phase 1 完全解耦。四、精度、约束与测试验证RoPE 是纯逐元素 V 算子仓库实现普遍遵循以下工程约束FP32 中间计算无论输入是 bf16 还是 fp16乘加均在 FP32 域完成后再 cast 回原 dtype避免旋转误差放大出口 cast 模式对齐 ASCbf16 用CAST_RINTfp16 用CAST_NONE。tile 化与尾块以BS_TILE8Qwen3 路径或S_TILE/N_TILEInterleaveRope 路径分块遍历valid_shape处理 S 维不被 tile 整除的尾块。dtype/shape 约束InterleaveRope 要求D64、N ∈ {1,128}、dtype 仅 fp16/bf16wrapper 中assert校验见 interleave_rope_impl.py 第 618~631 行Qwen3 路径要求D128。精度验收InterleaveRope 约定atol1e-4, rtol7.8125e-3即 2^-7对应 bf16 精度量级golden 直接取 PyTorch 等价实现。验证方式仓库内可直接复跑# Qwen3-1.7B 的 RMSNormRoPE 融合算子测试 export TILE_FWK_DEVICE_ID0 source /usr/local/Ascend/ascend-toolkit/set_env.sh python3 tests/ops/qwen3_1_7b/test_rms_norm_rope.py # spatial_ssrl_3b 的 RoPE/MRoPE 测试 export TILE_FWK_DEVICE_ID2 pytest tests/ops/spatial_ssrl_3b/rope/test_rope.py -v --forked相关测试用例与 golden 分布在 tests/ops/qwen3_1_7b/含test_cases.json与rms_norm_rope_golden.py和 tests/ops/spatial_ssrl_3b/rope/含rms_norm_golden_qwen3_vl_8b_instruct_unredacted_max.py等参考实现测试用例来源于模型打点采集的真实 shape/dtypePrefill 变长输入 S1,4,7,32,128 等。五、小结RoPE 作为positional-encoding类纯 V 原子模式是 pre-attention 融合链路中高频复用的基础算子。AT-04 模式卡片给出的三种变体——Half-Splitview 切半 4 次乘加 concat、Interleave GatherMaskgathermask 奇偶拆解 assemble 重组、Rotate-Halfreshape-transpose rotate_half 乘加——覆盖了 split-half 与 interleave 两大类内存排布实例化时通过variant、rotary_dim、partial_rotate三个参数即可快速确定 kernel 形态。仓库内 Qwen3-1.7B 与 InterleaveRope 的实现进一步印证了「FP32 中间计算 tile 化 valid_shape 尾块 出口 cast 模式对齐」这一套可复用的 PyPTO 编码范式可作为后续自定义注意力类算子的直接参考样板。【免费下载链接】pypto-gymPyPTO-Gym 是基于 PyPTO 编程框架构建的算子与模型样例仓库项目地址: https://gitcode.com/cann/pypto-gym创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
