Quantize

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

• Ascend 950PR/Ascend 950DT：支持

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：不支持

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：不支持

• Atlas 200I/500 A2 推理产品：不支持

• Atlas 推理系列产品AI Core：不支持
• Atlas 推理系列产品Vector Core：不支持

• Atlas 训练系列产品：不支持

功能说明

按元素做量化计算，将高精度数据转换为低精度数据。本接口的量化策略包括PER_TENSOR，PER_CHANNEL，PER_TOKEN和PER_GROUP四种，每种量化策略均支持配置舍入模式。本接口最多支持输入为二维数据，不支持更高维度的输入。

Quantize与AscendQuant的功能类似，Quantize在PER_TENSOR、PER_CHANNEL量化场景，扩展了配置舍入模式的功能，因此推荐使用本接口。

• PER_TENSOR量化：整个srcTensor对应一个量化参数，scale和offset的shape为[1]。

• PER_CHANNEL量化：srcTensor的shape为[m, n]，每个channel维度对应一个量化参数，scale和offset的shape为[1, n]。

• PER_TOKEN量化：srcTensor的每组token（token为n方向，共有m组token）中的元素共享一个量化参数，srcTensor的shape为[m, n]时，scale和offset的shape为[m, 1]。

• PER_GROUP量化：定义group的计算方向为k方向，srcTensor在k方向上每groupSize个元素共享一组scale和offset。srcTensor的shape为[m, n]时，如果kDim=0，表示k是m方向，scale和offset的shape为[(m + groupSize - 1) / groupSize, n]；如果kDim=1，表示k是n方向，scale和offset的shape为[m，(n + groupSize - 1) / groupSize]。

  根据输出数据类型的不同，PER_GROUP量化分为两种场景：fp4x2_e2m1_t/fp4x2_e1m2_t场景（后续内容中简称为float4场景）和int8_t/hifloat8_t/fp8_e5m2_t/fp8_e4m3fn_t场景（后续内容中简称为b8场景）。

  • fp4x2_e2m1_t/fp4x2_e1m2_t场景（float4场景）

    • kDim = 0:

    • kDim = 1:

  • int8_t/hifloat8_t/fp8_e5m2_t/fp8_e4m3fn_t场景（b8场景）

    • kDim = 0：

    • kDim = 1:

函数原型

• 通过sharedTmpBuffer入参传入临时空间

  template <const QuantizeConfig& config, typename DstT, typename SrcT, typename ScaleT, typename OffsetT> __aicore__ inline void Quantize(const LocalTensor<DstT>& dstTensor, const LocalTensor<SrcT>& srcTensor, const LocalTensor<uint8_t>& sharedTmpBuffer, const ScaleT& scale, const OffsetT& offset, const QuantizeParams& params)

• 接口框架申请临时空间

  template <const QuantizeConfig& config, typename DstT, typename SrcT, typename ScaleT, typename OffsetT> __aicore__ inline void Quantize(const LocalTensor<DstT>& dstTensor, const LocalTensor<SrcT>& srcTensor,const ScaleT& scale, const OffsetT& offset, const QuantizeParams& params)

由于该接口的内部实现中涉及复杂的数学计算，需要额外的临时空间来存储计算过程中的中间变量。临时空间支持接口框架申请和开发者通过sharedTmpBuffer入参传入两种方式。

• 接口框架申请临时空间，开发者无需申请，但是需要预留临时空间的大小。

• 通过sharedTmpBuffer入参传入，使用该tensor作为临时空间进行处理，接口框架不再申请。该方式开发者可以自行管理sharedTmpBuffer内存空间，并在接口调用完成后，复用该部分内存，内存不会反复申请释放，灵活性较高，内存利用率也较高。

接口框架申请的方式，开发者需要预留临时空间；通过sharedTmpBuffer传入的情况，开发者需要为sharedTmpBuffer申请空间。临时空间大小BufferSize的获取方式如下：通过GetQuantizeMaxMinTmpSize中提供的接口获取需要预留空间的范围大小。

参数说明

表1模板参数说明

struct QuantizeConfig { QuantizePolicy policy; bool hasOffset; RoundMode roundMode = RoundMode::CAST_RINT; int32_t kDim = 1; }; enum class QuantizePolicy : int32_t { PER_TENSOR, PER_CHANNEL, PER_TOKEN, PER_GROUP };

表2接口参数说明

struct QuantizeParams { uint32_t m; uint32_t n; uint32_t groupSize = 0; };

输入输出支持的数据类型组合如下：

表3DstT为fp8_e5m2_t/fp8_e4m3fn_t支持的数据类型组合

表4DstT为hifloat8_t支持的数据类型组合

表5DstT为int8_t支持的数据类型组合 | SrcT | ScaleT/OffsetT | roundMode | | --- | --- | --- | | half | half | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC | | bfloat16_t | bfloat16_t | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC | | float | float | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC | | half | float | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC | | bfloat16_t | float | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC |

表6DstT为fp4x2_e1m2_t/fp4x2_e2m1_t支持的数据类型组合（当前均只支持PER_GROUP场景） | SrcT | ScaleT/OffsetT | roundMode | | --- | --- | --- | | half | half | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC | | bfloat16_t | bfloat16_t | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC | | float | float | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC | | half | float | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC | | bfloat16_t | float | CAST_RINT(默认)
CAST_ROUND
CAST_FLOOR
CAST_CEIL
CAST_TRUNC |

返回值说明

无

约束说明

• 不支持源操作数与目的操作数地址重叠。
• 操作数地址对齐要求请参见通用地址对齐约束。
• 输入输出操作数参与计算的数据长度要求32字节对齐。
• 连续计算方向（即n方向）的数据量要求32字节对齐。
• PER_GROUP量化的float4场景不支持offset，该场景下模板参数config中的hasOffset参数必须配置为false。

调用示例

• PER_CHANNEL、PER_TOKEN、PER_GROUP模式

  constexpr static QuantizePolicy tokenPolicy = QuantizePolicy::PER_TOKEN; constexpr static QuantizePolicy channelPolicy = QuantizePolicy::PER_CHANNEL; constexpr static QuantizePolicy groupPolicy = QuantizePolicy::PER_GROUP; // 此处以PER_TOKEN模式为例，启用offset，舍入模式为CAST_ROUND；kDim仅PER_GROUP场景有效，表示group计算方向为n方向 constexpr static QuantizeConfig config = {tokenPolicy, true, RoundMode::CAST_ROUND, 1}; QuantizeParams params; // m,n为外部传入参数，表示srcLocal实际参与的m、n方向的元素个数 params.m = m; params.n = n; params.groupSize = n; // 仅PER_GROUP场景有效，此处表示n方向所有元素共享一组scale和offset // dstLocal为int8_t类型的LocalTensor，srcLocal、scale、offset为half类型的LocalTensor Quantize<config>(dstLocal, srcLocal, scale, offset, params);

• PER_TENSOR模式

  constexpr static QuantizePolicy tensorPolicy = QuantizePolicy::PER_TENSOR; // 启用offset，舍入模式为CAST_ROUND constexpr static QuantizeConfig config = {tensorPolicy, true, RoundMode::CAST_ROUND, -1}; QuantizeParams params; // m,n为外部传入参数，表示srcLocal实际参与的m、n方向的元素个数 params.m = m; params.n = n; params.groupSize = 0; // 仅PER_GROUP场景有效 // dstLocal为int8_t类型的LocalTensor，srcLocal为half类型的LocalTensor，scale、offset为half类型的标量 Quantize<config>(dstLocal, srcLocal, scale, offset, params);

结果示例如下：

输入数据（srcLocal）: [-4.4, 2.5, -2.9, -3.1, -1.5, -4.8, 1.8, 3.5, 4.5, 1.1, -2.7, 0.5, ... 1.6] 输入数据（scale矢量）: [1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, 1, ... 1] 输入数据（scale标量）: [1] 输入数据（offset矢量）: [0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, 0, ... 0] 输入数据（offset标量）: [0] 输出数据（dstLocal）: [-4, 3, -3, -3, -1, -5, 2, 4, 5, 1, -3, 1, ... 2]

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit