L1 Buffer到Fixpipe Buffer数据搬运

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

产品支持情况

• Ascend 950PR/Ascend 950DT：支持

• Atlas A3 训练系列产品/Atlas A3 推理系列产品：不支持

• Atlas A2 训练系列产品/Atlas A2 推理系列产品：不支持

• Atlas 200I/500 A2 推理产品：不支持

• Atlas 推理系列产品AI Core：不支持

• Atlas 推理系列产品Vector Core：不支持

• Atlas 训练系列产品：不支持

功能说明

头文件路径为：tensor_api/tensor.h。

Tensor API通过Copy接口统一执行不同通路数据搬运。该接口用于将L1 Buffer中的量化数据搬运到Fixpipe Buffer。量化数据可用于L0C输出到GM/UB时做随路量化。

函数原型

• 执行L1 Buffer到Fixpipe Buffer的数据搬运。

  template <typename AtomType, typename DstTensor, typename SrcTensor> __aicore__ inline void Copy(const CopyAtom<AtomType>& atomCopy, const DstTensor& dst, const SrcTensor& src)

• 构造默认搬运原子对象。

  template <typename CopyOperationType> __aicore__ inline constexpr auto MakeCopy(const CopyOperationType& copyOperation)

• 构造指定Trait的搬运原子对象。

  template <typename CopyOperationType, typename CopyTraitType> __aicore__ inline constexpr auto MakeCopy( const CopyOperationType& copyOperation, const CopyTraitType& copyTrait)

参数说明

表1Copy接口参数说明

表2MakeCopy接口参数说明

数据类型

源张量和目的张量的数据类型要求是uint64_t。

返回值说明

Copy无返回值。MakeCopy返回CopyAtom对象。

约束说明

• 源Tensor内存地址和大小需要满足32Byte对齐要求。
• 目的Tensor内存地址和大小需要满足128Byte对齐要求。
• 由于Fixpipe Buffer大小为4KB，因此每次搬运最多4KB数据。

调用示例

#include "tensor_api/tensor.h" using namespace AscendC::Te; __aicore__ inline void CopyL1ToFixpipeExample() { using DataType = uint64_t; constexpr uint32_t n = 16; __cbuf__ DataType l1Buf[n]; __fbuf__ DataType fixbuf[n]; auto l1Tensor = MakeTensor(MakeMemPtr(l1Buf), MakeFrameLayout<NDExtLayoutPtn>(1, n)); auto fixbufTensor = MakeTensor(MakeMemPtr(fixbuf), MakeFrameLayout<NDExtLayoutPtn>(1, n)); auto copyAtom = MakeCopy(CopyL12FB{}, CopyL12FBTraitDefault{}); Copy(copyAtom, fixbufTensor, l1Tensor); }

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言，原生支持C和C++标准规范，主要由类库和语言扩展层构成，提供多层级API，满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit