CANN/asc-devkit:SoftmaxFlash Tiling接口

CANN/asc-devkit:SoftmaxFlash Tiling接口

SoftmaxFlash Tiling接口

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

功能说明

注意:该接口后续即将废弃,新开发内容不要使用该接口

用于获取SoftmaxFlash Tiling参数。

函数原型

  • 获取Kernel接口计算所需最小/最大临时空间的接口

    uint32_t GetSoftMaxFlashMaxTmpSize(const ge::Shape& srcShape, const uint32_t dataTypeSize, const bool isUpdate, const bool isReuseSource)
    uint32_t GetSoftMaxFlashMinTmpSize(const ge::Shape& srcShape, const uint32_t dataTypeSize, const bool isUpdate, const bool isReuseSource)
  • Tiling计算接口

    • AscendC::optiling命名空间下的计算接口

      void SoftMaxFlashTilingFunc(const ge::Shape& srcShape, const uint32_t dataTypeSize, const uint32_t localWorkSpaceSize, optiling::SoftMaxTiling& softmaxFlashTiling, const bool isUpdate = false)
    • AscendC命名空间下的计算接口

      void SoftMaxFlashTilingFunc(const ge::Shape& srcShape, const uint32_t dataTypeSize, const uint32_t localWorkSpaceSize, AscendC::tiling::SoftMaxTiling& softmaxFlashTiling, const bool isUpdate = false)

参数说明

表1SoftmaxFlash GetSoftMaxFlashMaxTmpSize/GetSoftMaxFlashMinTmpSize接口参数列表

参数名输入/输出功能
srcShape输入输入srcTensor的shape信息。
dataTypeSize输入参与计算的maxTensor和sumTensor的数据类型,比如half=2。
isUpdate输入是否开启刷新功能,和kernel侧SoftmaxFlash接口一致,默认false。
isReuseSource输入与kernel侧接口配置保持一致。

表2SoftmaxFlash SoftMaxFlashTilingFunc接口参数列表

参数名输入/输出功能
srcShape输入输入srcTensor的shape信息。
dataTypeSize输入参与计算的maxTensor和sumTensor的数据类型,比如half=2。
localWorkSpaceSize输入剩余的可供SoftmaxFlash接口计算的空间大小,单位为Byte。localWorkSpaceSize的取值必须大于GetSoftMaxFlashMinTmpSize接口返回的计算所需的最小临时空间大小。
isUpdate输入是否开启刷新功能,和kernel侧SoftmaxFlash接口一致,默认false。
softmaxFlashTiling输出输出SoftmaxFlash接口所需的tiling信息,支持optiling::SoftMaxTiling形式入参和AscendC::tiling::SoftMaxTiling形式入参。

返回值说明

GetSoftMaxFlashMaxTmpSize返回SoftmaxFlash接口能完成计算所需最大临时空间大小,单位为Byte。

GetSoftMaxFlashMinTmpSize返回SoftmaxFlash接口能完成计算所需最小临时空间大小,单位为Byte。

约束说明

【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C++标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit

创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考