当前位置: 首页 > news >正文

Flash Attention算法动画

矩阵Q,K,V 在HBM,SRAM芯片大小为M,其中N=5,d=3, M=59

image

 1.设置块大小Bc=4,Br=3

image

 2.初始化O,l,m

image

 3.分割Q为Tr块[Q0,Q1],每块大小Br*d,分割K,V为Tc块[K0,K1],[V0,V1],每块大小Bc*d

image

 4.分割O为Tr块,每块大小Br * d,分割l为Tr块,每块大小Br,分割m为Tr,每块大小为Br

image

外层循环: 

  从HBM加载K0,V0到SRAM

image

 内层循环:

  从HDM中加载Q0,O0,l0,m0到SRAM中

image

   在芯片中,计算S[0,0] = Q0 * K0

image

   在芯片中,计算当前块每一行的 最大值m[0,0] = rowmax(S[0, 0]),Softmax分子P[0, 0] = exp(S[0,0] - m[0,0]),Softmax分母l[0, 0]=rowsum(P[0, 0])

image

 

image

 

image

   在芯片中计算出:l[0, 0], m[0, 0]和l[0,0]的每一行的和l0

image

 计算出O[0],将O[0]结果写入到HBM中

image

 

image

   从HBM中将Q1,O1,l1,m1加载到SRAM中

image

 

image

 

image

 

image

 

image

 

image

 

http://www.zskr.cn/news/8062.html

相关文章:

  • 【技术实现】7天极速搭建体育比分网站 - 世界杯期间流量红利抓取实战
  • C#开发ONVIF客户端与RTSP播放库指南
  • 经验分享 —— 在 Ubuntu 虚拟机中部署 OceanBase 数据库
  • CH584 CH585 复位状态寄存器
  • AppConfig
  • 绕过安全控制安装第三方软件
  • 软件体系结构概论 1章
  • SQLSERVER数据备份 - 实践
  • 逆向分析之if语句与循环语句的分析
  • ROMA-iOS适配深色模式总结
  • Git 指令笔记 - 详解
  • Syntax Error: TypeError: eslint.CLIEngine is not a constructor 解决方案
  • 【ACM出版】2025年人工智能、虚拟现实与交互设计国际学术会议(AIVRID 2025)
  • 《sklearn机器学习——特征提取》 - 指南
  • Windows 10 11 Boot Fix
  • ubuntu 安装 milvus
  • SI/PI学习笔记1 -20250911
  • Web开发工具一套式部署Maven/Nvm/Mysql/Redis - 教程
  • 单词翻转
  • 详细介绍:kafka如何保证消息不被重复消费
  • C++ 最开始的地方
  • ClkLog埋点与用户行为分析系统:架构升级与性能全面提升
  • ARC187 做题记
  • lombok与mapstruct冲突的问题
  • SAP物料自动记账科目设置总结
  • NVR设备ONVIF接入平台EasyCVR视频融合平台智慧小区视频监控一站式建设方案
  • 移远模组使用移远云平台对接指令
  • 2025年最火的免费客服系统分享
  • MCP服务自用
  • Nexpose 8.21.0 for Linux Windows - 漏洞扫描