FlashMLA 是一个针对 Hopper GPU 优化的高效 MLA 解码内核，专为变长序列服务设计。它基于 CUDA 12.3 及以上版本开发，支持 PyTorch 2.0 及以上版本。FlashMLA 的主要优势在于其高效的内存访问和计算性能，能够在 H800 SXM5 上实现高达 3000 GB/s 的内存带宽和 580 TFLOPS 的计算性能。该技术对于需要大规模并行计算和高效内存管理的深度学习任务具有重要意义，尤其是在自然语言处理和计算机视觉领域。FlashMLA 的开发灵感来源于 FlashAttention 2&3 和 cutlass 项目，旨在为研究人员和开发者提供一个高效的计算工具。