现代 LLM 注意力机制可视化教程

我对这些 Attention 机制的分类一直相当困惑。之前我基本认为，Hybrid Attention 是指 MLA + Sparse Attention、SWA + GQA 这类按不同比例组合的机制，或者 Gated Attention 加上 Delta Gate Attention 之类的组合……但你的文章指出，Hybrid Attention 是指用 linear Attention 或 State Space Module 替换 Transformer block。它的确属于一种 Hybrid，但感觉更像是对新型 LM Architecture 的全新设计。顺便说一句，我觉得 Kimi Attention Residuals 未来也可以纳入 Hybrid 列表——前提是能够证明 AttnRes 与 GQA 或 MLA 兼容。

太棒了！！！！我非常喜欢，现在理解得更深入了。