长序列建模：状态空间模型如何降低开销

dev.to 的一篇文章以万步信号预测为例，解释状态空间模型（SSM）如何用固定大小的隐藏状态处理长序列，并梳理从朴素递推、S4 到 Mamba 的改进思路。核心问题很具体：不把全部历史留着供后续查询，模型还能记住多少有用信息，又能省下哪些计算？

目前能确认什么

标准全注意力需要计算序列位置之间的关联，计算量随序列长度呈平方级增长。SSM 则把历史压缩进状态，每来一个输入，就更新一次状态。固定模型配置下，单步递推的计算量不随历史长度增加，也不需要持续增长的 KV cache。

但压缩历史有代价。朴素线性递推可能让旧信息不断衰减，也可能让状态数值失控。节选介绍的 S4 通过结构化状态矩阵，保留不同时间尺度的信息；其固定线性递推还能转成卷积，方便训练时并行计算。

S4 的局限是处理规则不随输入内容改变。Mamba 引入输入相关的选择机制，让状态更新能够区分内容；同时使用面向硬件的选择性扫描（selective scan）恢复并行效率。

省下历史存储之后，难题转成了如何保留未来真正需要的信息。

我的判断

对程序员而言，这篇文章最有价值的是解释长序列架构的取舍。处理长日志、连续信号等数据时，除了关注上下文能放多长，还应区分任务需要持续汇总，还是需要精确找回某条历史记录。固定大小的状态无法保证完整保留任意增长的历史。

选择机制能改善记忆分配，但不能据此认定 Mamba 可以替代所有 Attention 场景。节选中的复制任务只说明机制，没有给出完整实现、评测配置和对照结果；万步预测案例也未展示误差与资源消耗。

复杂度更低，不等于具体任务里更快、更准。

实际收益还要看状态大小、硬件实现，以及压缩历史后能否保住所需信息。这些目前都缺少足够证据。