状态空间模型重构序列建模
在Transformer架构统治大模型领域多年后，一种名为“状态空间模型（SSM）”的新算法范式正悄然改写序列建模的底层逻辑。传统的注意力机制虽然擅长捕捉长距离依赖，但其计算复杂度随序列长度呈二次增长，成为处理超长上下文（如整本书、全基因组序列或高分辨率视频）的核心瓶颈。2023年底至2024年初，以Mamba系列为代表的改进型SSM算法，通过引入“选择性状态空间”概念，在保持线性复杂度的同时，首次在语言建模任务上达到或超越了同等规模的Transformer性能。这一突破被《Nature Machine Intelligence》等期刊评价为“将序列建模从二次复杂度陷阱中解放出来的关键一步”。
Mamba核心机制：选择性扫描
Mamba算法的创新核心在于其“选择性扫描”（Selective Scan, SS）机制。传统状态空间模型（如S4）将所有输入信息一视同仁地投影到隐藏状态，缺乏对输入内容重要性的动态筛选能力。Mamba的设计者——来自CMU与Princeton的研究团队——发现，通过引入一个依赖输入的门控参数，让模型在每步更新时动态决定哪些历史信息需要保留、哪些可以遗忘，从而在数学上实现了类似注意力机制的“内容感知”能力。具体而言，Mamba将连续时间系统离散化为参数可学习的递归结构，并利用并行化扫描技术（类似前缀和计算）将推理速度提升至与Transformer相当。实验显示，在8K序列长度下，Mamba-2.8B模型的吞吐量比同规模Transformer快5倍，内存占用仅为后者的40%。
线性注意力家族的新成员：RWKV与Hyena
与Mamba几乎同期诞生的RWKV（Receptance Weighted Key Value）模型和Hyena层次化卷积算子同样属于“智能新算法”阵营。RWKV使用时间混合和通道混合模块替代Transformer中的自注意力，将感受野限制在相对位置内，训练速度比同规模Transformer快50%，且在PPO强化学习微调中表现出更优的稳定性。而Hyena则将卷积核替换为可学习的阶乘滤波器，通过结合快速傅里叶变换和门控机制，在代码生成和数学推理任务上逼近Transformer性能，但内存开销呈线性增长。这些算法共同构成了“后Transformer时代”的第一批实践者，推动了AI基础设施在推理成本上的革命性降级。
物理启发式算法：从微分方程到神经算子
另一条值得关注的“智能新算法”分支，是将物理建模与深度学习结合的神经算子（Neural Operator）以及神经微分方程（Neural ODE）。传统深度学习把时间步长固定为离散步骤，而Neural ODE将残差网络连续化，将隐藏状态随时间演化的过程用常微分方程求解器代替。最新发表的神经算子改进版——傅里叶神经算子（FNO）与消息传递神经算子（MPNO）——在气象预测、流体动力学模拟等科学计算领域，仅用传统数值方法1%的计算量即可达到同等精度。例如，Google DeepMind与MIT合作开发的“GraphCast”模型，利用消息传递神经算子将全球中期天气预报的推理速度从数小时压缩到1分钟，且准确率超越欧洲中期天气预报中心的传统模型。这类算法的本质是将物理先验（如平流方程、扩散方程）直接编码到网络架构中，实现“数据驱动+物理约束”的混合智能。
强化学习中的元算法：局部可塑性更新
在强化学习领域，一种名为“局部可塑性”（Local Plasticity）的算法近期引发关注。传统梯度下降法需反向传播全局误差，而局部可塑性算法模仿生物神经元的赫布学习法则，仅基于局部突触前和突触后活动更新权重，无需保存计算图。这项由Max Planck研究所与DeepMind合作开发的新算法，在Atari游戏和连续控制任务中，训练速度比标准强化学习快3倍，且天然适用于神经形态硬件。其核心创新在于引入了一个“可微突触塑性规则”（Differentiable Plasticity Rule），将学习过程本身视为可微分的神经网络，从而允许用梯度下降法优化局部学习规则本身。这意味着AI系统可以在运行时自动发现更优的学习策略，而非固定预设规则。
算法竞争：效率、泛化与可解释性三角博弈
当前智能新算法的竞争已进入白热化阶段。Mamba系列（包括Mamba-2与Jamba）正被集成到Mosaic ML、Hugging Face等平台的模型库中；RWKV则成为开源社区中首个能在消费级GPU上微调的长上下文模型（支持100K tokens）；而神经算子则被英伟达的Modulus框架采用，用于工业流体仿真。然而，这些算法也面临各自的局限性：状态空间模型在处理嘈杂、高变异性数据时容易出现过平滑（隐藏状态快速饱和）；RWKV在复杂推理链条（如多跳问答）中仍不如Transformer；神经算子对非均匀网格和复杂边界条件的适应能力有待提升。因此，业界普遍认为未来两年将出现“混合算法”——例如将Transformer的稀疏注意力与Mamba的选择性扫描结合，或者用神经算子作为编码器，再用Transformer解码器完成概念推理。
从算法革新到产业落地
智能新算法的最直接受益者是AI推理成本敏感型应用。例如，蚂蚁集团已将Mamba适配到其金融风控系统中，处理超高维序列特征时延迟降低60%；而RWKV被用于某知识库问答产品，支持用户一次性上传500页PDF，回答时间不超过2秒。在科学计算领域，Fourier Neural Operator已帮助欧洲核子研究中心（CERN）的探测器模拟项目节省每月数百万美元的计算费用。更重要的是，这些算法普遍支持更小的模型尺寸（参数仅为传统模型的1/3）即可达到同等效果，使得移动端部署大模型成为可能。可以预见，随着算法基础设施的完善，未来AI应用的“算力税”将显著下降，而模型对复杂物理世界建模的粒度将变得更加精细。
当前，关于智能新算法的论文数量正以每月超过200篇的速度增长，但核心思想逐渐收敛至三大方向：用线性/次线性复杂度替代二次复杂度、用物理先验约束学习空间、用局部学习规则取代全局反向传播。无论哪条路线最终胜出，都意味着AI系统正在摆脱“暴力计算”的依赖，走向更接近生物智能和物理直觉的进化路径。这种进化不仅是效率的提升，更是对智能本质理解的深化——当算法开始像自然一样优雅地压缩信息时，AGI的边界或许就在不远处。