在2024年大模型狂热中，小模型轻量化成为逆向趋势。轻量化通过知识蒸馏、剪枝量化、架构创新（如Mamba、MoE），在保持接近大模型效果的同时，将参数压至1B以下，实现10倍以上速度提升和90%体积缩减。代表模型包括Phi-3、Gemma、Llama 3.2及苹果OpenELM等，已在智能穿戴、工业边缘计算、端侧AI等... 18小时前 0 阅读
状态空间模型（SSM）及其改进算法Mamba通过选择性扫描机制，在保持线性复杂度的同时超越Transformer性能，解决了长序列建模的二次复杂度瓶颈。同期出现的RWKV、Hyena及物理启发式神经算子、强化学习中的局部可塑性算法，分别从效率、泛化和可解释性角度推动AI摆脱“暴力计算”。未来将出现混合算法，降低算力成本... 18小时前 0 阅读
