在2024年大模型狂热中,小模型轻量化成为逆向趋势。轻量化通过知识蒸馏、剪枝量化、架构创新(如Mamba、MoE),在保持接近大模型效果的同时,将参数压至1B以下,实现10倍以上速度提升和90%体积缩减。代表模型包括Phi-3、Gemma、Llama 3.2及苹果OpenELM等,已在智能穿戴、工业边缘计算、端侧AI等... 18小时前 0 阅读
状态空间模型(SSM)及其改进算法Mamba通过选择性扫描机制,在保持线性复杂度的同时超越Transformer性能,解决了长序列建模的二次复杂度瓶颈。同期出现的RWKV、Hyena及物理启发式神经算子、强化学习中的局部可塑性算法,分别从效率、泛化和可解释性角度推动AI摆脱“暴力计算”。未来将出现混合算法,降低算力成本... 18小时前 0 阅读