在2024年大模型狂热中,小模型轻量化成为逆向趋势。轻量化通过知识蒸馏、剪枝量化、架构创新(如Mamba、MoE),在保持接近大模型效果的同时,将参数压至1B以下,实现10倍以上速度提升和90%体积缩减。代表模型包括Phi-3、Gemma、Llama 3.2及苹果OpenELM等,已在智能穿戴、工业边缘计算、端侧AI等... 18小时前 0 阅读