在2024年大模型狂热中，小模型轻量化成为逆向趋势。轻量化通过知识蒸馏、剪枝量化、架构创新（如Mamba、MoE），在保持接近大模型效果的同时，将参数压至1B以下，实现10倍以上速度提升和90%体积缩减。代表模型包括Phi-3、Gemma、Llama 3.2及苹果OpenELM等，已在智能穿戴、工业边缘计算、端侧AI等... 18小时前 0 阅读
