大模型微调：从昂贵全参数训练到高效适配的技术演进
大语言模型（LLM）的参数量已突破千亿甚至万亿级别，全参数微调（Full Fine-Tuning）所需的内存与算力成本让绝大多数研究团队与企业望而却步。与此同时，冻结大部分参数、仅调整少量可训练模块的参数高效微调（Parameter-Efficient Fine-Tuning，PEFT）方法迅速崛起，成为大模型落地应用的主流范式。过去一年，这一领域持续涌现出更轻量、更稳定、甚至无需额外梯度的创新方案，正在重新定义大模型适配的效率和边界。
全参数微调的瓶颈与LoRA的颠覆
传统全参数微调需要更新整个模型的数十亿参数，对于175B参数的GPT-3，单次训练就需要数千张GPU和巨额能耗。更关键的是，每次微调都会产生一个完整的新模型副本，存储和部署成本极高。2021年提出的LoRA（Low-Rank Adaptation）通过将权重更新分解为低秩矩阵，仅训练原权重0.1%～1%的参数，就能在多数任务上逼近全参数微调的效果。这一思路迅速成为行业基准，Hugging Face的PEFT库、微软的DeepSpeed等框架均将LoRA作为核心支持方法。
然而，LoRA并非没有局限。其低秩假设在复杂推理任务（如数学、代码生成）上的表现仍与全参数微调存在差距；此外，LoRA的秩（rank）选择依赖人工调优，不当设置会导致欠拟合或过拟合。2024年以来的多项研究开始试图弥补这些短板。
DoRA：权重分解导向的稳定微调
2024年初发表的DoRA（Weight-Decomposed Low-Rank Adaptation）对LoRA做出了关键改进。DoRA将预训练权重分解为幅度（magnitude）与方向（direction）两个分量，仅对方向分量施加低秩更新，同时保留幅度分量的原始结构。实验表明，这种分解使得微调过程更稳定，收敛速度更快，在多项NLU和NLG任务上以相同参数量超越了LoRA，且对秩的敏感性更低。DoRA的核心洞察在于：大模型的多数知识编码在权重方向而非幅度中，精细控制方向更新能减少破坏预训练特征的风险。
VeRA：无需可训练参数的向量级适配
更激进的尝试来自VeRA（Vector-based Random Adaptation）。该方法完全放弃了LoRA中的低秩矩阵，而是引入一组随机初始化的向量（vector）作为适配基座，并在推理时通过加权组合这些向量来调整模型输出。VeRA不需要任何梯度更新——事实上，它的向量权重是通过轻量级贝叶斯优化或超网络预测确定的。这一思路将微调彻底转化为“学习一个很轻的权重组合公式”，参数量仅为LoRA的千分之一，且完全避免了梯度计算，适合在边缘设备上快速适配。目前VeRA在文本分类和问答任务上已表现出与LoRA可比的性能，但其在多轮对话和长文本生成上的泛化性仍是研究焦点。
微调与对齐的融合：偏好微调与安全约束
微调不再只关注任务性能，安全与价值对齐成为核心需求。基于人类反馈的强化学习（RLHF）成本高昂，且容易导致模型遗忘原始能力（灾难性遗忘）。2024年，研究人员将偏好微调（Preference Fine-Tuning）与参数高效方法结合，提出了如DPO（Direct Preference Optimization）的轻量化变体。其中，LoRA微调的基座模型在DPO框架下仅需数百条偏好数据即可完成对齐，且遗忘率显著低于全参数RLHF。同时，安全性约束微调（Safety-Constrained Fine-Tuning）被引入，通过在损失函数中加入正则项，使微调过程自动抑制有害输出。这些技术已被应用于开源模型（如Llama 3、Qwen2）的社区微调流程中。
工业界实践：从云端到手机的微调部署
参数高效微调的成熟直接推动了开源大模型的行业应用。以阿里云“百炼”平台为例，用户只需上传数十条领域数据，平台自动选择LoRA/QLoRA策略并生成专用模型，训练成本降低90%以上。在端侧，高通与Meta合作展示了在骁龙8 Gen 3手机上运行6B参数模型并使用LoRA进行实时适配的案例，延迟仅200毫秒。另一值得关注的方向是混合微调：针对垂直任务（如医疗诊断），先使用全参数调优底层表示层，再用LoRA调优顶层分类头，实现性能与效率的折中。
挑战与未来方向
尽管参数高效方法已大幅降低大模型微调门槛，仍存在若干未解决问题：第一，理论理解滞后——为何低秩更新在语言任务上有效，但在多模态或强化学习任务上效果不稳定？第二，微调数据污染——LoRA等方法的低参数量使其更容易过拟合到训练集噪声，需要更鲁棒的验证策略。第三，大规模生态下的微调复用——不同平台提供不同PEFT方案（如AdaLoRA、Prefix Tuning、Prompt Tuning），缺乏统一的索引与组合标准。未来，动态自适应微调（根据任务复杂度自动选择秩或方法）、零样本微调（无需任务数据直接适配）以及微调后知识蒸馏可能是突破方向。
可以预见，大模型微调正从“全量训练”走向“轻量定制”，从“单任务适配”走向“多任务持续学习”。这一领域的技术迭代速度将直接影响大模型在垂直行业渗透的深度与广度，值得每一位AI从业者保持关注。