先确认是否真的需要微调
如果问题来自检索缺失、提示词不清或工具契约不稳定,微调通常不是第一选择。只有当任务格式稳定、样本足够且需要改变模型行为时,才评估 LoRA、Adapter 或全量微调。
数据比参数更重要
数据集要去重、脱敏并明确许可。把训练、验证和回归集按时间或来源分开,避免同一问题泄漏到验证集。记录标签指南和拒答样本,防止模型只学会表面格式。
训练前固定基线:任务准确率、拒答率、延迟、显存和成本。训练后同时比较能力和退化,特别是通用问答、长上下文、工具调用和安全边界。不要用单一 loss 宣称上线可行。
发布要可回退
保存基座模型、适配器、训练参数、数据版本和评测报告。推理服务先以影子流量验证,再小比例放量。适配器组合要限制数量并监控显存;发现安全或质量回归时立即切回基线。
