标签: LoRA

LoRA 微调入门

为什么需要 LoRA 全量微调 7B 模型需要 50+ GB 显存。LoRA 通过低秩分解将可训练参数减少 1000 倍。 核心原理 在预训练权重旁添加低秩矩阵 A 和 B： $$W' = W + \alpha \cdot AB$$ 其中 ...