【VLA与模仿学习】LoRA低秩适配论文精读-北京尧图网络

一句话定位微调大模型时冻结原权重只在每层旁路训练一对很小的矩阵A,BA,BA,B低秩分解部署时可合并回原权重——省显存、任务可热切换、推理不添延迟效果常能打平甚至超过全参微调。本页概念卡主方法LoRA · PEFT · 低秩 / Intrinsic Rank对照方法Adapter · Prefix Tuning文中对照未单独建卡工程延伸训练阶段管线 · VLA · openpi LoRA 微调1. 背景概念给新人站在大模型高效微调Parameter-Efficient Fine-TuningPEFT这条线上底座已经很大下游任务很多不能也不该「每个任务复制一份整模」。术语白话LoRALow-Rank Adaptation用低秩BABABA近似权重更新ΔW\Delta WΔWPEFT参数高效微调只训很少参数底座冻结全参微调Full Fine-Tuning所有权重都更新GPT-3 175B 时存储与多任务部署几乎不可行Adapter在 Transformer 块里串入小瓶颈 MLP参数少但推理常多一段串行延迟Prefix / Prompt Tuning在输入侧加可训练「虚 token」会占掉可用序列长度Intrinsic Rank内在秩论文假设适配时权重变化ΔW\Delta WΔW本身可以用很低的秩近似RankrrrA,BA,BA,B中间的「窄通道」宽度r≪dmodelr\ll d_{\mathrm{model}}r≪dmodel才省参数α\alphaαalpha对ΔWx\Delta W xΔWx的缩放常数文中常设为首次尝试的rrr少调旧范式痛点生活类比全参微调像每开一家分店就复印整套百科全书再改几页——仓库爆了。Adapter 像百科旁边加插页本读的时候必须多翻几页 → 线上延迟上去。LoRA 像百科不动只订两页活页上架前可以把活页胶进原书读者翻页路径不变。2. 论文在干什么问题预训练→下游适配时全参微调对 GPT-3 级模型存储/显存/多任务部署成本爆炸已有 Adapter / Prefix 要么加推理延迟要么占序列长度且常打不过全参微调。设定动机场景自回归语言建模条件生成目标形式见式 (1)(2)评测RoBERTa / DeBERTa 上 GLUEGPT-2 上 E2E 等 NLGGPT-3 175B 上 WikiSQL、MNLI、SAMSum贡献概览提出 LoRA冻结W0W_0W0用BABABA参数化ΔW\Delta WΔW相对 Adam 全参微调可训参数约10,000×减少训练显存约3×下降GPT-3 175B质量上与全参微调持平或更好相对 Adapter无额外推理延迟可 merge经验分析适配更新确实近似低秩常优先挂Wq,WvW_q,W_vWq,Wv很小的rrr往往够用3. 核心创新点低秩参数化权重更新假设适配时ΔW\Delta WΔW内在秩低W0ΔWW0BAW_0\Delta WW_0BAW0ΔWW0BA只训A,BA,BA,B。这是对「全秩更新」的约束不是另开一套深度模块。可合并 → 零额外推理延迟部署时显式算W←W0BAW\leftarrow W_0BAW←W0BA前向与全参微调模型同构换任务可减回BABABA再加另一套B′A′BAB′A′。与 Adapter / Prefix 正交且可组合不占序列长度、不加深串行层附录里可与 prefix 组合。对「适配到底改了什么」的可解释分析子空间重叠实验表明增大rrr并不必然学到更多「有意义」方向ΔW\Delta WΔW更像放大预训练里已有但未被强调的特征方向。4.1 前向公式对预训练权重W0∈Rd×kW_0\in\mathbb{R}^{d\times k}W0∈Rd×khW0xBAx,B∈Rd×r, A∈Rr×k, r≪min⁡(d,k) h W_0 x B A x,\quad B\in\mathbb{R}^{d\times r},\; A\in\mathbb{R}^{r\times k},\; r\ll\min(d,k)hW0xBAx,B∈Rd×r,A∈Rr×k,r≪min(d,k)初始化A\boldsymbol{A}A高斯随机B0B\mathbf{0}B0→ 开训时ΔW0\Delta W\mathbf{0}ΔW0不破坏预训练行为。缩放输出侧常乘α/r\alpha/rα/r实现里写法因库而异直觉是换rrr时少重调学习率。训练只对A,BA,BA,B及可选 bias求梯度Adam 不必为冻结参数存优化器状态 → 显存大降。4.2 挂在 Transformer 哪里注意力有Wq,Wk,Wv,WoW_q,W_k,W_v,W_oWq,Wk,Wv,WoMLP 有两套线性层。本文主实验只适配注意力权重冻结 MLP简单省参。GPT-3 预算固定约 18M 可训参数时Table 5同时适配WqW_qWq与WvW_vWv整体最好只砸在WqW_qWq或WkW_kWk上明显更差。工程习惯含后来的 VLA / openpi常见q_proj/v_proj或更多线性层rank 常用 8–64。4.3 实操好处与局限好处含义共享底座多套小 LoRA100 个任务 ≈ 底座 100× 几十 MB而非 100 份整模训练吞吐GPT-3 175B 上相对全参约25%tokens/s同并行配置任务切换热换A,BA,BA,B即可局限若为去延迟而merge 进WWW则同一 batch 里混多种任务 LoRA 不方便不 merge、动态选模块则仍可但放弃「零延迟」优势。5. 整体框架Mermaidmerge旁路输入 x冻结 W0 · 预训练权重可训 A · r×k可训 B · d×r逐维相加输出 h W0x BAx部署?W W0BA · 无额外延迟保留旁路 · 可热换任务部署训练冻结大模型注入 A,B只更新 A,B按任务换 A,B或合并进 W6.1 主结果记数量级即可RoBERTa baseLoRA 0.3M 可训参GLUE 平均87.2高于全参微调 86.4 与多种 AdapterTable 2。GPT-3 175BTable 4LoRA 4.7M 参数时 WikiSQL73.4/ MNLI-m91.7/ SAMSum Rouge 优于多数对照37.7M 时 WikiSQL74.0可超过全参微调 73.8。相对全参可训参数约10,000×少r4r4r4且只改 Q/V 时 checkpoint 从约 350GB 量级任务副本降到约 35MB 量级增量训练 VRAM 约 1.2TB → 350GB。6.2 秩与挂载消融§7Table 6在{Wq,Wv}\{W_q,W_v\}{Wq,Wv}上r1r1r1已很强盲目加大rrr到 64 未必更好。子空间分析不同rrr/ 不同随机种子学到的主奇异方向高度重叠→ 「有用更新」确实低维其余方向更像噪声。ΔW\Delta WΔWvsWWWΔW\Delta WΔW不是简单重复WWW的主方向而是放大预训练已有、但对下游不够强调的方向放大倍数可很大。6.3 局限论文诚实点工程提醒任务与预训练语言差很远时很小的rrr可能不够文中 thought experiment。本文未系统扫 MLP / LayerNorm / bias 的 LoRA留给后续工作今天工程里常挂更多层。后人常见变体QLoRA量化底座 LoRA、DoRA、生成式 LoRA如 EverWalker 超网络出A,BA,BA,B——本精读只钉死 2021 原文。7. 要点总结LoRA 冻结W0W_0W0 低秩ΔWBA\Delta WBAΔWBA不是另造一层深度 Adapter。可 merge→ 推理延迟与全参微调同构这是相对 Adapter 的关键产品优势。预算紧时优先挂WqW_qWqWvW_vWvrrr从小试起别迷信「越大越好」。在 VLA / openpi / 4090 场景LoRA 是「一张卡能微调大策略」的前提砖块。终身 / 多场景时固定多套 LoRA vs 超网络生成 LoRA是下一层问题。8. 开放问题在动作策略π₀ / GR00T上挂注意力 vs 也挂 MLP / action head经验秩该怎么选merge 后做量化部署时数值误差如何控制与 QLoRA / DoRA 在机器人小数据上谁更稳

【VLA与模仿学习】LoRA低秩适配论文精读

相关推荐

单细胞RNA测序数据批次效应校正方法与实践指南

安全C库函数实战：从缓冲区越界到工程化集成

专业GEO服务商核心技术解析与选型指南

更多资讯

Agent-Reach 触达层设计：Python 构建 AI Agent 的 CLI 执行与安全实践

从零实现Web消除游戏：核心逻辑与避坑指南

t3code 技术解析：Electron 与 CLI 混合架构及 Homebrew/winget 安装指南

Linux进程程序替换原理与exec函数族实战指南

Linux进程程序替换原理与应用实践

Altium许可证闲置预警机制设计与实现

今日更新

微信个人号API开发案例：图片/语音/视频消息怎么下载解析存到本地？

Python股票自动交易系统源码解析：从行情获取到风控的完整链路

视酷酷信IM源码部署指南：Java 17+MySQL 8.0.33实战配置

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？