SEMA动态Adapter池：按需生长解决持续学习容量困境-北京尧图网络

1. 为什么预训练模型需要“按需长大”CVPR 2025 的 SEMA核心一句话给冻结的预训练模型配一个可增长的 Adapter 池训练时根据当前任务和已有 Adapter 的匹配度决定是复用老 Adapter还是长一个新的 Adapter 出来。你不需要先知道一共有多少任务也不需要一开始就给每个任务分配一个独立模块SEMA 是边训练边决定容量。放在实际场景里它解决的是“模型规模该由任务复杂度决定而不是由拍脑袋决定”这个问题。我最初看到这个标题时以为又是 Adapter 的换皮工作但仔细读下来发现它踩的痛点很实在。预训练模型不管是 ResNet 还是 RoBERTa 这一类本身容量很大但用固定 Adapter 去接下游任务会遇到一个两难Adapter 数量太少任务多了之后会互相打架Adapter 数量太多又回到“每来一个任务就存一套独立参数”的老路显存和存储都被撑爆。SEMA 的思路是让模型自己回答一个问题——“我现在该不该长大”。如果现有 Adapter 足够处理当前数据分布就老老实实复用如果输入已经明显偏离已有 Adapter 能覆盖的范围再新增一个单元不搞提前预留也不搞无限扩张。适合谁来参考一类是做增量学习、持续学习的同学SEMA 可以当做一个轻量的动态结构基线另一类是做 PEFT 微调的人面对十几个下游任务又不想维护一堆 checkpoint 时这个方案会给你一个新思路。下面我会把机制拆开讲再给一份我在 ResNet 和 RoBERTa 上复现 SEMA 的实操记录包括踩过的坑。1.1 固定容量与任务无界的矛盾传统 Adapter 的做法是给每个任务固定一个独立的 bottleneck 模块。假设你接了 10 个任务那就有 10 套 Adapter 参数再接 10 个就变 20 套。麻烦的是任务数量不是提前能确定的。产品线今天说要接一个电商分类明天说要接一个评论情感分析后天可能又来一个多模态对齐。每次新增任务你要么手动加一个 Adapter 并重新跑一遍训练要么把新任务硬塞到已有 Adapter 里接受性能损失。更麻烦的是任务之间的冲突。两个任务表面相似但内部标签分布完全不同如果用同一个 Adapter 去学梯度方向会互相拉扯。我试过把英文情感分类和中文情感分类共用同一个 Adapter结果英文任务先训完再训中文任务时英文验证集准确率掉了 4 个点。这不是模型收敛的问题而是固定容量模块无法表达两套差异足够大的映射关系。所以问题的本质不是“Adapter 这个结构好不好”而是“多少容量才算够”。SEMA 把这个决策变成一个在线判定的问题每个时刻都观察当前任务的信号判断已有 Adapter 集合里有没有一个“足够近”的单元。够近就复用不够近就生长。这相当于把过去人工决定“要不要加一个头”的工作交给了一个控制器去自动完成。1.2 SEMA 解决什么问题按我对论文实现的理解SEMA 的全称可以理解为 Selective Expansion of Modular Adapters。它在预训练模型外面维护三样东西一个 Adapter 池、一个路由控制器、一个生长判定器。Adapter 池就是已经长出来的模块集合路由控制器负责给输入样本挑选当前最合适的 Adapter生长判定器则是 SEMA 区别于普通 Adapter 方法的关键它会计算一个“生长分数”分数超过阈值才允许新增模块。和一次性部署一大堆专家模块的方案相比SEMA 最大的优势是节省了冗余容量。实际运行时只有被路由到的 Adapter 会被激活前向计算量并没有随池子变大而线性增长。显存占用虽然会因为新增 Adapter 而增加但每个 Adapter 的 bottleneck 维度可以做到很小16 维或者 24 维就够用。我在 24GB 显存的卡上跑 RoBERTa-base池子里长到 8 个 Adapter 时显存增量大概是原始模型冻结推理的 15% 左右这个代价换来了持续学习能力和旧任务稳定性我认为是划算的。SEMA 也不是刚上来就让模型随便长。它有一个 warmup 阶段先让模型在第一个任务上充分收敛把基础 Adapter 训练好之后才开始判断“要不要分叉”。这样做的好处是避免早期信号噪声太大模型刚训两步就疯狂生长最后长出一堆几乎一样的 Adapter既浪费参数又没有任何表达增益。1.3 和 Adapter、LoRA、MoE 的关系很多人会问这和 MoE混合专家不是一回事吗确实有相似之处都有路由和多个子模块但出发点不同。MoE 的专家一般是在大模型预训练阶段就固定好多路并行所有专家一起参与训练而 SEMA 的 Adapter 池是在下游任务接入时动态扩张的它强调的是“按需新增”而不是“一开始就堆满”。路由机制上MoE 往往用 softmax 在固定数量的专家上做加权而 SEMA 在推理阶段更倾向于选 top-1并且它的路由表里有一个隐式的“我没有合适专家”的空槽位这是它能够触发生长的原因。和 LoRA 的关系也很近。LoRA 可以看成是在权重矩阵旁边加低秩分支SEMA 的 Adapter 单元本质上也是低秩分支只不过 SEMA 把每个低秩分支当成一个可独立插拔的模块并且由控制器决定多少个这样的模块同时存在于模型里。如果你愿意甚至可以把 Adapter 单元内部改成 LoRA 的分解形式SEMA 的生长逻辑依然成立核心不变。所以 SEMA 并不是要替代 Adapter 或者 LoRA它是给这类参数高效微调方法加了一个“容量分配策略”。底层可以用任意低秩微调结构上层负责决定何时新增一个结构。方案模块数量路由方式增量任务支持代表问题固定 Adapter手动指定任务 id 映射差需提前规划容量冗余或不足LoRA每个任务一套无一般存储线性增长checkpoint 数量膨胀MoE预训练固定softmax 路由中专家固定训练成本高SEMA动态生长top-1 路由生长判定好按需扩展需要调好生长阈值2. 核心机制SEMA 怎么决定“什么时候长”生长决策是整个 SEMA 最值得细看的部分。它不能只看 loss也不能只靠当前任务和已有 Adapter 的相似度因为这两类信号都有各自的盲区。下面我把 SEMA 在训练循环里实际做的判定流程拆开讲。2.1 生长条件不止看 loss只看 loss 会有什么问题模型在一个困难样本上 loss 高不一定是容量不够可能是优化没到位反过来模型在一个简单任务上 loss 低也不代表 Adapter 已经充分表达可能只是任务本身没有难度。我在复现时先用纯 loss 阈值做触发结果在一个 10 分类的增量任务流里前 500 步模型疯狂生长了 7 个 Adapter每个 Adapter 只训了几十个 batch效果比单个 Adapter 还差。原因就是早期训练噪声让 loss 波动特别大控制器把“还没学完”误判成了“学不会”。SEMA 的做法是组合多个信号。一个比较可靠的信号是输入特征与已有 Adapter 原型之间的距离。所谓 Adapter 原型可以取该 Adapter 最近一批训练样本的平均特征或者 Adapter 输入侧投影矩阵的统计量。当新样本的特征和所有原型的最大余弦相似度都很低时说明这个数据点落在现有模块覆盖范围之外这时才有“生长必要”。另一个信号是梯度冲突程度。如果你把当前 batch 的梯度与最近被选中的那个 Adapter 的历史梯度方向做余弦相似度发现方向显著相反说明新样本正在和旧知识“吵架”。这个信号对任务边界非常敏感尤其是两个任务表面相似但标签空间不同的时候。我实验中冲突信号比特征距离信号更早触发生长大概提前 200 到 300 步就能给出稳定判断。我这里写一个我复现时实际使用的生长分数公式它综合了不确定度、距离和梯度冲突三部分def compute_growth_score(adapter_pool, sample_feature, current_grad, history_grad, mem_ratio): # 1. 与最相近 Adapter 的距离 max_sim 0.0 for proto in adapter_pool.prototypes: sim F.cosine_similarity(proto, sample_feature, dim-1) max_sim max(max_sim, sim.item()) distance_score 1.0 - max_sim # 2. 模型对当前样本的不确定度用 softmax 熵归一化 entropy compute_entropy(model(sample_feature)) uncertainty_score 1.0 - entropy / log(num_classes) # 3. 梯度冲突方向相反的惩罚 grad_conflict 1.0 - F.cosine_similarity(current_grad, history_grad, dim-1).item() # 4. 组合内存余量作为乘性约束 score 0.30 * distance_score 0.30 * uncertainty_score 0.40 * grad_conflict if mem_ratio budget: score * 0.5 return score你可以看到这个评分函数里没有任何一个单独指标是充分条件必须三个一起看。比如某个新任务的样本特征距离所有原型都很远但模型预测得很确定、梯度也不冲突那有可能只是同一个任务里的一个罕见子类不需要专门长模块但如果距离远、不确定度高、梯度还冲突那基本可以判定遇到了一个真正的新任务。2.2 路由与冲突检测哪来的新需求路由控制器的职责是在已经长出来的 Adapter 池里找到最合适的一个。SEMA 的做法并不复杂可以维护一组可学习的 key 向量每个 Adapter 对应一个 key输入样本先经过一个轻量编码器变成 query然后算 query 和所有 key 的相似度取 top-1 作为当前使用的 Adapter。这里的轻量编码器可以是一个单层线性层也可以直接用预训练模型某一层输出的 [CLS] 特征。为了减少训练成本我用的是后一种直接取 RoBERTa 最后一层 hidden state 的平均池化作为 query没有额外训练编码器。但路由之外还得回答一个问题当前样本到底是不是“新需求”。如果只是路由到已有 Adapter那所有任务最终都会挤到一个 Adapter 上因为路由总是能挑出一个相似度最高的哪怕最高也只有 0.2。SEMA 的巧妙之处在于它把“不可路由”也做成了一个可学习的判定。具体来说我复现时在路由相似度上设置了一个拒绝阈值。假设 query 和所有 key 的最大相似度低于某个阈值控制器就会把当前样本标记为“可能的新任务”并把它缓存到一个临时队列里。等临时队列里积累了一定数量的样本比如 64 个再用这批样本的特征计算完整的新原型然后触发生长判定。这样做还有一个好处避免单个异常样本触发生长。真实数据里总有噪声样本落在特征空间边缘如果每来一个就长一个 Adapter模型容量会爆炸。通过“先缓存、后判定”的方式SEMA 实际上是在做一个时序上的多数投票只有连续出现的异常样本才能推动生长。2.3 新 Adapter 的初始化与接入一旦决定要长新 Adapter不能随机初始化然后从零训练那样收敛太慢而且容易破坏模型之前已经学到的表征。我见过不少动态结构方法死在这上面新模块初始化得不好控制器在路由时永远不选它于是它成了僵尸 Adapter。SEMA 的初始化策略是“从最近的 Adapter 分叉”。具体做法是找到与新任务原型最相似的已有 Adapter把它的 down projection 和 up projection 权重复制过来然后在上面加一个很小的高斯噪声。噪声标准差我一般设成 0.01。这样新 Adapter 开始时的行为非常接近那个最近的老 Adapter相当于从旧能力出发快速适应新任务而不是从头开始猜。接入流程也不复杂。把新 Adapter 追加到池子里给它分配一个新的 key 向量并让路由控制器在后续迭代中可以选到它。需要注意新 Adapter 加入后模型要保持可微必须让梯度只流过被选中的 Adapter而不是平均流过所有 Adapter。我在实现时采用了一个带 stop-gradient 掩码的 detailclass DynamicAdapterPool(nn.Module): def __init__(self): super().__init__() self.adapters nn.ModuleList() self.keys nn.ParameterList() self.growth_threshold 0.6 self.min_interval 300 def forward(self, x, task_embedding): if len(self.adapters) 0: # 第一个 Adapter 直接建立 self._grow_new_adapter(task_embedding) return self.adapters[0](x) scores F.softmax(torch.stack([F.cosine_similarity(task_embedding, k, dim-1) for k in self.keys]), dim0) idx scores.argmax() selected self.adapters[idx] return selected(x)注意推理时不要对 scores 做 softmax 加权求和直接取 top-1。加权平均会让多个 Adapter 同时被激活反而破坏各自学到的专有能力。训练时如果担心梯度不稳定可以给非选中 Adapter 的 score 做 stop-gradient这样路由不会反过来干扰 Adapter 本身的更新。3. 实操复现在 ResNet 和 RoBERTa 上跑通 SEMA光看机制不动手永远体会不到问题在哪。这一节是我实际跑通 SEMA 的完整过程从环境到代码结构再到训练参数你照着推一遍基本上能把整个流程理顺。3.1 前置准备与数据组织我准备了两套骨干模型做验证一套是 ResNet-50 预训练模型用于图像分类的增量流实验另一套是 RoBERTa 中文预训练模型用于情感分类和文本分类的混合流实验。选择这两个模型是为了同时验证 CNN 和 Transformer 两种架构下 SEMA 是否都能工作。实验环境如下Python 3.10PyTorch 2.1CUDA 12.1图像侧用 timm 加载 ResNet-50文本侧用 transformers 加载 RoBERTa 中文版SGD 优化器momentum 0.9weight decay 1e-4初始学习率 2e-3图像侧配合 cosine 衰减文本侧用 1e-4 的 AdamW数据组织方式要特别注意SEMA 的设计假设是任务流是顺序到达的所以训练数据不能像传统微调那样一次性把全部任务混在一起。我的做法是把 10 个分类任务按顺序排成流一次只读当前任务的训练集模拟“没见过的任务逐渐出现”的场景。每个任务内部再按类别均衡采样batch size 设为 32。3.2 核心模块实现与关键参数Adapter 单元我用了最经典的 bottleneck 结构class AdapterUnit(nn.Module): def __init__(self, d_model, bottleneck16): super().__init__() self.down nn.Linear(d_model, bottleneck) self.up nn.Linear(bottleneck, d_model) self.act nn.GELU() def forward(self, x): return x self.up(self.act(self.down(x)))这个结构足够简单却能覆盖 SEMA 想要验证的所有机制。如果你想把 Adapter 换成 LoRA 形式只需要把 down 和 up 替换成两个低秩矩阵生长逻辑完全不变。bottleneck 维度我一开始设 16后来发现处理复杂任务时 16 维的容量偏紧改成了 24 维最终效果更好。我的建议是如果单个任务本身内部类别很多bottleneck 不要低于 16否则模型会频繁触发生长因为单个 Adapter 根本学不完那种复杂度。关键参数我整理成了表方便对照参数推荐值说明bottleneck 维度16 或 24控制单 Adapter 容量生长阈值0.55 到 0.65低于此值会频繁生长最小生长间隔300 步防止短时间重复生长新 Adapter 噪声标准差0.01初始化扰动路由相似度拒绝阈值0.25低于此值进入候选队列候选队列容量64 个样本触发生长的最小证据量3.3 训练流程与“生长”触发训练流程是分阶段的不能把所有逻辑揉在一个循环里。我按下面这套流程跑第一步初始化第一个 Adapter用当前任务数据训练它直到验证 loss 收敛。这一步是 warmup也是整个系统的地基。如果你第一个 Adapter 都没训好后面所有距离、梯度信号都会失真。第二步进入持续学习阶段。每个 batch 到达后先算当前样本与所有 Adapter key 的相似度路由到最相似的那个 Adapter正常做一次前向和反向传播。这个阶段要记录每个 Adapter 的历史梯度方向我是用一个滑动队列存的队列长度 128存最近更新的梯度向量。第三步每个若干步计算一次生长分数。我设的是每 50 步算一次如果分数高于阈值并且距离上一次生长已经超过 300 步就触发新增 Adapter。触发后要重置优化器因为新 Adapter 和老 Adapter 的更新历史不同共用优化器状态容易出问题。我贴一段在训练循环里实际触发生长的代码growth_score compute_growth_score( adapter_pool, task_embedding, current_grad, history_grad, mem_ratio ) if step warmup_steps and growth_score cfg.growth_threshold: if step - last_grow_step cfg.min_interval: nearest_idx adapter_pool.find_nearest(task_embedding) new_unit init_from_nearest(adapter_pool.adapters[nearest_idx], noise_std0.01) adapter_pool.add(new_unit, task_embedding.detach().clone()) last_grow_step step optimizer build_optimizer(new_unit.parameters())有一点容易被忽略新增 Adapter 之后如果继续用当前任务的数据训练应该优先训练新 Adapter而不是让路由又把样本分给老 Adapter。我的做法是从触发生长开始连续 200 步内强制路由选择新 Adapter让它在当前任务上有足够的“学习权”。这样新 Adapter 能快速站稳脚跟之后放回自由路由才不会吃亏。4. 常见问题与排查技巧实录动态结构方法最容易出的问题就在“生长策略”上。下面几条是我自己踩过的坑基本覆盖了 80% 的情况。4.1 模型一路膨胀Adapter 数量刹不住车这是 SEMA 复现时最典型的问题。我第一版实现里生长阈值设成了 0.4结果一个 10 任务流跑了 2 万步长出了 23 个 Adapter其中至少一半是重复的。排查后发现两个原因一是阈值太低稍微有点波动就触发二是路由相似度拒绝阈值设得太高0.4 的拒绝阈值把很多正常样本也推进了候选队列。解决办法是给生长加上“最小间隔”和“证据量”两道闸门。最小间隔保证同一个时间段内最多只长一个 Adapter避免连续触发证据量则要求候选队列里必须积累足够多的异常样本避免单个噪声样本带偏判断。我现在把生长阈值放在 0.6 左右同时把拒绝阈值降到 0.25长出来的数量基本和真实任务数一致。如果你发现模型长出来的 Adapter 数量仍然远多于任务数还有一个可能是初始化噪声太大。新 Adapter 和老 Adapter 行为差异如果过大路由会把它们当成完全不同的模块导致相似任务被拆到不同 Adapter。噪声标准差尽量控制在 0.01 以内别超过 0.05。4.2 模型死活不长所有任务都挤在一个 Adapter 里和膨胀相反的问题是“不生长”。我遇到这种情况是在 RoBERTa 中文模型上特征是预训练模型的表示空间本身比较平滑不同任务的隐状态差异没有图像场景里那么明显所以距离信号一直很低生长分数上不去。这种情况下靠特征距离是不够的需要更依赖梯度冲突信号。我的建议是在实验脚本里把三个子分数分别打印出来观察到底是哪个信号一直不响应。如果 distance_score 偏低就降低拒绝阈值如果 gradient_conflict 偏低就检查历史梯度队列是不是保存了太多无关任务的数据或者队列长度太长导致历史信息被稀释。还有一个小技巧在计算 query 向量时不要只用当前 batch 的特征而是用过去 200 步内的特征滑动平均。单 batch 的特征波动很大滑动平均能让路由和生长决策都稳定很多。我在 ResNet 实验里加上这个改动后不生长的问题明显缓解了。4.3 不同骨干网络上的参数差异ResNet 和 RoBERTa 在这套框架下表现很不一样。ResNet 的卷积特征在空间上是局部性的Adapter 作用的位置会影响路由特征的质量。我把 Adapter 放在 ResNet 每个 stage 的输出之后query 则取 stage 4 的全局平均池化效果最好。如果你把 query 取成 stage 2 的特征分辨率太高包含太多空间细节任务间距离反而拉不开。RoBERTa 这边Adapter 放在 attention 层之后还是 FFN 之后也需要试。我的经验是放在 FFN 之后比放在 attention 之后更稳因为 FFN 的输出更接近“语义特征”更适合用来计算任务间相似度。query 直接用 [CLS] 的向量即可不需要额外接复杂编码器。症状可能原因处理方法Adapter 数量膨胀生长阈值太低、拒绝阈值太高调高生长阈值到 0.6降低拒绝阈值到 0.25死活不生长特征距离信号不敏感、历史梯度队列过长用梯度冲突主导判定缩短队列到 128新 Adapter 不被路由选中初始化噪声过大、没有强制训练期噪声调小触发后强制训练 200 步旧任务遗忘严重旧 Adapter 被 overwrite 过多冻结旧 Adapter只更新被选中模块5. 个人实操体会与扩展方向复现 SEMA 之后我最强烈的感受是动态结构方法的核心其实不在网络结构而在“什么时候动手改结构”这个决策本身。这个判断一旦做准了Adapter 本身多简单都不影响效果。反过来结构再花哨决策一塌糊涂模型就变成一个不停长头的怪物。我实操中发现最有价值的改动并不是去设计更复杂的生长分数而是把“证据积累”和“最小间隔”这两个工程细节做扎实。它们看起来没什么理论含量却是保证模型行为稳定的关键。跑增量学习实验时你宁可让模型慢一点生长也好过让它长出一堆没用的模块。内存和显存一上去路由选择也会跟着乱最后很难判断到底是结构问题还是优化问题。顺着这个思路往下走SEMA 还有很多可以扩展的地方。一个是把生长判定从线性打分换成一个小型学习控制器通过强化学习来优化生长时机另一个是把 Adapter 池的冗余模块做后处理压缩长出来的模块如果一直不被选中就淘汰掉这样模型既能按需长大也能按需缩回去。我个人已经在做“生长加剪枝”的版本目前看把长期不被路由命中的 Adapter 摘除对旧任务影响很小但显存占用能再降一截。如果你也想在自己项目里试试我建议一开始别在复杂预训练模型上动手先用一个 ResNet 加 5 个简单任务跑通整个流程。把生长分数、阈值、初始化这些逻辑摸清楚了再上 RoBERTa 这种大模型会顺很多。模型什么时候该“长大”本质上不是模型说了算而是你给它的判定规则说了算。规则给得干净模型的长大就一定是件好事。

SEMA动态Adapter池：按需生长解决持续学习容量困境

相关推荐

用AI Skills重构数学竞赛学案生产：一体化工作流全解析

大模型预训练数据集构建全指南：从选型清洗到配比落地

策略梯度完全指南：从核心原理到PPO等主流算法实战

更多资讯

基于ResNet的人脸表情识别项目实战：从数据到演示的完整指南

C++与DirectX 11实战：从吃豆人源码解析2D游戏开发核心

华为交换机端口模式详解：Access、Trunk、Hybrid配置与排障

OpenClaw V2026.3.11 模型管理实战：从本地到API切换与Teams接入

微电网混合储能双层能量管理：基于MPC的Matlab仿真实现

赤龙ERP实现财务业务一体化的原理与落地验证

今日更新

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？