LoE：用专家分工攻克隐式神经表示的高频难题-北京尧图网络

说实话我第一次看到“Implicit Neural Representations with Levels-of-Experts”这个标题时第一反应是INR 都已经被位置编码、哈希编码、正弦激活这些方法卷成那样了再加一套专家路由机制到底是锦上添花还是纯粹为了堆概念但等我把这个思路完整推了一遍才发现它戳中的恰恰是隐式神经表示里一个一直被绕开的结构性问题——单个网络硬扛全频段信号时低频和高频天然互相干扰。Levels-of-Experts下文简称 LoE的解法很直接把表示压力拆给一组按“粒度层级”分工的专家谁负责整体形状谁补充中等纹理谁去抠高频细节由门控网络按坐标动态调度。这篇文章把 LoE 从动机、架构到训练策略完整拆一遍重点讲我复现和调优时踩过的坑。适合已经熟悉 INR 基本玩法、想进一步压榨重建质量的人也适合正在做神经辐射场、带符号距离函数这类连续表征但觉得“单网络容量不够用”的读者。读完你至少能回答三个问题为什么单网络学不好高频LoE 的分工逻辑到底怎么落地以及它比直接加宽加深网络强在哪。1. 为什么单个网络扛不住全频段信号INR 的频谱偏置问题1.1 先快速对齐隐式神经表示在做什么INR 的思路本质上就一句话用神经网络把连续坐标映射成信号数值。重建一张图不用存像素而是存一组权重任意给定一个 (x, y) 坐标网络现场算出 RGB 值重建一个 3D 场景也不用存体素网格输入 (x, y, z) 加观察方向输出颜色和密度再做体渲染。因为坐标是连续的这种表示天然分辨率无关放大几倍都不会出现像素锯齿每个位置都是网络现算出来的。这个特性在图像超分、视频压缩、3D 重建、逆向渲染这些任务里都很吃香。但注意INR 换来灵活性的代价是它把一个“查表”问题变成了“函数拟合”问题。既然是函数拟合就逃不开一个基本原理——神经网络是带频谱偏置的近似器。1.2 单一网络的结构性缺陷低频易学、高频难啃频谱偏置spectral bias这个词听起来学术其实就是网络倾向于先学变化缓慢的部分也就是低频分量。你训练一个人脸重建网络时进度几乎是固定的先出来人脸的大致明暗轮廓然后五官开始成形最后才轮到发丝、皮肤纹理这些高频细节。越细的东西需要越多的迭代次数去“熬”出来。为什么会这样因为梯度下降在这个平滑近似的游戏里天然偏好低曲率的解。低频变化的损失曲率平坦几步就能把误差降下来高频变化的梯度方向震荡剧烈既要大容量又怕过拟合。所以你会发现即便网络足够宽、足够深高频细节也往往滞后最终结果就是边缘发虚、纹理糊成一团。位置编码和可学习哈希表这些方案本质上是把坐标先映射到高频空间逼网络去接触高频信息。但这里有个关键问题编码只是给了网络“看见高频的能力”并没有改变网络内部的容量分配方式。所有频段仍然共享同一套权重低频和高频的需求在同一组参数里互相竞争。你加了高频编码低频可能震动你加重低频约束高频又不聚焦。1.3 Levels-of-Experts 的出发点让分工发生在频域上LoE 的出发点就是打破这种“同一套权重默默承受一切”的局面。它借鉴了混合专家Mixture-of-Experts的路由思想但路由的对象不是语言模型里的 token而是“表示粒度”。整个网络由若干层专家组成底层专家接收低频编码负责全局形状上层专家逐步加入更高阶频率编码负责越来越细节的部分。门控网络看到坐标后决定哪些专家需要被激活、以多大权重参与。为什么要这么做因为信号本身就可以拆成不同频段的叠加。一张照片可以看成“大块渐变中等纹理微小噪声”的叠加一个 3D 场景可以看成“大体量块表面起伏精细划痕”的叠加。LoE 把这个信号学中的常识搬进了网络结构里与其让一个网络隐式地完成频率分解不如显式地在结构上把分工做出来。这样低频专家不会被迫去表达高频高频专家也不用在低频上浪费容量频谱偏置这个老大难问题就从“优化技巧”变成了“结构设计”。2. 专家层级的设计细节谁来学低频、谁来补高频2.1 多层级专家结构粗粒度基座与细粒度增量整体架构比你想的简单坐标先过编码然后依次通过一组专家网络每个专家在前一个专家的输出上加一个残差增量。可以理解为 E1 先把场景捏出一个粗坯E2 在粗坯上补中等起伏E3 再往表面刻画细节。实际前向过程大概是这样的h encode(x) for k in range(num_experts): gate g_k(h) # 每个专家都有自己的门控权重 h h E_k(h) * gate output head(h)注意这里用的是“累加式”而不是“选择式”。也就是说并不是路由选中哪个专家就用哪个专家的输出而是每个专家都往特征上加一块增量门控控制的是增量的幅度。这样设计有几个好处残差结构让每个专家只需要学会“前面没学好的残差”学习压力天然比从头拟合一个小得多输出尺度很稳定不会出现某专家输出值域奇大把表示带偏的情况训练初期即使门控没完全收敛底层专家的输出依然能独立支撑一个合理的粗重建整个网络不会一起崩掉。2.2 频率编码的分层分配低层用低阶编码高层用高阶编码这是 LoE 里最核心的细节之一不同层级的专家接收的位置编码频率段必须不一样。位置编码 γ(x) 通常有很多阶频率比如从 2^0 到 2^L一般做法是把这些频率切分成几段分别喂给不同专家。E1 只拿到最低的几阶E3 才能拿到最高阶。为什么必须这样做因为如果你把所有阶数都同时喂给每个专家那专家之间的分工就又被搅浑了——每个专家都能看到高频最后还是会各自硬扛全频段。按频率段切分后E1 物理上就看不到高频信息它的归纳偏置被迫聚焦在低频形状上E3 看到的全是高频差值和局部特征自然负责细节刻画。这里给一个我试过的具体配置重建一张纹理丰富的图像时编码阶数 L12切成三段专家层级频率阶数范围负责内容E10 - 4 阶大块明暗、整体形状E24 - 8 阶中等纹理、边缘过渡E38 - 12 阶高频细节、纹路噪声这么切出来后低频专家通常几十轮就能把粗轮廓顶起来高频专家则在后期专注补细节。比起单网络那种“所有频率同时塞给一个网络”的做法收敛过程肉眼可见地稳定。2.3 门控网络如何决定坐标的走向门控是 LoE 的调度中枢。它接收坐标有时候也接收已经过一层编码的特征输出每个专家的激活权重。这里有一个关键取舍硬门控还是软门控。硬门控每个坐标只选 top-1 或 top-2 专家计算开销小专家分工更鲜明但空间上容易出现硬边界两个专家负责区域的交界处重建不连续看起来像切了一刀。软门控每个坐标都过所有专家按权重加权求和表达平滑但所有专家都被激活计算开销大专家专门化程度也会被稀释。实际项目里我建议折中top-2 硬路由加一个覆盖到所有专家的软残差。也就是说每个坐标最多两个专家被高强度激活但其他专家仍然以很小的权重参与输出这样既保留分工又不会在边界上撕开裂缝。另外一定要在门控上做空间连续性的正则化。因为相邻坐标往往属于同一块表面如果门控在相邻像素上输出差异很大重建结果就会闪烁、出现颗粒感。我在 3D 体渲染里吃过这个亏后面单独写了平滑项让相邻采样点的门控分布差异不能太大。3. 训练策略与里程碑从课程式预热到端到端联合调优3.1 阶段一低频骨干先行稳定LoE 如果一上来就端到端训练门控和专家很容易陷入“鸡生蛋”的死循环门控不知道怎么分配专家也不知道自己该负责什么互相拖着一起迷茫。所以实践中我会把训练拆成三个阶段先用最低级专家把粗结构稳定下来。具体做法是前 N 轮比如 500 ~ 1000 步冻结高层专家和门控只更新 E1。输入照样给完整坐标编码但 E1 只取低频段编码也算高频段编码直接截断没关系。目标就是把整体形状的 loss 降到基线水平。这一步看着浪费实际很关键它相当于给整个系统打了一个稳定的“坐标到形状”对齐基础后面的路由才有意义。3.2 阶段二门控和专家分层解锁粗结构稳定后再逐步解锁。不要一次性把所有专家和门控都放出来而是按里程碑阶梯式解锁先放开 E2 和门控对 E1/E2 的路由训练若干轮等中频纹理开始起作用、loss 曲线再一次下降后再放开 E3。这个策略类似课程学习顺序上遵循“先大局、后细节”的原则。每个阶段解锁时建议把学习率适当调低一些并做一次小的学习率重启给新解锁的专家一段相对平稳的适应期。门控网络我建议用一个轻量 MLP两三层就够别做得比专家还深否则路由本身过拟合训练后期会在坐标之间剧烈震荡。3.3 损失函数设计重建损失之外的均衡项主损失用 L1、L2 还是感知损失取决于任务。重建图像我偏好 L1 加一个小的感知正则因为 L1 对高频细节的梯度比 L2 干净重建神经辐射场这类任务主流做法还是 L2 加体渲染的累积项。但 LoE 真正需要的是额外的均衡损失。均衡项的目的是鼓励每个专家接收到的坐标数量尽量均匀公式类似count_k 每个专家被选中的坐标数量软门控则统计权重和 loss_balance variance(count_k) # 或 KL 距离到均匀分布没有这一项会发生什么门控会快速坍缩到某个专家其他专家彻底闲置整个网络退化成单网络你白忙活。我见过最夸张的一次E2 在整个训练过程中接收的坐标不到总数的 3%一查参数更新历史它的梯度从第 200 步开始就是零。3.4 参数与实验设计建议给一组我试过比较稳的配置图像重建场景单卡可跑参数推荐值说明专家数量3超过 5 个收益骤降资源翻倍不值每专家隐藏层2 ~ 3 层 MLP宽度 64 ~ 128不必每个专家都做成大网络门控网络2 层 MLP宽度 32门控只需要粗粒度判断宽了反而过拟合频率分段按章节 2.2 的三段划分专家数量变化时按比例切分阶数路由方式top-2 硬路由全专家软残差平衡分工与空间连续性均衡损失权重0.1 ~ 1权重太低防不住坍缩太高会干扰主任务学习率主网络 1e-3门控 5e-4Adam门控学习率压低防止路由剧烈变化训练时一定要对每个专家的参数梯度做独立统计。总 loss 在下降不代表每个专家都在干活常见情况是 E1 和 E3 在更新中间的 E2 躺平了而这个现象从总 loss 曲线里根本看不出来。4. 复现和调优中的典型坑门控崩溃、专家闲置与梯度停滞4.1 门控崩溃所有坐标涌向同一个专家这是 LoE 复现时最经典的问题没有之一。现象很直观训练中期开始门控输出的熵持续下降最终几乎所有坐标都路由到同一个专家其他专家的输出权重趋近于零。整个网络退化成单网络甚至比单网络还差因为多了门控这层开销。排查链路大概是这样的先看门控输出概率分布的熵如果熵快速掉到 0.2 以下就说明路由正在坍缩再看每个专家的平均梯度范数闲置专家的梯度范数会骤降。根本原因通常是两类一是门控初始分布就倾斜某个专家初始损失更低导致被反复选中形成正反馈二是均衡损失权重太小根本压不住这个正反馈。修复方案我列在下面固定门控做几轮手动分配前 500 步不让门控学按坐标位置手动指定去哪个专家相当于给系统一个正常分工的初始化门控输出加温度缩放初始温度大一些比如 2.0让概率分布一开始比较平滑训练中逐步降到 0.5避免软路由秒变硬路由给门控的 logits 加高斯噪声步进回复 0.1 的标准差强制探索防止过早锁死均衡损失权重不要省至少 0.1等熵曲线稳定后再调低。4.2 专家闲置某些层级长期没有梯度门控没坍缩但某个专家还是“失业”了。这种情况多发生在中间层专家身上坐标被路由到 E1 和 E3 的组合特别多E2 接到的活越来越少梯度也就越来越小最后彻底不更新。这个问题的隐蔽性很高。因为门的输出概率不是绝对的零只是很小你从 logits 里根本看不出异常只有挨个统计梯度范数才发现那个专家已经“躺尸”了很久。我的做法是每个训练步都记录每个专家的平均梯度范数画在同一个图里一旦哪个专家的曲线趋近于零就立刻干预。干预手段有两个。第一把路由方式从硬 top-k 改成带软残差的机制确保每个专家至少有一小部分权重参与第二引入专家间负载均衡的强约束比如直接把每个专家接收的坐标数量做成目标匹配不上的时候给一个补偿梯度强迫门控分配激活给闲置专家。4.3 高频专家训练迟滞丢失高频细节的倒数几轮第三个坑出现在训练后期E1、E2 都已经稳定E3 的高频细节却迟迟不出有时甚至训练到最后几百轮PSNR 反而掉了一个点边缘开始重新变糊。这个现象背后的原因有两个。一是高频专家的学习率没做差异化全网络统一用 1e-3E3 的梯度方向震荡剧烈后期直接进入 loss 震荡区间另一个是门控在高频区域抖动相邻采样点的路由结果不一致导致重建时高频部分出现“闪烁式”不连续视觉上就像细节消失了。我的建议是把 E3 的学习率设为其他专家的 0.2 ~ 0.5 倍同时在最后阶段给门控加平滑正则强制相邻坐标的路由差异不能过大。另外一定不要只看最终权重训练过程中每隔几百步保存一次校验损失我遇到过多次最佳模型出现在第 18000 步、而最后保存的 20000 步版本反而更差的情况。4.4 一组有用的调优笔记复现 LoE 绕了一圈总结几个能直接抄的结论专家层级不是越深越好。我试过 5 层专家复杂度和显存翻倍最终 PSNR 只比 3 层高了不到 0.1 dB性价比极低各专家参数共享收益不明显。共享部分参数能省一点显存但训练时相互耦合出了 bug 很难排查建议先用独立参数跑通再优化门控尽量简单。深层门控会造成路由的过度拟合最终表现就是训练损失漂亮、验证位置重建糊了高频专家的输入不要只喂坐标。给它拼接上 E2 输出的中间特征作为条件能显著提升细节还原效率。5. 按需精度与跨任务复用LoE 带来的额外收益5.1 训练后可裁剪不同推理精度需求的动态组装LoE 结构天然带来一个普通单网络羡慕的能力推理时按需选择专家集合。低功耗设备上只跑 E1得到一个模糊但能看的粗重建渲染交互漫游时加载 E1E2去掉高频噪声离线渲染最终画面把 E1、E2、E3 全部跑满拿完整质量。我在一个实时预览项目里用过这个特性延迟能从 18ms 压到 5ms画面质量从“清晰”降到“可辨认”而已。单网络做不到这种动态降级因为它的每个输出都依赖所有参数没法切掉一部分。还有一个隐藏好处训练时如果把频率编码和专家绑定推理时可以任意截断高阶编码效果类似平滑降分辨率。这个在做流式传输、网络自适应质量的场景里很实用不用训练多套模型一套 LoE 就够。5.2 跨任务表示复用和持续学习LoE 的分层结构意味着低层专家通常学到的是数据集的公共低频结构高层专家学的是任务特殊的高频信息。所以你可以做一件很有意思的事冻结 E1只替换和重训 E2、E3把模型迁移到另一个风格相似、但细节差异巨大的数据集上。做完一次迁移实验后我发现冻结 E1 的情况下重训成本只有全量训练的 40%而重建质量只掉了 0.2 dB。这个特性对持续学习特别有用。新任务来的时候只解锁高层专家就天然减少了灾难性遗忘——低频基础没动过旧任务的表现自然保得住。5.3 向 3D 重建等领域迁移时要注意什么LoE 在 2D 图像上验证起来方便但真正发挥价值的地方其实是 3D 场景表示。神经辐射场这类任务里每个射线要采样几十上百个点每个点都过一遍门控和专家计算开销会直接爆炸。我的经验是专家数量务必控制在 2~3 个同时门控做成轻量级、甚至可以部分共享采样点之间的计算结果。另一个迁移点在于3D 场景天然适合按深度分层。近处的物体表面细节多走高频专家远处的环境布局简单走低频专家。这比单纯按坐标路由合理得多。带符号距离函数方向则要注意高频细节对应的是表面锐利度E3 的输入不能只加高频编码最好把法向量信息也拼接进去否则尖锐边缘很难收敛。6. 我的一点体会这套方案用下来我最深的感受是LoE 的价值不只在最终的 PSNR 数字上而在它把“一个网络默默承担所有”的黑盒打开了一个口子——你现在可以指着某个专家说这个负责全局形状那个负责高频细节。这种结构化的可解释性在调 bug、做压缩、搞迁移的时候都是巨大的帮助。如果你手里有那种纹理极其丰富、单网络怎么都推不上去的重建任务或者需要在低功耗设备上做动态精度的实时渲染LoE 绝对值得你花两周时间把模型搭出来试一遍。踩过门控崩溃的坑之后你会发现自己对“网络容量分配”这件事的理解上了一个台阶。

LoE：用专家分工攻克隐式神经表示的高频难题

相关推荐

2026音质好的蓝牙耳机推荐,四款热门机型选购指南

视频模糊修复技术分层与实战指南

Multi-YOLOv5实战：检测+分割一体化的工程化落地指南

更多资讯

TABS模组趣味现象揭秘：Unity物理引擎与单位数据调校实战

CountDownLatch原理与多线程协调实战

Swing登录系统开发全解析：布局、事件监听与密码加密

AI中台搭建实战：从数据治理到模型上线的全流程指南

回形针与AI失控：从目标错位到对齐设计的工程启示

2026年.NET生态最新技术趋势与实战解析

今日更新

防关联浏览器哪个好？三款产品实测差异解析

2026钢铁行业AI转型系统选型对比：多基地排产、大宗原燃料采购与质量追溯，六家厂商能力差异在哪里

影刀RPA深度实战：大模型Fine-tuning定制RPA专用Prompt与指令生成

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？