Drive-JEPA解析：让自动驾驶学会在特征空间里预演未来-北京尧图网络

最近被一个概念勾起了兴趣Drive-JEPA。乍一看像是学术界又造了个新名词但仔细顺着Video JEPA加多模态轨迹蒸馏的思路走了一遍发现它对端到端驾驶的痛点抓得相当准。做自动驾驶感知和规划这几年我最深的感受是模型看懂路况已经不是最难的坎了真正难过的是让模型具备对未来的预测能力——不是预测一个框、一个点而是在看不见的语义空间里推演接下来几秒会发生什么然后基于这个推演结果去规划安全的可执行轨迹。Drive-JEPA这个思路恰好就是这么一套把视觉理解和轨迹生成打通的技术路线。这篇文章不打算写成论文笔记我想换个角度从工程落地的视角拆一拆这套方案的动机、关键设计以及如果我要在真实项目里复现这套逻辑会遇到的坑和需要做的取舍。适合对端到端自动驾驶、自监督表征学习、轨迹预测蒸馏感兴趣的算法工程师和学生阅读也适合被端到端这个口号搞得很迷茫、想知道里面到底装了些什么的同行。1. 端到端驾驶卡在哪一步预测鸿沟与语义鸿沟坦白说端到端自动驾驶这个概念近两年被讲得有点烂大街了。早年大家纠结的是感知能不能端到端后来发现感知问题被大模型和BEV那一套解决得差不多于是焦点就迁移到了感知之后怎么办。但恰恰是这一步暴露出两个非常本质的鸿沟。第一个是预测鸿沟。图像理解再好也只是对当前时刻的瞬时描述。驾驶决策需要的从来不是瞬时描述而是对未来状态的估计——前车会不会变道旁边行人会不会横穿我自己接下来三秒应该处在什么位置。传统流水线里这个任务由单独的预测模块承担模块之间靠目标级抽象信息传递丢失了大量上下文语义。到了端到端模型里虽然信息传递变成了特征级但很多模型架构其实并没有真正为预测未来设计专门的机制更多是在当前帧特征上直接映射出轨迹或者控制指令。换句话说模型学会了回应但没有学会预期。第二个是语义鸿沟。感知模块输出的特征分布与决策模块希望看到的特征分布往往不一致。感知特征倾向于表达这是什么物体、在哪里而决策特征需要表达这个物体对我的规划有什么影响、未来可能会怎么动。两者之间存在一个表征层面的错位。靠堆数据和调loss很难根本解决因为模型不知道该用什么抽象层次去思考。找了一圈方案发现JEPA这个思路很有意思。它抓的核心原则是预测应该在抽象的特征空间进行而不是在像素或原始传感器空间进行。具体来说给定一帧可见的输入预测的是输入经过编码器后在特征空间里对应的潜在表示而不是去重构未来帧的图像。像素级重构太琐碎——路面纹理、背景光照这些东西对驾驶决策毫无帮助会让模型把容量浪费在无关细节上。相反在潜在空间做预测模型被逼迫去理解真正与语义相关的要素物体的运动意图、场景结构的演化、可通行区域的变化。这和人类开车的直觉是一致的。我开车时并不需要在脑内重构未来三秒的完整画面我只需要知道未来可能发生哪些关键事件、自己有哪些操作空间。Video JEPA相当于把这种潜在空间预测推广到了视频序列。它从连续的视频帧中学习时空表征训练时会掩盖掉未来片段强制模型根据可见片段预测未来片段在嵌入空间中的状态。这个机制天然契合自动驾驶的决策需求路况预测、意图推断、行为规划都可以在同一个时空表征空间里完成。所以Drive-JEPA本质上是在回答一个我一直觉得端到端驾驶没有回答好的问题感知模块之后用什么方式把视觉输入转化为面向决策的预测性表征。传统的做法是让感知表征隐式地被规划loss驱动但隐式驱动的效率极低。JEPA的思路则是显式地构建一个预测性表征空间让决策模块吃的第一口粮就是能预测未来的语义特征。这会带来一个直接的好处决策模块不必被迫自己从原始视觉特征里领悟预测能力而是拿到一份已经被老师打磨好的、高度抽象的预测结果。接下来的问题就是这份预测性表征如何转化为具体的驾驶轨迹。这就引出了第二个关键设计——多模态轨迹蒸馏。2. Video JEPA在驾驶中的角色在特征空间里脑补未来先把Video JEPA的原理拆透。它跟传统自监督视频模型的本质区别可以用一句话讲完别人学的是像素填充它学的是抽象推演。拿常见的视频预测自监督方法举例比如视频MAE这类方法做法是把视频块mask掉然后让模型重构被mask的像素或patch。这种方法的问题很直接模型的注意力被大量无关的低层纹理占据天空的渐变、路面颗粒、树叶晃动这些对驾驶决策而言毫无区分度的信息会占据重构loss的大头。模型费了很大力气学会补全背景却没学会理解运动规律。开车时真正有价值的恰恰是那些细小的、具有明确意图性的运动信号——前车轻微侧移准备并线行人大脑往路中央偏转——这些信号在像素域占比极小却蕴含了最重要的决策信息。在像素域的做法很容易把看着像模像样当成理解了真正关键的变化。Video JEPA的逻辑反过来。它先通过一个编码器把每一帧视频映射到语义嵌入空间然后对一个看不见的未来帧做预测——但预测目标不是那一帧的像素而是那一帧经编码器产生的嵌入。模型要做的是让预测出的嵌入与被掩盖帧的真实嵌入尽可能接近而在这个接近过程中模型被迫编码那些决定未来场景状态的真正因素物体的运动趋势、稀疏却关键的语义变化。换句话说模型学会的是在隐空间里推演世界的演化而不是复刻世界的外观。在驾驶场景中这个特性非常有价值。道路环境是一个高度结构化、规则明确、物体运动模式相对有限的世界。车辆、行人、非机动车都有相对固定的运动学约束和交互规则。这意味着驾驶场景的未来演化在语义层面具有很强的可预测性非常适合用JEPA这类结构去建模。更关键的是JEPA的预测发生在时间维度上这给了端到端驾驶模型一个前瞻脑。对自动驾驶来说拥有对下一刻的预测性表征意味着决策模块不再看到什么就反应什么而是可以结合对未来的预测来选择行动。举个例子右前方车辆虽然还没打灯但它前轮已经有轻微左偏的趋势在潜在预测空间中这个趋势会反映为未来表征的变化信号决策模块就能提前进行轨迹调整而不是等对方真正压线才刹车。这种提前性是传统感知加规则决策不容易获得的。当然Video JEPA也不是直接把原始视频段的表征交给规划器就完事了。在实际的驾驶系统里模型往往有多个视觉输入源前视相机、环视相机甚至激光雷达点云。视频JEPA提供的是一种时间维度的预测能力而整合不同模态的信息还需要额外的机制。Drive-JEPA这里做得很务实的一点就是它把JEPA学习到的时空表征当作一个强大的前表征器后续再接多模态的轨迹蒸馏和规划模块。这样既拿到了JEPA对未来的预测性理解又不用被迫把所有驾驶任务全部塞进同一个自监督框架里。另一个容易被忽视的细节是Video JEPA这种自监督方式对数据的需求虽然仍然很大但对标注的依赖极低。它只需要有大量的驾驶视频流就能学习到相当有效的时空表征。这对现实世界中的驾驶数据场景格外友好因为采集原始视频相对容易但高质量的轨迹标注、意图标注成本高且难以规模化。用海量无标注视频预训练一个时空预测骨干再在小规模标注数据上微调驾驶决策头这个资源配置逻辑非常符合行业现状。不过必须承认JEPA训练有其自身难度。它不使用对比学习那种正负样本二元对立而依赖非对比的损失函数设计比如VICReg风格或w-MSE风格的方差-协方差约束实现上需要多花一些心思。此外潜在空间的维度选择、预测窗口的长度、时间掩码策略都对学到的表征质量有直接影响。这些细节没有标准答案需要在具体数据集上反复调试。别指望一把梭哈就能训出想象中那个预见未来的骨干它更像是在蒸馏你对场景理解的所有直觉训练的过程也是磨人的。但方向本身是对的表征要面向预测来学而不是面向重建来学。恰恰因为预测比重建抽象它才更贴近驾驶决策的本质需求。3. 多模态轨迹蒸馏老师教学生学生才能上车有了预测性时空表征下一步要回答的问题就具体了怎么把它变成一条可执行轨迹Drive-JEPA的答案是轨迹蒸馏。放在这里蒸馏不是指模型压缩而是一种知识传递策略用多模态的轨迹生成器当老师教一个轻量级学生网络输出最终驾驶轨迹。先得想明白一个问题为什么不能直接从表征映射到轨迹原因在于数据分布和训练目标的错配。驾驶轨迹生成本质上是个多模态问题——面对同一个路口、同样的交通流状态人类的驾驶选择并非唯一可以匀速通过可以提前减速可以选择更靠左或者更靠右的线路。如果用单一确定性映射去拟合这种多峰分布模型只能学到平均行为结果就是轨迹平庸、决策犹豫。拿单一均方误差去监督轨迹输出模型会在所有合理路线的平均值附近徘徊得到的往往是一条两边都不靠的路线这在实车测试中非常危险。多模态蒸馏的做法可以这么理解先有一个表达能力更强的老师它能看到同一个场景里多种合理的驾驶可能学生不需要自己重新摸索这些可能性只需要学到如何跟随最合适的那个意图。老师的角色通常由两类模型充当一类是离线模型或更大规模的模型它们有权访问更多上下文信息甚至可以做全局规划另一类是规则生成器或者经过强化学习训练的策略网络它们负责枚举合理的多模态轨迹假设。老师生成的候选轨迹集合本质上是把驾驶先验知识直接注入了训练过程。然后说说这个蒸馏的对象到底是什么。轨迹和特征两层都要学。轨迹这一层学生网络学习的是模仿老师输出的多模态轨迹分布而不是某一条固定轨迹。通常会把老师生成的多条候选轨迹经过打分函数排序把得分最高的那几条作为蒸馏目标。这样训练的妙处在于学生学会的不是某个单一动作而是一种理解场景可能发生什么、应该保留哪些备选方案的能力。到推理阶段即使老师不在线学生自己也能基于输入表征快速生成一组合理的轨迹假设并给出置信度。特征这一层更为隐蔽却同样关键。老师模型在生成轨迹前内部会形成一套对场景的语义理解——哪条路更安全、哪些动态物体正在构成威胁、哪块区域属于盲区。这些理解体现在中间特征里。蒸馏时让学生不仅学习匹配轨迹坐标还学习匹配老师中间层的特征响应。这样做的好处是学生的决策头不只是一个轨迹拟合器而是真正继承了老师对场景安全性、意图性的高层理解。这个角度看蒸馏就更接近一种表征层面的教学了。结合Video JEPA整体链路就串起来了。视频编码器负责把连续观测编码成预测性时空表征它告诉系统这个世界未来大概会怎么演化多模态的老师轨迹生成器基于表征枚举合理的驾驶策略相当于说基于这个推演有哪些可行的操作学生网络在老师指导下学习如何从表征空间直接产出高质量轨迹最终控制器再把轨迹转成油门、刹车、转向控制信号。这套方案在实际工程里有一个特别现实的优点推理成本可控。老师模型可以是任何精度高但计算量昂贵的模型比如带heavy解码器的大网络或多次采样的规划器反正它在训练阶段离线跑学生模型则可以设计得极其轻量比如一个多层Transformer解码器加MLP轨迹头。部署到车端时只需要跑学生在线的推理路径。速度和效果都照顾到了。做蒸馏训练时有个容易被忽视的环节老师的候选轨迹质量必须足够高且要有多样性。如果老师生成的候选轨迹近似重叠就没有真正的多模态信息蒸馏后学生照样只能学到平均行为。实践中的做法是为老师模型设计一个透过多结构障碍的多样轨迹采样机制让候选轨迹覆盖不同的驾驶策略空间。另一条经验是蒸馏温度的设置温度太高学生模型会过度平滑温度太低会完全忽略低置信度的合理备选轨迹一般我会以常规蒸馏温度区间起步再根据实车评估或模拟器评估来微调。4. 端到端链路怎么搭从视频序列到可执行轨迹的完整流程光理解原理还不够工程上串起完整链路才是重头戏。我这里给出一套可落地的架构参考基于DV- JEPA的思想不完全是论文里的细节更偏向我在实际项目里会采用的一套组织方式。整体自上而下可以分成四层输入编码层、时空预测层、轨迹生成层和蒸馏训练信号层。输入编码层相对直观。取连续视频帧序列比如前3秒共10帧作为输入。每帧经过一个共享的视频编码器得到token序列。编码器建议用带时空下采样的ViT或者Swin Transformer这类骨干网络。如果输入同时包含激光雷达或其他传感器的特征可以在这一层做多模态token级的融合——或者直接拼接或者做交叉注意力。Video JEPA的预训练就在这里完成用自监督的方式让编码器学会提取面向时空预测的表征。时空预测层做的事情是模型要对未来的隐状态做预测。实操中需要确定两件事预测窗口要多长预测多少个未来token。可以用一个掩码策略把后几帧的输入token掩掉JEPA编码器对可见token编码预测模块通常是一个轻量Transformer基于可见token预测被掩token对应的隐表示。窗口选多长需要平衡窗口太短学到的是瞬时运动窗口太长误差会累积且许多场景物体运动方向改变频繁预测就失去了意义。一般取1.5到3秒较合适。预测模块与编码器可以联合训练也可以先固定编码器训练预测模块分阶段推进在许多时候更易收敛。轨迹生成层是把预测性表征转化为具体轨迹。这里我推荐用基于cross-attention的query提出机制定义N个可学习的轨迹query让它们与预测性时空特征做交叉注意力解码出N条候选轨迹每条候选轨迹包含未来1到3秒内多个时间点的x, y坐标序列、每个时间点的速度与加速度以及置信度分数。这个设计在多模态轨迹预测文献里相当成熟配合多模态蒸馏效果更好。学生模型实际部署时不必跑老师模型只用这一层的主干和新进蒸馏学生头即可。蒸馏训练是整套系统最微妙的部分。需要定义多任务损失函数常见的一个组合是loss ( alpha * kd_forward_loss # 前向KL散度学生分布对齐老师分布 beta * features_match_loss # 中间特征匹配感知蒸馏 gamma * traj_mse_loss # 学生候选轨迹与老师最优轨迹的MSE delta * confidence_loss # 学生置信度与老师置信度的温度缩放交叉熵 )一个参考实践的权重比例是alpha0.4、beta0.3、gamma0.2、delta0.1。不同场景可以调整但features_match_loss的权重切忌太高否则学生模型过度模仿老师的中间特征反而丧失了自身泛化能力。训练策略上建议走两阶段。第一阶段是核心的自监督预训练用大规模无标注驾驶视频训练Video JEPA编码器。第二阶段是蒸馏微调固定或低学习率微调编码器主要训练轨迹生成模块使用老师离线预生成的轨迹和中间特征作为监督。另外一条经验是蒸馏量务必覆盖那些换道、无保护转弯、人车混行等复杂交互场景否则老师自己都没有这些场景的多模态轨迹样本学生更不可能凭空学会。数据组织上端到端蒸馏非常依赖场景多样性。单纯高性能的模型在常规直路和跟车场景下大家都差不多真正拉开差距的是少数复杂交互驾驶场景。建议在离线数据池中做场景难度和类别的重加权采样让训练集里复杂场景的占比更高否则损失函数里的那点蒸馏信号会被海量平凡样本淹没。关于评估除了离线指标mADE、mFDE、碰撞率我还坚持做在线仿真测试。离线指标只能说明轨迹拟合质量说明不了轨迹执行后的安全后果。把同样的轨迹放到环境模拟器中回放并与其他物体做交互仿真才能暴露出蒸馏过程中可能被隐藏的问题。这部分建议预备好一套闭环的评估环境再开始训练不然模型训完才发现评估方式不合适返工成本非常高。5. 跑实验时那些绕不开的坑这套思路在具体实现过程中有几个坑非常值得展开每一步都对应我或者同行实际踩过的教训。第一个坑是JEPA训练时的时间掩码策略太僵硬。最初的做法可能是把后30%的帧全部mask掉结果模型学到的是识别哪段时间被隐藏了以便偷懒。它发现只要看到某些帧段就直接用原输入的平均状态作为预测而不是真正去理解运动规律。这事特别像学生学会了划重点而不是学会了知识点。改进的方向是随机按token比例掩码并且让掩码既作用于时间维度也作用于空间维度让模型没法只靠局部片段的统计特征糊弄过去。如果发现JEPA预训练loss掉得很快但下游驾驶任务的性能没有提升大概率就出现了预测器抄近路的情况。第二个坑是多模态蒸馏的模式坍塌。前面说过老师必须生成多样化的候选轨迹但训练时如果蒸馏目标只取了得分最高的一条轨迹学生最后还是退化成单模态拟合。建议蒸馏时把老师排名前K的轨迹都作为监督信号并且让不同的候选轨迹之间存在可量化的距离约束比如最小化候选集合之间的距离防止老师自己生成一堆几乎重合的轨迹。比较可行的办法是在老师的采样阶段加prompt条件比如不同的策略指令强制老师生成不同的行为模式而不是靠概率随机性去自然发散。第三个坑是特征匹配loss的尺度敏感问题。学生早期训练阶段特征还比较乱如果一上来就用较重的特征匹配loss学生会被大力气拽着去匹配老师的特征空间结果就是学得很慢甚至特征分布扭曲。建议先用较轻的权重等学生主干训练比较稳定后再提高特征匹配loss的比例。另外不同模态的特征范围差异也很大视觉特征和轨迹特征的量级不在一个级别它们各自的蒸馏loss必须做归一化否则轨迹蒸馏信号会被视觉特征蒸馏信号压制。更稳妥的做法是用不同的loss函数分支同时作用于多层不同尺度的特征而不是仅仅在最后一层做对齐。第四个坑在数据上的模态缺失。实际部署中激光雷达信号可能存在被遮挡或降低置信度的情况摄像头可能遇到逆光隧道这类动态范围极端被压扁的情形。如果训练时总是在完整的多模态输入下进行部署时某些传感器突然失效学生模型就会在严重后果的安全场景下产生劣化行为。我建议在蒸馏训练期间做随机的模态削减比如以一定概率丢弃部分模态传感器输入这可以显著提升模型在传感器部分失效时的鲁棒性。还有一个从更整体的视角来看的坑对基座编码器的差异化调优。许多人拿到Video JEPA预训练表征后就直接接入轨迹头发现轨迹头的性能还行但只要场景变化性能就明显跳变。问题往往出在编码器与轨迹头之间没有做充分的联合微调。预训练编码器是在通用时空预测任务上学的而轨迹头面对的是驾驶决策任务两者的目标不完全一致。建议在第二阶段用较低学习率进行全模型微调而不是仅仅固定编码器。这套联合训练的做法在某些驾驶仿真基准上实验效果改善明显。最后谈一个工程上的细节训练时的显存压力。视频JEPA加上大编码器、额外预测模块、学生轨迹头整个模型在完整视频输入下的显存占用极易打爆尤其是想做多帧多模态融合。两个实用的缓解方案一是使用梯度检查点技术它在反向传播时丢失前向激活用时重新计算可以大幅降低显存峰值二是把视频分为短clip并在特征层面拼接本质上是在时间维度做层次聚合。这两条都是在不动模型整体框架的前提下尽量让训练可以跑起来的实际操作。优先考虑梯度检查点因为它对精度几乎无损伤。如果你也在做端到端驾驶这个方向尤其对自监督表征如何服务和决策环节感兴趣我认为Drive-JEPA这个思路值得认真琢磨。它没有发明什么全新的魔法模块但把两个各自成熟的技术——视频JEPA和多模态轨迹蒸馏——以一套相当自洽的逻辑衔接起来解决了一个真实存在的痛点让驾驶模型学会在抽象空间里预测未来再让未来预测转化为多模态的规划选择。我个人在实验中最深的体会是自监督预训练阶段的收益不像检测或分类任务那样立竿见影它的价值要放到下游蒸馏和微调之后才能被完全放大。中间训练曲线某个阶段你会看着指标毫无起色这时候没有别的办法只能盯住预测器是否退化、蒸馏信号是否失真这些问题分模块诊断。等整套链路真正转起来拿到了一批多模态轨迹覆盖、闭环测试也稳定的结果时会明显感觉到这套系统的决策行为比以前单纯感知加规划要顺很多——不是因为规划器更强而是因为模型终于开始预期未来了。

Drive-JEPA解析：让自动驾驶学会在特征空间里预演未来

相关推荐

OPC Client 64位安装配置全攻略：从DCOM调试到数据读写验证

AI搜索优化：企业知识管理到数字化转型的关键跳板

pytest自动化测试报告实战：pytest-html与Allure选型与配置

更多资讯

487万条结构化图书数据集：开箱即用的推荐与NLP工程基底

从题目到终稿：用AI辅助工具高效完成毕业设计论文与实践报告

业务Agent评测平台建设实践：架构设计、评测集与踩坑全记录

内网离线部署karma前端单测：依赖打包与避坑指南

AFSIM 2.9源码解析：从编译到自定义模型扩展实战

Metadef元数据体系：自定义算子开发中属性定义的工程化实践

今日更新

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？