1. 从“感知-决策-执行”到“端到端”自动驾驶范式革命的序章最近和几个做自动驾驶的朋友聊天发现一个挺有意思的现象大家讨论的焦点已经从几年前“谁的激光雷达线数高”、“谁的感知模型mAP值领先”悄然转向了“你们家端到端模型跑得怎么样了”、“大模型上车有没有新进展”。这背后是整个行业技术路线的深刻转向。我们正站在一个十字路口一边是经过十年打磨、相对成熟但日益复杂的“感知-决策-规划-控制”模块化架构另一边是借助大模型和端到端学习、试图用更简洁方式解决复杂问题的全新范式。“智能涌现”这个词在AI领域被用来描述当系统复杂度达到一定程度时会自发产生超越预设规则的、更高层次的智能行为。在我看来当前自动驾驶技术栈的演进尤其是大模型和端到端学习的引入恰恰是这种“涌现”过程的前奏。它不再是简单地在原有模块上做加法而是试图重构整个问题解决的逻辑。今天我们不谈那些宏大的未来展望就从最实际的工程视角切入聊聊这场范式革命的上半场——它为什么发生、核心的技术驱动力是什么以及我们这些一线从业者正在面对哪些真实而具体的挑战与探索。2. 传统模块化架构的“阿喀琉斯之踵”复杂性与长尾问题在深入新范式之前我们必须先理解旧范式为何难以为继。经典的自动驾驶软件架构像一台精密的瑞士钟表由感知、定位、预测、决策、规划、控制等多个独立模块串联而成。每个模块都有专门的团队负责优化使用不同的算法模型如CNN做感知、RNN/LSTM做预测、优化算法做规划模块之间通过精心设计的接口传递数据。这套体系在过去十年取得了巨大成功让L2级辅助驾驶成为可能并支撑了众多Robotaxi的测试运营。然而随着对更高阶自动驾驶L3及以上的追求这套架构的局限性日益凸显我将其总结为三大“阿喀琉斯之踵”2.1 误差累积与“责任推诿”模块化架构的本质是流水线。感知模块的误检、漏检会直接污染后续所有模块的输入。更棘手的是当最终车辆行为出现问题时例如不必要的紧急刹车很难精准定位是哪个模块的责任。是感知没看到那个模糊的障碍物是预测错误判断了行人的意图还是规划器在多个可行轨迹中选了一个不舒适的排查过程如同在复杂的迷宫中寻找一个故障点耗时费力。这种“责任推诿”问题在系统集成和测试阶段消耗了巨量资源。2.2 规则爆炸与场景“组合爆炸”决策和规划模块严重依赖人工规则rule-based和成本函数cost function的设计。工程师需要预先设想无数种交通场景cut-in、路口无保护左转、行人鬼探头等并为每一种场景编写相应的处理逻辑或调整成本函数的权重。但现实世界的驾驶场景是近乎无限的“长尾”分布。你永远无法穷尽所有可能性。这就导致了一个怪圈为了解决一个罕见的corner case极端案例工程师需要添加一堆特殊规则这些规则又可能在其他常见场景下引发冲突或导致不自然驾驶行为系统变得越来越臃肿和脆弱。2.3 模块间信息损失与次优解每个模块在处理信息时都是一种“有损压缩”。感知模块将丰富的原始传感器数据像素点、点云压缩成一个个带标签和边框的物体列表在这个过程中丢失了大量细节如物体纹理、部分形状、不确定性信息。规划模块再基于这个简化后的世界模型进行计算。这种层层抽象导致最终的控制指令可能并非全局最优。例如感知模块可能因为遮挡只给出了车辆的部分轮廓规划模块基于此做出的绕行决策可能过于保守而如果规划模块能直接接触到原始的、包含不确定性的传感器数据或许能做出更优的决策。正是这些痛点催生了行业对更简洁、更统一解决方案的渴望而大模型和端到端学习恰好提供了新的可能性。3. 核心驱动力大模型与端到端学习如何重塑问题定义新范式的核心思想可以概括为一句话让一个统一的模型直接从高维的传感器输入图像、激光雷达点云映射到低维的控制输出方向盘转角、油门刹车或者至少是规划轨迹。这听起来像是回归了深度学习最初“端到端”的梦想。但今天的端到端与十年前的简单尝试已不可同日而语其背后的核心驱动力来自两方面。3.1 大模型世界知识的“压缩”与推理能力的“涌现”以GPT、LLaMA为代表的大语言模型展示了在海量无标注文本数据上预训练出的“基础模型”Foundation Model所具备的惊人泛化能力和常识推理能力。这种范式被迅速借鉴到自动驾驶领域催生了“自动驾驶大模型”的概念。它的价值不在于替代传统的感知模型去画框而在于构建一个统一的世界模型。这个模型能够理解驾驶场景中物体之间复杂的物理关系和交互逻辑。例如它不仅能识别出“这是一个行人”还能推断“这个行人正在看手机可能不会注意到来车横穿马路的概率较高”。这种深层次的场景理解正是传统模块化架构中预测模块梦寐以求的能力。目前行业探索主要在两个方向视觉大模型作为“场景理解器”利用在互联网海量图像、视频上预训练的视觉大模型如DINOv2、InternVL提取比传统CNN特征更丰富、更具语义的视觉特征。这些特征包含了关于物体属性、场景布局、甚至部分物理规律的先验知识可以作为下游规划模块更优质的输入。多模态大模型作为“决策大脑”将视觉、语言导航指令、交通规则、向量地图等信息一起输入到一个类似GPT架构的多模态大模型中让其直接输出驾驶决策或轨迹。例如Wayve的GAIA-1、特斯拉的“端到端神经网络”都在向这个方向探索。这类模型的关键优势在于它通过注意力机制能够自主地关注当前最重要的信息比如突然窜出的电动车而不是远处静止的广告牌实现了“感知-决策”的软性融合。3.2 端到端学习用数据驱动代替规则驱动端到端学习并非新概念但直到最近它才真正具备了可行性。这得益于大规模高质量数据集如Waymo Open Dataset、nuScenes、Argoverse等提供了海量的传感器数据相机、激光雷达和对应的车辆轨迹真值。这使得用监督学习方式训练一个从传感器到轨迹/控制的模型成为可能。模型架构的革新Transformer架构凭借其强大的序列建模和全局关系建模能力成为端到端自动驾驶模型的骨架。它能够很好地处理多摄像头视频输入这种时空序列数据并捕捉远距离的依赖关系。仿真与数据合成技术在现实世界中收集所有长尾场景的数据是昂贵且危险的。因此利用高保真仿真如Carla、NVIDIA Drive Sim和神经渲染技术生成海量合成数据来补充和增强训练集成为端到端模型能否覆盖 corner case 的关键。端到端模型的魅力在于它用一个可微分的神经网络替代了多个独立模块让误差信号可以从最终的驾驶表现如轨迹误差、舒适度直接反向传播到最前端的特征提取层。这意味着模型可以为了最终的整体最优自动调整内部所有参数理论上能避免模块化架构中的次优解问题。4. 工程落地的现实挑战理想与骨感之间尽管新范式前景诱人但作为一名工程师我必须泼点冷水从论文到量产车从演示视频到真正安全可靠的系统中间隔着巨大的工程鸿沟。以下是我们目前面临的最尖锐的几个挑战4.1 可解释性与调试之困模块化架构虽然复杂但每个模块的输出都是人类可理解的感知框、预测轨迹、规划路径。当系统出错时我们可以像调试软件一样逐层检查中间结果。但一个庞大的端到端模型就像一个黑盒输入传感器数据输出控制信号。它为什么在这里刹车是因为看到了那个阴影还是因为学习到了某种我们未知的关联模式一旦发生事故原因调查将变得极其困难。这对于需要承担法律责任的量产自动驾驶系统来说是致命的弱点。目前的折中方案是设计“可解释的端到端”架构。例如让模型除了输出控制信号还同时输出一些中间表示如占据栅格Occupancy Grid、场景流Scene Flow或自车未来的运动意图。这些表示虽不是传统的“物体框”但也能为工程师提供一定的洞察窗口。另一种思路是使用“因果干预”等工具尝试理解模型内部的决策逻辑。4.2 安全性与“长尾”场景的确定性保障基于规则的系统其行为边界相对清晰虽然可能不智能。而数据驱动的端到端模型其行为完全由训练数据分布决定。它可能在99.99%的场景下表现得像老司机但在那0.01%的、训练数据中从未出现或极少出现的极端场景下它可能产生完全无法预测的、甚至危险的输出例如对着一个造型奇特的雕塑加速冲过去。如何保证绝对安全这催生了对大模型进行“对齐”和“价值观”塑造的需求。我们需要在训练中引入安全约束例如通过强化学习设置安全奖励/惩罚或者使用“宪法AI”的思想让模型遵循一组不可违背的基础安全规则如“永远不能碰撞”。同时建立高效的高风险场景挖掘与数据闭环变得比以往任何时候都重要。我们需要能自动从海量路测数据中识别出模型处理得“信心不足”或“行为怪异”的片段将其加入训练集持续迭代模型。4.3 算力需求与车端部署的博弈一个能处理多摄像头视频流、运行Transformer大模型的端到端系统对算力的需求是恐怖的。虽然芯片算力在持续增长如NVIDIA Thor、高通Ride Flex但车端的功耗、成本和散热有严苛限制。这就需要在模型性能与效率之间做极致权衡。常见的工程实践包括模型蒸馏与压缩在云端训练一个庞大的“教师模型”然后将其知识蒸馏到一个更小、更高效的“学生模型”中用于车端部署。异构计算与算子优化充分利用车端SoC的CPU、GPU、NPU等不同计算单元针对自动驾驶任务定制化设计神经网络算子榨干每一分硬件性能。渐进式部署并非一步到位替换整个栈。可以先从“感知-预测”端到端或者“预测-规划”端到端做起逐步扩大端到端的范围降低技术风险。4.4 仿真与真实世界的“鸿沟”依赖合成数据训练就必须面对仿真与真实世界之间的差异问题。即便渲染得再逼真仿真环境中的物理规律、材质反射、传感器噪声模型与真实世界仍有差距。模型可能在仿真中表现完美但到真车上就“水土不服”。这就需要引入域适应技术以及构建能高效将真实世界数据特征“注入”仿真的数据流水线不断缩小这道鸿沟。5. 当前的技术融合形态模块化与端到端的“混血儿”在完全纯粹的端到端系统成熟之前业界主流采用的是“混合架构”或“中间路线”。这并非妥协而是一种务实的工程智慧。具体形态多样但核心思想是在关键瓶颈处引入端到端学习同时保留部分模块的独立性和可解释性。5.1 以“占据网络”为代表的感知一体化这是目前最成功、落地最快的“准端到端”技术。传统的感知需要分别进行检测、分割、跟踪。而占据网络如特斯拉的Occupancy Networks 国内诸多公司的类似方案直接以端到端方式从多摄像头图像预测出车辆周围3D空间中每个体素voxel是否被占据以及其运动速度场景流。它的优势非常明显统一输出不再区分车辆、行人、锥桶凡是障碍物一律表示为“占据”完美解决了通用障碍物检测难题。保留几何细节能表达不规则形状的物体如绿化带、掉落的货物避免了传统检测框的信息损失。端到端优化网络直接为后续的规划任务输出最合适的形式3D占据栅格实现了从感知到规划表示层面的优化。虽然占据网络本身是一个端到端模型但它输出的“占据栅格”仍然是一个中间表示规划模块可以基于此进行传统的规则或优化计算。这是一种“软性”的端到端。5.2 规划端到端从感知特征到轨迹另一种流行思路是“规划端到端”。即感知模块可以是传统的也可以是占据网络输出丰富的特征图或BEV鸟瞰图特征然后一个规划网络直接将这些特征映射到一条或多条候选轨迹上。这个规划网络通常基于Transformer或Diffusion模型。这种方式的好处是规划器可以直接利用感知特征中的细节和不确定性信息做出更优的决策。同时由于感知模块可能还是独立的整个系统的可解释性和调试难度有所降低。许多公司发布的“端到端自动驾驶”演示实际上多属于此类。5.3 大模型作为“副驾”或“验证器”还有一种不那么激进但很实用的方式不将大模型直接用于实时控制回路而是让它扮演“智能副驾”或“事后验证器”的角色。场景理解与决策建议在复杂路口或突发状况时大模型可以快速分析全景为规控系统提供决策建议如“建议让行右侧来车”规控系统可以将其作为参考。开环测试与代码生成利用大模型的代码生成能力自动编写测试用例或者在仿真中生成复杂的、富有挑战性的交互场景用于验证现有系统的能力边界。数据标注与挖掘用大模型自动预标注数据或从海量路采数据中智能挖掘有价值的corner case片段极大提升数据闭环的效率。这条路线的优势是安全风险低能快速赋能现有系统是很多团队切入大模型应用的起点。6. 数据、评估与人才新时代的基础设施之战无论选择哪条技术路线新时代的竞争本质上是一场关于“数据、评估标准与人才”的基础设施之战。6.1 数据闭环从“收集”到“消化”的质变过去的数据闭环核心是收集数据、人工标注、训练模型。未来的数据闭环核心是“自动发现问题、自动生成场景、自动修复模型”。自动触发不再依赖安全员手动上报而是通过车端模型本身的“不确定性估计”、或与预期行为的偏差自动触发数据上传。自动标注利用大模型和自动标注工具对上传的困难片段进行高精度、多模态的标注。自动仿真重建将真实世界的关键场景自动重建到仿真环境中并可以进行泛化改变天气、车辆颜色、行为参数生成海量衍生场景。自动训练与评测在云端的仿真场景库中自动训练新模型并自动进行大规模回归测试评估模型在无数个corner case上的表现。谁能建立更高效、更智能的数据闭环谁就能更快地攻克长尾问题。6.2 评估体系的重构告别单一指标当系统变成端到端后传统的评估指标如感知mAP、规划误差变得不够用了。我们需要一套全新的评估体系去衡量整个系统的“驾驶智能”交互安全性在与其他交通参与者有交互的场景下如汇入、路口模型的行为是否安全、可预测舒适性与拟人化乘坐体验是否舒适驾驶风格是否接近熟练的人类司机让乘客感到自然场景通过率在包含大量长尾场景的测试集如nuScenes的“交互”场景子集上系统能成功通过多少因果鲁棒性对输入进行一些不影响驾驶决策的扰动如改变天空颜色模型的输出是否稳定而对关键信息进行微小改变如行人从静止变为抬手模型的输出是否会产生合理且显著的变化建立这样的评估基准需要大量的专家知识和真实的驾驶数据它本身就是一个高壁垒。6.3 人才结构的转变从“模块专家”到“全栈AI工程师”传统团队需要感知算法工程师、预测算法工程师、规划控制工程师。而在端到端范式下团队更需要的是大模型架构师精通Transformer、Diffusion等前沿架构懂得如何为自动驾驶任务设计定制化的模型。AI基础设施工程师擅长构建千卡乃至万卡集群的分布式训练框架精通大规模数据管理和高效的数据流水线。仿真与合成数据专家能够构建高保真、可扩展的仿真世界并利用生成式AI创造高质量的合成数据。机器学习系统工程师专注于模型的部署、压缩、车端推理优化以及云端训练和车端推理的协同。这对从业者提出了更高的要求也需要企业进行组织架构的调整。上半部分结语 自动驾驶的上半场是模块化架构将概念变为现实的十年。而下半场的序幕正由大模型和端到端学习拉开。这不是一场简单的技术替换而是一次从方法论到基础设施再到人才体系的全面革新。我们看到了令人兴奋的可能性更简洁的系统、更智能的行为、更快的迭代速度。但我们也必须清醒地认识到横亘在前的现实挑战黑盒的不可解释性、安全验证的极端复杂性、以及巨大的算力成本。目前没有一家公司拥有所有答案。大家在不同的路径上探索有的全力押注纯粹的视觉端到端有的在BEV占据网络上精耕细作有的则尝试用大模型重构决策逻辑。这场竞赛的胜负将不取决于谁的概念更炫酷而取决于谁能率先构建起高效、可靠的数据闭环谁能建立起逼近人类驾驶水平的评估体系以及谁能将强大的AI能力安全、可控地塞进成本受限的车规级硬件里。这既是技术的探险也是一场艰巨的工程长征。在下篇中我们将深入几个具体的开源项目、技术方案和实战代码看看这些理念是如何一步步落地的。
1. 从“感知-决策-执行”到“端到端”自动驾驶范式革命的序章最近和几个做自动驾驶的朋友聊天发现一个挺有意思的现象大家讨论的焦点已经从几年前“谁的激光雷达线数高”、“谁的感知模型mAP值领先”悄然转向了“你们家端到端模型跑得怎么样了”、“大模型上车有没有新进展”。这背后是整个行业技术路线的深刻转向。我们正站在一个十字路口一边是经过十年打磨、相对成熟但日益复杂的“感知-决策-规划-控制”模块化架构另一边是借助大模型和端到端学习、试图用更简洁方式解决复杂问题的全新范式。“智能涌现”这个词在AI领域被用来描述当系统复杂度达到一定程度时会自发产生超越预设规则的、更高层次的智能行为。在我看来当前自动驾驶技术栈的演进尤其是大模型和端到端学习的引入恰恰是这种“涌现”过程的前奏。它不再是简单地在原有模块上做加法而是试图重构整个问题解决的逻辑。今天我们不谈那些宏大的未来展望就从最实际的工程视角切入聊聊这场范式革命的上半场——它为什么发生、核心的技术驱动力是什么以及我们这些一线从业者正在面对哪些真实而具体的挑战与探索。2. 传统模块化架构的“阿喀琉斯之踵”复杂性与长尾问题在深入新范式之前我们必须先理解旧范式为何难以为继。经典的自动驾驶软件架构像一台精密的瑞士钟表由感知、定位、预测、决策、规划、控制等多个独立模块串联而成。每个模块都有专门的团队负责优化使用不同的算法模型如CNN做感知、RNN/LSTM做预测、优化算法做规划模块之间通过精心设计的接口传递数据。这套体系在过去十年取得了巨大成功让L2级辅助驾驶成为可能并支撑了众多Robotaxi的测试运营。然而随着对更高阶自动驾驶L3及以上的追求这套架构的局限性日益凸显我将其总结为三大“阿喀琉斯之踵”2.1 误差累积与“责任推诿”模块化架构的本质是流水线。感知模块的误检、漏检会直接污染后续所有模块的输入。更棘手的是当最终车辆行为出现问题时例如不必要的紧急刹车很难精准定位是哪个模块的责任。是感知没看到那个模糊的障碍物是预测错误判断了行人的意图还是规划器在多个可行轨迹中选了一个不舒适的排查过程如同在复杂的迷宫中寻找一个故障点耗时费力。这种“责任推诿”问题在系统集成和测试阶段消耗了巨量资源。2.2 规则爆炸与场景“组合爆炸”决策和规划模块严重依赖人工规则rule-based和成本函数cost function的设计。工程师需要预先设想无数种交通场景cut-in、路口无保护左转、行人鬼探头等并为每一种场景编写相应的处理逻辑或调整成本函数的权重。但现实世界的驾驶场景是近乎无限的“长尾”分布。你永远无法穷尽所有可能性。这就导致了一个怪圈为了解决一个罕见的corner case极端案例工程师需要添加一堆特殊规则这些规则又可能在其他常见场景下引发冲突或导致不自然驾驶行为系统变得越来越臃肿和脆弱。2.3 模块间信息损失与次优解每个模块在处理信息时都是一种“有损压缩”。感知模块将丰富的原始传感器数据像素点、点云压缩成一个个带标签和边框的物体列表在这个过程中丢失了大量细节如物体纹理、部分形状、不确定性信息。规划模块再基于这个简化后的世界模型进行计算。这种层层抽象导致最终的控制指令可能并非全局最优。例如感知模块可能因为遮挡只给出了车辆的部分轮廓规划模块基于此做出的绕行决策可能过于保守而如果规划模块能直接接触到原始的、包含不确定性的传感器数据或许能做出更优的决策。正是这些痛点催生了行业对更简洁、更统一解决方案的渴望而大模型和端到端学习恰好提供了新的可能性。3. 核心驱动力大模型与端到端学习如何重塑问题定义新范式的核心思想可以概括为一句话让一个统一的模型直接从高维的传感器输入图像、激光雷达点云映射到低维的控制输出方向盘转角、油门刹车或者至少是规划轨迹。这听起来像是回归了深度学习最初“端到端”的梦想。但今天的端到端与十年前的简单尝试已不可同日而语其背后的核心驱动力来自两方面。3.1 大模型世界知识的“压缩”与推理能力的“涌现”以GPT、LLaMA为代表的大语言模型展示了在海量无标注文本数据上预训练出的“基础模型”Foundation Model所具备的惊人泛化能力和常识推理能力。这种范式被迅速借鉴到自动驾驶领域催生了“自动驾驶大模型”的概念。它的价值不在于替代传统的感知模型去画框而在于构建一个统一的世界模型。这个模型能够理解驾驶场景中物体之间复杂的物理关系和交互逻辑。例如它不仅能识别出“这是一个行人”还能推断“这个行人正在看手机可能不会注意到来车横穿马路的概率较高”。这种深层次的场景理解正是传统模块化架构中预测模块梦寐以求的能力。目前行业探索主要在两个方向视觉大模型作为“场景理解器”利用在互联网海量图像、视频上预训练的视觉大模型如DINOv2、InternVL提取比传统CNN特征更丰富、更具语义的视觉特征。这些特征包含了关于物体属性、场景布局、甚至部分物理规律的先验知识可以作为下游规划模块更优质的输入。多模态大模型作为“决策大脑”将视觉、语言导航指令、交通规则、向量地图等信息一起输入到一个类似GPT架构的多模态大模型中让其直接输出驾驶决策或轨迹。例如Wayve的GAIA-1、特斯拉的“端到端神经网络”都在向这个方向探索。这类模型的关键优势在于它通过注意力机制能够自主地关注当前最重要的信息比如突然窜出的电动车而不是远处静止的广告牌实现了“感知-决策”的软性融合。3.2 端到端学习用数据驱动代替规则驱动端到端学习并非新概念但直到最近它才真正具备了可行性。这得益于大规模高质量数据集如Waymo Open Dataset、nuScenes、Argoverse等提供了海量的传感器数据相机、激光雷达和对应的车辆轨迹真值。这使得用监督学习方式训练一个从传感器到轨迹/控制的模型成为可能。模型架构的革新Transformer架构凭借其强大的序列建模和全局关系建模能力成为端到端自动驾驶模型的骨架。它能够很好地处理多摄像头视频输入这种时空序列数据并捕捉远距离的依赖关系。仿真与数据合成技术在现实世界中收集所有长尾场景的数据是昂贵且危险的。因此利用高保真仿真如Carla、NVIDIA Drive Sim和神经渲染技术生成海量合成数据来补充和增强训练集成为端到端模型能否覆盖 corner case 的关键。端到端模型的魅力在于它用一个可微分的神经网络替代了多个独立模块让误差信号可以从最终的驾驶表现如轨迹误差、舒适度直接反向传播到最前端的特征提取层。这意味着模型可以为了最终的整体最优自动调整内部所有参数理论上能避免模块化架构中的次优解问题。4. 工程落地的现实挑战理想与骨感之间尽管新范式前景诱人但作为一名工程师我必须泼点冷水从论文到量产车从演示视频到真正安全可靠的系统中间隔着巨大的工程鸿沟。以下是我们目前面临的最尖锐的几个挑战4.1 可解释性与调试之困模块化架构虽然复杂但每个模块的输出都是人类可理解的感知框、预测轨迹、规划路径。当系统出错时我们可以像调试软件一样逐层检查中间结果。但一个庞大的端到端模型就像一个黑盒输入传感器数据输出控制信号。它为什么在这里刹车是因为看到了那个阴影还是因为学习到了某种我们未知的关联模式一旦发生事故原因调查将变得极其困难。这对于需要承担法律责任的量产自动驾驶系统来说是致命的弱点。目前的折中方案是设计“可解释的端到端”架构。例如让模型除了输出控制信号还同时输出一些中间表示如占据栅格Occupancy Grid、场景流Scene Flow或自车未来的运动意图。这些表示虽不是传统的“物体框”但也能为工程师提供一定的洞察窗口。另一种思路是使用“因果干预”等工具尝试理解模型内部的决策逻辑。4.2 安全性与“长尾”场景的确定性保障基于规则的系统其行为边界相对清晰虽然可能不智能。而数据驱动的端到端模型其行为完全由训练数据分布决定。它可能在99.99%的场景下表现得像老司机但在那0.01%的、训练数据中从未出现或极少出现的极端场景下它可能产生完全无法预测的、甚至危险的输出例如对着一个造型奇特的雕塑加速冲过去。如何保证绝对安全这催生了对大模型进行“对齐”和“价值观”塑造的需求。我们需要在训练中引入安全约束例如通过强化学习设置安全奖励/惩罚或者使用“宪法AI”的思想让模型遵循一组不可违背的基础安全规则如“永远不能碰撞”。同时建立高效的高风险场景挖掘与数据闭环变得比以往任何时候都重要。我们需要能自动从海量路测数据中识别出模型处理得“信心不足”或“行为怪异”的片段将其加入训练集持续迭代模型。4.3 算力需求与车端部署的博弈一个能处理多摄像头视频流、运行Transformer大模型的端到端系统对算力的需求是恐怖的。虽然芯片算力在持续增长如NVIDIA Thor、高通Ride Flex但车端的功耗、成本和散热有严苛限制。这就需要在模型性能与效率之间做极致权衡。常见的工程实践包括模型蒸馏与压缩在云端训练一个庞大的“教师模型”然后将其知识蒸馏到一个更小、更高效的“学生模型”中用于车端部署。异构计算与算子优化充分利用车端SoC的CPU、GPU、NPU等不同计算单元针对自动驾驶任务定制化设计神经网络算子榨干每一分硬件性能。渐进式部署并非一步到位替换整个栈。可以先从“感知-预测”端到端或者“预测-规划”端到端做起逐步扩大端到端的范围降低技术风险。4.4 仿真与真实世界的“鸿沟”依赖合成数据训练就必须面对仿真与真实世界之间的差异问题。即便渲染得再逼真仿真环境中的物理规律、材质反射、传感器噪声模型与真实世界仍有差距。模型可能在仿真中表现完美但到真车上就“水土不服”。这就需要引入域适应技术以及构建能高效将真实世界数据特征“注入”仿真的数据流水线不断缩小这道鸿沟。5. 当前的技术融合形态模块化与端到端的“混血儿”在完全纯粹的端到端系统成熟之前业界主流采用的是“混合架构”或“中间路线”。这并非妥协而是一种务实的工程智慧。具体形态多样但核心思想是在关键瓶颈处引入端到端学习同时保留部分模块的独立性和可解释性。5.1 以“占据网络”为代表的感知一体化这是目前最成功、落地最快的“准端到端”技术。传统的感知需要分别进行检测、分割、跟踪。而占据网络如特斯拉的Occupancy Networks 国内诸多公司的类似方案直接以端到端方式从多摄像头图像预测出车辆周围3D空间中每个体素voxel是否被占据以及其运动速度场景流。它的优势非常明显统一输出不再区分车辆、行人、锥桶凡是障碍物一律表示为“占据”完美解决了通用障碍物检测难题。保留几何细节能表达不规则形状的物体如绿化带、掉落的货物避免了传统检测框的信息损失。端到端优化网络直接为后续的规划任务输出最合适的形式3D占据栅格实现了从感知到规划表示层面的优化。虽然占据网络本身是一个端到端模型但它输出的“占据栅格”仍然是一个中间表示规划模块可以基于此进行传统的规则或优化计算。这是一种“软性”的端到端。5.2 规划端到端从感知特征到轨迹另一种流行思路是“规划端到端”。即感知模块可以是传统的也可以是占据网络输出丰富的特征图或BEV鸟瞰图特征然后一个规划网络直接将这些特征映射到一条或多条候选轨迹上。这个规划网络通常基于Transformer或Diffusion模型。这种方式的好处是规划器可以直接利用感知特征中的细节和不确定性信息做出更优的决策。同时由于感知模块可能还是独立的整个系统的可解释性和调试难度有所降低。许多公司发布的“端到端自动驾驶”演示实际上多属于此类。5.3 大模型作为“副驾”或“验证器”还有一种不那么激进但很实用的方式不将大模型直接用于实时控制回路而是让它扮演“智能副驾”或“事后验证器”的角色。场景理解与决策建议在复杂路口或突发状况时大模型可以快速分析全景为规控系统提供决策建议如“建议让行右侧来车”规控系统可以将其作为参考。开环测试与代码生成利用大模型的代码生成能力自动编写测试用例或者在仿真中生成复杂的、富有挑战性的交互场景用于验证现有系统的能力边界。数据标注与挖掘用大模型自动预标注数据或从海量路采数据中智能挖掘有价值的corner case片段极大提升数据闭环的效率。这条路线的优势是安全风险低能快速赋能现有系统是很多团队切入大模型应用的起点。6. 数据、评估与人才新时代的基础设施之战无论选择哪条技术路线新时代的竞争本质上是一场关于“数据、评估标准与人才”的基础设施之战。6.1 数据闭环从“收集”到“消化”的质变过去的数据闭环核心是收集数据、人工标注、训练模型。未来的数据闭环核心是“自动发现问题、自动生成场景、自动修复模型”。自动触发不再依赖安全员手动上报而是通过车端模型本身的“不确定性估计”、或与预期行为的偏差自动触发数据上传。自动标注利用大模型和自动标注工具对上传的困难片段进行高精度、多模态的标注。自动仿真重建将真实世界的关键场景自动重建到仿真环境中并可以进行泛化改变天气、车辆颜色、行为参数生成海量衍生场景。自动训练与评测在云端的仿真场景库中自动训练新模型并自动进行大规模回归测试评估模型在无数个corner case上的表现。谁能建立更高效、更智能的数据闭环谁就能更快地攻克长尾问题。6.2 评估体系的重构告别单一指标当系统变成端到端后传统的评估指标如感知mAP、规划误差变得不够用了。我们需要一套全新的评估体系去衡量整个系统的“驾驶智能”交互安全性在与其他交通参与者有交互的场景下如汇入、路口模型的行为是否安全、可预测舒适性与拟人化乘坐体验是否舒适驾驶风格是否接近熟练的人类司机让乘客感到自然场景通过率在包含大量长尾场景的测试集如nuScenes的“交互”场景子集上系统能成功通过多少因果鲁棒性对输入进行一些不影响驾驶决策的扰动如改变天空颜色模型的输出是否稳定而对关键信息进行微小改变如行人从静止变为抬手模型的输出是否会产生合理且显著的变化建立这样的评估基准需要大量的专家知识和真实的驾驶数据它本身就是一个高壁垒。6.3 人才结构的转变从“模块专家”到“全栈AI工程师”传统团队需要感知算法工程师、预测算法工程师、规划控制工程师。而在端到端范式下团队更需要的是大模型架构师精通Transformer、Diffusion等前沿架构懂得如何为自动驾驶任务设计定制化的模型。AI基础设施工程师擅长构建千卡乃至万卡集群的分布式训练框架精通大规模数据管理和高效的数据流水线。仿真与合成数据专家能够构建高保真、可扩展的仿真世界并利用生成式AI创造高质量的合成数据。机器学习系统工程师专注于模型的部署、压缩、车端推理优化以及云端训练和车端推理的协同。这对从业者提出了更高的要求也需要企业进行组织架构的调整。上半部分结语 自动驾驶的上半场是模块化架构将概念变为现实的十年。而下半场的序幕正由大模型和端到端学习拉开。这不是一场简单的技术替换而是一次从方法论到基础设施再到人才体系的全面革新。我们看到了令人兴奋的可能性更简洁的系统、更智能的行为、更快的迭代速度。但我们也必须清醒地认识到横亘在前的现实挑战黑盒的不可解释性、安全验证的极端复杂性、以及巨大的算力成本。目前没有一家公司拥有所有答案。大家在不同的路径上探索有的全力押注纯粹的视觉端到端有的在BEV占据网络上精耕细作有的则尝试用大模型重构决策逻辑。这场竞赛的胜负将不取决于谁的概念更炫酷而取决于谁能率先构建起高效、可靠的数据闭环谁能建立起逼近人类驾驶水平的评估体系以及谁能将强大的AI能力安全、可控地塞进成本受限的车规级硬件里。这既是技术的探险也是一场艰巨的工程长征。在下篇中我们将深入几个具体的开源项目、技术方案和实战代码看看这些理念是如何一步步落地的。
