【文献泛读】SplatFlow: Self-Supervised Dynamic Gaussian Splatting in Neural Motion FlowField for Aut

0.论文基本信息·论文标题SplatFlow基于神经运动流场的自监督动态3D高斯泼·文献类型Conference 会议论文研究性论文·阅读目的学习自动驾驶城市动态场景下4D‑3DGS实现方案理解神经运动流场NMFF无3D检测框标注的自监督动态高斯重建对标动态三维重建方向理解大尺度动态场景处理思路。1. 文献核心信息1.1 What—— 本文做了什么本文面向自动驾驶城市动态场景提出SplatFlow一套自监督动态 3D 高斯泼溅重建框架。核心模块NMFF 神经运动流场。利用 LiDAR 激光雷达相机多传感器输入不需要3D bounding box、物体跟踪标注依靠 NMFF完成静态背景、动态物体的解耦分离静态使用普通3D高斯表示动态物体使用4D时空高斯进一步通过从2D基础模型中光流蒸馏提取特征到4D时空表示提高动态对象的识别能力实现动态场景重建、新视角RGB图、深度图、光流渲染。在Waymo、KITTI数据集取得SOTA结果。SplatFlow 的流水线1.2 Why—— 研究动机1现有自动驾驶动态3DGS方案StreetGaussian、DrivingGaussian强依赖3D对象框、物体跟踪标注标注成本极高很难拓展到海量野外真实数据。2PVG周期振动高斯不需要3D框但只依靠渲染损失优化高斯时序属性没有利用LiDAR 点云本身运动线索高速运动物体场景效果差。3NeRF系动态重建方案训练、渲染速度慢效率低不适合城市大尺度场景。缺少一套不需要物体级标注、融合激光雷达、自监督的动态4D‑3DGS方案兼顾重建质量与渲染速度。1.3 How—— 它是怎么做的整体输入时间同步的多相机图像、LiDAR 点云已知外参、内参、车辆里程计。1.3.1 核心组件NMFF 神经运动流场NMFF 是一组MLP隐式函数用来将三维运动建模为连续的运动流场从而实现3D点和高斯分布的时间过渡。两大功能 ① 从LiDAR点云中区分静态点、动态点 ② 建立4D高斯在不同时间帧之间的时序对应关系。步骤 1预训练 NMFF基于 LiDAR 点云1输入预处理消除自车运动拿到时序同步的 LiDAR 点云、已知里程计、外参先把点云补偿自车自身位姿变化只保留场景物体的相对运动剔除车体移动带来的伪运动。2NMFF 网络结构MLP隐式流场输入3D 坐标和时间戳 t 输出该点在时间间隔内的三维运动偏移向量运动流本质是一个连续函数能查询任意空间位置、任意时刻点的运动趋势不是逐帧离散光流。3预训练阶段基于双向Chamfer 损失学习运动流取相邻时刻LiDAR点云对用NMFF预测t时刻点流向tΔt的3D偏移把t点云warp到tΔt双向Chamfer距离损失约束warp后的点云和目标帧点云对齐训练完成后NMFF可以输出每个3D点的运动幅度生成动态/静态掩码运动幅度大判为动态点幅度接近0判为静态点。4指导高斯初始化静态LiDAR点初始化静态 3D 高斯位置不随时间变化动态LiDAR点统一映射到参考基准时刻初始化4D 动态高斯位置 / 旋转随时间变化颜色、不透明度固定。在Waymo数据集的NMFF中可视化3D LiDAR点步骤 2结合4D‑3DGS联合优化NMFFNMFF 不再固定冻结和高斯参数一起优化静态背景固定 3D 高斯天空区域独立天空高斯动态物体4D 高斯位置、旋转随时间变化不透明度、颜色保持不变给定任意查询时刻 tq用 NMFF 预测基准时刻 4D 高斯到tq的运动偏移根据流场偏移变换 4D 高斯的位姿再送入 3DGS 光栅化渲染 RGB、深度图配合图像重建损失、LiDAR 深度损失、光流蒸馏损失一起更新 NMFF 权重与高斯参数。步骤 3光流蒸馏引入 2D 基础模型知识使用预训练光流模型SEA‑RAFT得到2D伪真值光流将 4D 高斯投影得到的渲染光流和伪光流对齐做蒸馏损失把 2D 光流知识提升到 4D 时空表示增强动态物体时序一致性。注推理阶段不需要光流模型蒸馏仅训练中使用。1.3.2 总损失函数多损失联合自监督训练图像重建损失渲染图像与观测图像之间的L1SSIM深度损失将稀疏 LiDAR 点投影到相机平面计算渲染深度与生成深度之反函数之间的 L1 损失光流蒸馏损失天空区域二分类损失用于天空细化任务的二元交叉熵损失来自SegFormer掩码仅在训练阶段需要而在推理阶段则无需使用正则项同时搭配 3DGS 原生自适应稠密化、剪枝策略。1.3.3 实验部分数据集Waymo Open、KITTI 自动驾驶数据集对比基线3DGS、PVG、StreetGaussian、SUDS、EmerNerF、MARS 等在 Waymo 、KITTI 数据集上对新型视图合成进行可视化对比。边界框标示出放大的动态区域。Waymo 上的动态物体分解对比评测指标PSNR、SSIM、LPIPS分为图像重建、新视角合成两大任务在 Waymo 、 KITTI 数据集上的性能对比消融实验验证 NMFF 预训练、NMFF 联合优化、光流蒸馏三个模块各自贡献实验结果SplatFlow 在两套数据集全部指标优于对比方法对高速运动车辆动态区域细节、清晰度提升明显减少重影伪影在训练数据量减少条件下依然保持不错性能。1.4 Conclusion1.4.1 结论SplatFlow 依靠 NMFF 神经运动流场实现无 3D 物体框标注的自监督动态 4D‑3DGS 重建分开 3D 静态高斯、4D 动态高斯。利用 LiDAR 预训练得到运动先验再联合图像做优化加上 2D 光流蒸馏大幅提升动态物体时序一致性抑制重影模糊。在 Waymo、KITTI 自动驾驶城市场景图像重建与新视角合成达到 SOTA高速运动物体表现优于 PVG 等同类方法。1.4.2 论文体现出的现存局限需要 LiDAR 激光雷达输入纯相机只有 RGB场景无法直接使用测试都是城市机动车动态目标没有测试人形、非刚体形变物体依赖传感器已经标定好内外参、车辆里程计没有处理位姿漂移没有讨论超大长时序城市场景存储爆炸问题。1.4.3 隐含未来方向去掉 LiDAR只依靠图像实现 NMFF 运动流估计拓展到非刚性物体、行人动态重建和 SLAM 结合在线估计相机位姿不再依赖给定外参做进一步轻量化提升推理速度。2. 读后 4 问2.1 这篇论文有什么局限性① 强依赖 LiDAR 雷达数据无法直接用于纯视觉场景 ② 实验场景都是城市刚性运动车辆缺少非刚性形变物体 ③ 实验条件传感器标定、车辆位姿已知不能处理位姿存在漂移的真实 SLAM 场景 ④ 属于离线重建方案不是增量式 SLAM输入是完整剪辑好的数据集片段。2.2 有什么值得我学习的地方①NMFF 神经运动流场思路用 MLP 隐式流场建模时序运动完成动静分离不需要检测框这是自监督动态高斯一条重要路线 ② 多传感器融合范式LiDAR 提供运动先验图像做外观优化2D 预训练模型做知识蒸馏 ③ 动态高斯范式静态 3D 高斯动态 4D 高斯分开表示减少不必要时序参数降低开销 ④ 可以和之前读的动态 3DGS 综述对应上本文属于四维时空高斯体这条大类2.3 有什么我没搞懂、需要追问的① NMFF 预训练是在 LiDAR 点云上LiDAR 噪声大的时候运动流预测会不会退化 ② 如果动态物体占比很高4D 高斯数量暴涨存储开销如何控制 ③ 该方法能不能改成增量流式版本适配 SLAM 逐帧输入 ④ 光流蒸馏模块当图像发生大运动模糊的时候伪真值光流出错会带来什么影响2.4 这篇论文跟我的研究有什么关系参考价值 1属于 4D‑3DGS四维时空高斯分支可以对应中文综述的分类体系 2自监督动静分离思路很有参考价值不需要物体检测框 3融合LiDAR 相机对经常搭载激光雷达场景有借鉴意义重点关注自监督动静解耦、多传感器融合这两个创新点。3. 个人小结SplatFlow 是 CVPR2025 自动驾驶动态 4D‑3DGS 工作属于时空四维高斯体路线。最大亮点不用 3D 物体跟踪标注依靠 LiDAR 预训练 NMFF 神经运动流场实现自监督的静态 / 动态场景解耦。整体流程LiDAR 预训练运动流场划分静态 / 动态点分别初始化 3D/4D 高斯图像端联合优化 4D 高斯 NMFF搭配 2D 光流蒸馏提升时序一致性。在 Waymo、KITTI 数据集上对比 PVG 等方法高速运动车辆重影、模糊明显减轻。局限依赖 LiDAR 与已知传感器位姿面向刚性车辆没有测试非刚性物体属于离线重建不是增量 SLAM。核心借鉴点多传感器LiDAR 相机的动静解耦自监督思想但本论文目标是城市车辆动态隧洞场景动态物体少更多挑战来自弱纹理、位姿漂移、传感器噪声无法直接照搬整套 NMFF。如果后续做隧洞多传感器动态重建可以参考 “运动流场做动静划分” 的思路。4.【预留追加区】

【文献泛读】SplatFlow: Self-Supervised Dynamic Gaussian Splatting in Neural Motion FlowField for Aut｜2025

相关推荐

高卫国版《数值线性代数》和Trefethen版《Numerical Linear Algebra》两本教材的详细对比

2026—10-27

OpenClaw 龙虾ai 实操手册，从零搭建电脑自动执行智能体

更多资讯

MongoDB .NET 驱动嵌套子文档写入丢失的排查

Lambda架构：大数据实时与批处理的平衡之道

ResNet改进方案在农作物病害识别中的应用与优化

ResNet改进在农作物病害识别中的实践与优化

BOP格式与PVN3D训练数据集构建全流程解析

SCons 4.4.0 中文指南：Python构建脚本从入门到避坑

今日更新

微信个人号API开发案例：图片/语音/视频消息怎么下载解析存到本地？

Python股票自动交易系统源码解析：从行情获取到风控的完整链路

视酷酷信IM源码部署指南：Java 17+MySQL 8.0.33实战配置

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？