【文献泛读】Advances in Feed-Forward 3D Reconstructionand View Synthesis: A Survey

0.论文基本信息·论文链接https://arxiv.org/abs/2507.14501·文献类型综述 Survey·阅读目的希望通过该文献快速了解机器人、具身智能感知大背景下的三维重建方向。1.文献核心信息 What‑Why‑How‑Conclusion1.1 What本文做了什么本综述系统性地探讨了用于 3D 重建与视图合成的前馈式技术并根据底层表示架构如点云、3D Gaussian Splatting (3DGS)、神经辐射场 (NeRF) 等进行了分类学梳理。传统方法为逐场景迭代优化前馈方法依靠神经网络单次前向推理直接输出 3D 结果不需要每个场景单独优化。文章按照底层场景表示把现有方法分成 5 大类梳理各类代表工作、时间发展线整理下游任务、应用场景汇总数据集、评测指标最后总结开放研究挑战与未来方向。1.2 Why研究动机 / Gap传统 3D 重建SfM、原始 3DGS、原始 NeRF需要逐场景优化速度慢、依赖稠密多视图输入很难落地实时真实场景。前馈深度学习方法可以从大规模数据中学习先验推理速度快、泛化能力更强适合机器人、AR/VR、数字孪生等实时业务但缺少一篇完整综述做系统性梳理本文填补该综述缺口。1.3 How分类框架综述梳理的技术路线文章以底层 3D 场景表示作为核心分类标准分为 5 大分支①基于 NeRF神经网络直接从稀疏输入视角中学习推断 NeRF 表征从而无需针对特定场景进行优化1D 隐式编码为 NeRF 预测编码一个全局一维潜码其中该潜码可在场景中的所有三维点间共享。、2D 图像特征利用图像编码器提取源视图的图像特征并通过射线投影获取任意三维点的特征而无需依赖三维中间特征。、3D 体积特征(构建3D代价体积存储了输入图像中多个图像上像素/特征的匹配代价通常沿深度值分布。这些代价体积用于生成一个神经场景编码体积该体积存储了每个体素的特征既包含局部几何信息也包含外观信息。对于任意3D点其特征可通过从编码体积中进行三线性插值得到随后由 MLP 解码以预测相应的密度与颜色。)、3D平面特征代表PixelNeRF、MVSNeRF、LRM 系列。前向传播 NeRF 的代表性框架包括基于以下方法的框架(a) 一维特征(b) 二维特征以及 (c) 与 (d) 三维特征。②Pointmap 点图DUSt3R 开创学习了一个基于变换器的编码器-解码器直接从图像对输出两个与像素对齐的点图无需已知相机位姿从而实现密集无约束立体三维重建衍生 Fast3R设计了一个全局融合变换器以同时处理多视图输入、CUT3R 提出了一种连续更新变换器该模型既能利用新信息更新状态又能从状态中检索已存储的信息。、VGGT提出了一种基于前馈变换器的大型架构可直接预测所有关键3D属性——包括相机内参与外参、点图、深度图及3D点轨迹——而无需后处理从而实现了最先进的3D点与相机位姿重建效果。等。前馈点图重建框架。该框架还支持在相同框架下实现更广泛的任务例如相机估计、深度估计及点跟踪。③3DGS3D 高斯溅射前馈方法分为 Gaussian Map2D 映射预测高斯-对三维高斯分布进行的二维表示其中每个二维位置点均对应一个三维高斯分布。、Gaussian Volume3D 体素高斯-使用高斯体素网格表示三维空间其中每个体素包含多个高斯原语。代表Splatter Image、MVSplat、LaRa。具有不同 3D 高斯表征输出的代表性框架包括高斯图如 Image Splatter 与 pointmap以及高斯体如 Triplane 与 3D Volume。④其他显式 / 隐式表示Mesh 网格、Occupancy 占据场、SDF 符号距离函数。⑤3D‑Free 无显式 3D 表示无需三维表征/不构建显式 3D直接回归 / 生成新视图分为回归型将渲染过程建模为一个回归问题通过学习一个渲染函数通常为基于变换器的网络直接从稀疏视图输入中直接预测新视角下的像素颜色从而消除如图所示的三维表示中固有的归纳偏置。、基于回归的无三维模型的典型框架示意图。扩散生成型利用生成模型基于已学习的数据分布合成逼真的新视图从而即使仅凭单张输入图像也能实现视图外推。图像Zero‑1‑to‑3利用为文本到图像生成预训练的潜在扩散模型 [ RBL ∗ 22]用相对相机位姿替代文本嵌入作为条件从而实现新型视角合成、MVDream 提出了一种多视角扩散模型同时利用 2D 和 3D 数据结合了 2D 扩散模型的泛化能力与 3D 渲染的一致性。、视频ViewCrafter 将点云渲染为图像作为视频扩散模型的条件从而实现一致且精确的新视角合成。等。生成式无3D模型的代表性框架。1.4 下游任务与应用相机位姿估计无需显式多阶段 SfM 处理流程的情况下高效恢复相机参数。、无位姿重建从未标注的图像或视频中重建三维场景成为可能而无需对每个场景进行优化。、动态 4D 重建单目深度估计利用时序注意力、生成先验预测时序一致的深度视频能在相机空间生成 3D 点。基于点图的动态场景重建多视角3D重建模型中训练一个动态3D模型。基于3DGS的动态场景重建。利用视频预训练模型进行点图预测将三维场景建模为几何视频。采用扩散模型来学习多视角RGB图像与几何帧的联合分布。几何视频由标准RGB通道及附加的几何通道组成后者编码结构信息如深度、XYZ坐标、彩色点渲染或点-深度-射线图的组合。、图像匹配、3D 感知图像生成、相机可控视频生成、SLAM、机器人操纵、数字人、3D 理解分割等。1.5 评测部分常用数据集中的详细场景类型及标注类型。各任务常用评估指标。对于新视角合成任务的评估 PSNR峰值信噪比、 SSIM结构相似性指数以及 LPIPS学习到的感知图像块相似性是分别从不同角度评估图像质量的常用指标对于相机位姿估计RTA相对平移精度、 RRA相对旋转精度和AUC曲线下面积被广泛采用点云 Accuracy/Completeness/Chamfer 距离深度估计 Abs‑Rel 等。2.Conclusion2.1 结论前馈范式极大改变 3D 重建实现快速、可泛化的 3D 感知大量 Transformer 大模型VGGT、π³ 等效果已经 SOTA但是距离传统 MVS 几何精度还有差距。2.2 作者提出四大开放挑战1数据集模态多样性有限很多数据集只有 RGB缺少深度、LiDAR、语义动态多模态标注数据稀缺。 2重建精度不足前馈模型几何精度仍不及传统 MVS。 3自由视点渲染外推能力差远离输入相机视角容易出现伪影、模糊。 4长上下文输入开销巨大处理大量图片显存爆炸流式方法又会遗忘旧信息。2.3 同时讨论社会影响数字孪生、文物保护等正向价值隐私泄露、伪造证据等滥用风险还有大模型训练推理的算力能耗问题。3.读后 4 问3.1 局限性① 文献量巨大每个方向只能做高度概括很多方法只给核心思路不展开细节实现 ② 动态 4D 部分、机器人应用属于介绍性质没有非常深入拆解 ③ 是 arXiv 预印本综述部分最新 2025工作刚收录缺少后续领域验证 ④ 没有给出复现、工程落地的实操指南偏向理论梳理。3.2 可借鉴点① 以后读该领域论文可以用这套五分法分类框架体系快速归类 ② 附带时间线图可以快速追踪每个分支的演进脉络 ③ 整理了完整数据集以及指标表格做实验的时候可以直接拿来选数据集、选评价指标 ④ 开放挑战部分非常适合用来开题、找 idea直接给出 4 大研究缺口 ⑤ 参考文献集合了大量 2021‑2025 顶会关键工作可以用来批量下载必读论文。3.3 存疑点① Pointmap 类方法 (DUSt3R/VGGT) 和 3DGS 前馈如何更好结合优缺点权衡 ② 长序列输入“大全局 Transformer” vs “流式 memory 机制” 两条路线如何取舍 ③ 前馈模型如何在不牺牲推理速度前提下进一步追赶 MVS 的几何精度 ④ 3D‑Free 扩散生成和显式 3D 表示各自适合什么任务场景3.4 和我的研究的关联用来搭建领域全局知识地图快速搞懂前馈 3D 各个分支开放挑战部分可以启发课题选题数据集、指标表可以直接服务后续实验设计参考文献列表可以筛选高价值原始论文进行精读。4.个人小结这是一篇入门前馈 3D 重建非常好的综述。最大价值是统一的分类框架、时间线、开放问题汇总。不需要逐字通读适合泛读抓框架遇到自己感兴趣的分支再跳转到对应章节精读。重点关注Pointmap、前馈 3DGS、长序列重建、动态 4D 这几个热门方向。后续可以从参考文献挑 DUSt3R、VGGT、MVSplat 等代表性原始论文继续读。

【文献泛读】Advances in Feed-Forward 3D Reconstructionand View Synthesis: A Survey｜CGF 2025

相关推荐

操作系统之保护模式基础

聚簇索引、非聚簇索引与回表

gdb与cgdb

更多资讯

PyTorch分布式训练核心：DDP原理、启动与排障实战

Gemini 4 Argon 实战：Android 开发者如何用长上下文与多模态升级开发全流程

window系统如何安装python

Stable Diffusion WebUI本地部署与AI绘图实战指南

Solr集群数据迁移至Elasticsearch：全量、增量与双写策略实战

数据湖治理中心：构建可发现、可理解、可信赖的数据资产闭环

今日更新

防关联浏览器哪个好？三款产品实测差异解析

2026钢铁行业AI转型系统选型对比：多基地排产、大宗原燃料采购与质量追溯，六家厂商能力差异在哪里

影刀RPA深度实战：大模型Fine-tuning定制RPA专用Prompt与指令生成

本周精选

交通拥堵预测毕设：基于Python+LSTM的车辆流量预测系统全流程解析

MATLAB/Simulink搭建10机39节点电力系统暂态稳定仿真实战

无人机航拍三维重建全流程：从SfM到网格生成的避坑指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？