任意组合深度图、相机位姿与内参：map-anything-apache-fp16 进阶输入配置详解-北京尧图网络

【免费下载链接】map-anything-apache-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16点击查看免费下载map-anything-apache-fp16 是 MapAnythingMeta 与 CMU 的度量级前馈式 3D 重建模型的 float16 MLX 移植版专为 Apple Silicon 优化。它最灵活的地方在于每一张输入图像都可以自由搭配相机内参、深度图与相机位姿中的任意组合——只给照片、部分标定还是全部提供模型一次前向推理就能输出度量点云、深度图、相机位姿、内参、置信度与有效像素掩码让你用已有的 SfM / 深度估计 / 标定结果大幅增强 3D 重建质量。这个模型能做什么项目说明输入1 张或多张图片加任意可选的内参、深度图、相机位姿每个视图可独立组合输出每张视图的度量点图、深度、光线方向、相机位姿、内参、置信度、有效掩码体积权重仅约 2.65 GB是 float32 原版的一半见 model.safetensors许可Apache License 2.0LICENSE运行环境本仓库只含权重与元数据推理代码在mlx-vlm中需包含mapanything模型、0.7.4 之后新增的版本三种可选输入逐项详解1️⃣ 相机内参intrinsics一个 3×3 的标定矩阵K。如果你手头有现成的标定结果OpenCV 标定、相机厂商参数等直接传入即可模型会利用它约束光线方向而不是靠网络猜测。2️⃣ 深度图depth_z逐像素的度量深度图与输入图像分辨率一致。来源可以是单目深度估计模型、LiDAR 或深度相机。给模型一个粗略答案它能在此基础上精修显著提升遮挡与弱纹理区域的深度质量。3️⃣ 相机位姿camera_poses位姿用四元数平移向量表示即(quats_xyzw, trans)元组旋转 4 维、平移 3 维对应 config.json 中cam_rot_quats_encoder的in_chans: 4与cam_trans_encoder的in_chans: 3。关键参数is_metric_scale如果你的位姿来自 COLMAP 等 SfM 流程只能确定到比例尺、没有真实米制单位传入时加上is_metric_scale: False模型会通过内置的scale_encoder自动恢复度量尺度。深度输入则是 1 通道的稠密编码器depth_encoderpatch_size: 14与上述编码器一起构成模型的几何输入通道。任意组合每个视图自由搭配这正是 map-anything-apache-fp16 的精髓——不同视图之间互不干扰同一视图内三种输入也可任意取子集。下面 3 个视图分别演示了全量提供、仅内参、仅位姿非度量尺度三种典型搭配views processor.preprocess([ {img: image0, intrinsics: K0, depth_z: depth0, camera_poses: pose0}, {img: image1, intrinsics: K1}, {img: image2, camera_poses: (quats_xyzw, trans), is_metric_scale: False}, ]) predictions model.infer(views)典型使用场景对照组合方式适用场景仅img纯照片重建完全无标定信息imgintrinsics有相机参数但无位姿的固定场景imgcamera_posesCOLMAP/SfM 结果增强注意is_metric_scaleimgdepth_z 全量深度相机 / 激光雷达采集的高精度场景预测输出字段说明调用model.infer(views)后每个视图返回一个字典惰性求值用mx.eval触发计算字段形状含义pts3d(1, H, W, 3)度量世界坐标点以第一张视图的相机坐标系为基准depth_z(1, H, W, 1)度量深度camera_poses(1, 4, 4)OpenCV 约定的 cam2world 位姿intrinsics(1, 3, 3)预测内参conf(1, H, W)逐像素置信度mask(1, H, W, 1)有效像素无歧义掩码⚡ 命令行一键推理不想写代码时可直接用命令行所有输出会写入predictions.npz并额外导出一份彩色点云points.plyMLX_ENABLE_TF320 python -m mlx_vlm.models.mapanything.generate \ --model mlx-community/map-anything-apache-fp16 --images path/to/images --output out️ 进阶小贴士记得设置MLX_ENABLE_TF320在 M5 及更新 GPU 上MLX 默认以 TF32 精度执行 float32 矩阵乘会让 float32 的预测头成为最大误差来源。在首次矩阵乘之前设置该变量可避免问题只多花几毫秒。分辨率预处理模型采用固定映射到 518 的分辨率集preprocessor_config.json 中resize_mode: fixed_mapping、resolution_set: 518输入图会被自动规整。精度实测在 518×294 的 4 帧室外视频上与 float32 PyTorch 参考实现相比深度尺度归一化后中位相对误差约 6.0e-4度量尺度误差在 1.1e-4 以内与参考实现在 MPS 上的混合精度表现持平。速度参考Apple M5 Max518×294 视图MLX 本模型 vs PyTorch MPS 混合精度视图数1481632MLX 本模型0.06 s0.23 s0.48 s1.10 s2.89 sPyTorch MPS0.13 s0.47 s1.73 s5.27 s11.3 s 仓库文件资料速查文件作用README.md完整用法、精度与速度实测数据config.json模型结构配置含几何输入编码器定义geometric_input_configpreprocessor_config.json图像预处理配置固定映射到 518 分辨率model.safetensorsfloat16 权重约 2.65 GB1.13B float16 95M float32 参数LICENSEApache License 2.0 许可✅ 一句话总结把你能拿到的内参、深度图、相机位姿有多少给多少map-anything-apache-fp16 就能在 Apple Silicon 上以毫秒级推理给你一套度量级的 3D 重建结果。赞分享【免费下载链接】map-anything-apache-fp16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/map-anything-apache-fp16点击查看免费下载相关推荐内参、深度、位姿想加就加map-anything-fp16任意输入组合指南解锁最强重建精度内参、深度、位姿想加就加map anything fp16任意输入组合指南解锁最强重建精度 map anything fp16 是运行在 Apple Silpts3d、深度、置信度怎么用map-anything-fp16的6大预测输出一篇讲透pts3d、深度、置信度怎么用map anything fp16的6大预测输出一篇讲透 map anything fp16 是 Meta MapAnythinDepth Anything 3重磅模型DA3-LARGE-1.10.35B参数如何同时搞定多视角深度估计与相机位姿Depth Anything 3重磅模型DA3 LARGE 1.10.35B参数如何同时搞定多视角深度估计与相机位姿 DA3 LARGE 1.1 是 Dep上一篇vmPing 多主机ping监控指南下一篇DDrawCompat 使用指南1 个 DLL 修复 DirectX 1-7 老游戏的兼容性问题创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

任意组合深度图、相机位姿与内参：map-anything-apache-fp16 进阶输入配置详解

相关推荐

social-content - SKILL

交通规划四种增长系数法：OD矩阵迭代与Python实现

量化策略回测源码解析：用Python+pandas打造可复现的交易流水线

更多资讯

STM32F103R8T6 FreeRTOS移植实战：从裸机到多任务避坑指南

CBT-1060硬件调试基线：嵌入式启动失败的闭环定位体系

STM32F103+W5500硬件协议栈实现TCP通信例程详解

OpenClaw实战：给AI装上执行的手，从聊天机器人到AI打工人

明华澳汉读卡器驱动安装与串口调试避坑指南

从零搭建代码评审工具链：open-code-review 实践与踩坑

今日更新

悟空开源无代码平台实战：从实体建模到应用设计避坑指南

基于.NET9的多租户权限系统：数据权限与动态API落地实践

场地预约小程序毕设实战：SSM+微信小程序+MySQL数据库设计到避坑

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？