[具身智能-611]：JPG / RAW / NV12 格式深度解析（适配 RDK X5 MIPI 相机场景）-北京尧图网络

表格格式类型压缩存储内容典型用途CPU 开销JPG封装图像有损压缩有损压缩RGB 压缩码流图片存储、网页推流、websocket解压开销中等RAW传感器原始裸数据无压缩Sensor 光电原始采样Bayer 拜耳相机底层调试、图像标定极高必须 ISP 做去马赛克NV12YUV 平面格式未压缩无压缩亮度 Y 交错 UVMIPI 相机输出、硬件编解码、BPU 推理输入极低嵌入式标准格式1. RAWBayer Raw传感器原始数据核心说明The data directly output by the MIPI camera sensor isnot an image, but merely the photoelectric signal collected by photosensitive diodes. Common formats:RGGB8/RGGB10(OV5647/IMX219/IMX335). Data arrangement example (RGGB):plaintextR G R G G B G B R G R G G B G B✅ 需要经过ISP 流水线才能生成可视图像去马赛克 (Demosaic) → 白平衡 → 降噪 → 伽马校正 → 输出 YUV (NV12)工程特点只能在最前端获取mipi_cam 底层 VIO 接收层一旦经过 ISP输出就不再是 RAW。文件后缀常见.raw/.bayer无法直接使用普通图片软件打开。适用场景镜头标定、调试 Sensor 寄存器、排查曝光 / 噪点问题。⚠️不能直接送入 FCOS/YOLO 神经网络网络只能接收 YUV/RGB。在地平线 Demo【2. 摄像头图像本地保存】中可以选择抓取RAW 帧用于底层调试。2. NV12YUV420 Semi-Planar重中之重内存布局关键分为两个平面连续存放Y 平面全部亮度信息分辨率 H × WUV 平面色度信息U、V 交错存储分辨率 H/2 × W/2plaintextYYYYYYYY YYYYYYYY UVUVUVUV UVUVUVUV采样比例 4:2:0色度分辨率宽高各减半。嵌入式核心优势RDK X5 标准MIPI相机 ISP 默认输出格式你的mipi_cam节点/image_combine_raw话题就是 NV12硬件编解码原生支持hobot_codec H264/H265 编码输入优先使用 NV12VPS、BPU 零拷贝友好地平线硬件单元全部原生支持 NV12避免转 RGB 带来内存拷贝相比 RGB24 节省50% 内存带宽。常见坑NV12没有文件头单纯二进制数据保存成文件后播放器无法直接打开必须附带分辨率。AI 推理注意网络输入要求 RGB 时需要在 ISP/VPS 或 CPU 完成 NV12→RGB 转换。3. JPGJPEG有损压缩图像核心说明基于 YUV420 进行离散余弦有损压缩带文件头、元信息通用图片格式。在项目里的链路位置NV12 图像 → hobot 硬件 JPEG 编码器 → JPG 码流对应你日志里的参数out_format: jpeg、jpg_quality:85、websocket 接收/image_combine_jpeg✅优点通用、体积小浏览器直接解码❌缺点有损压缩损失图像细节不建议送入 AI 目标检测网络多一层编码开销不适合作为算法输入仅用于预览、上传、存档。在整套视觉链路中的标准数据流推荐plaintextMIPI Sensor → RAW(Bayer) → ISP处理 → NV12主链路 ├─分支1NV12直接送入VPS缩放 → FCOS/YOLO推理最优无多余转换 ├─分支2NV12送入硬件JPEG编码器 → JPG → websocket网页预览 ├─分支3NV12送入H264编码器 → .h264视频录像 ├─分支4调试抓帧保存RAW底层调试 / 保存NV12算法调试选型决策速查表AI 算法推理输入→ 优先NV12禁止使用 JPG网页远程预览、截图存档→JPG调试 Sensor、标定镜头、排查底层图像问题→RAW本地硬件编码录像→ 使用原始 NV12 送入编码器补充实操RDK X5mipi_cam 输出话题/image_combine_raw NV12hobot_codecNV12 → JPG / H264如果你保存裸 NV12 文件播放命令示例必须指定分辨率bash运行ffplay -f rawvideo -pixel_format nv12 -video_size 1280x720 frame.nv12p运行ffplay -f rawvideo -pixel_format nv12 -video_size 1280x720 frame.nv12

[具身智能-611]：JPG / RAW / NV12 格式深度解析（适配 RDK X5 MIPI 相机场景）

相关推荐

Hugging Face：为什么说它是AI界的GitHub，却比GitHub走得更远？

现在做AI的产品经理，到底有多难

未来三年，是转型AI产品经理的最佳机会

更多资讯

AI时代教育系统的困境与转型路径

VC++ MFC双人围棋程序：19×19棋盘实现与绘图交互详解

系统拓展CSS核心能力：从选择器、布局到动效与工程化实战

人脸设备如何深度嵌入业务流程？从识别终端到边缘智能节点

二叉树重建算法：前序+中序与后序+中序实现详解

【郑州工程技术学院主办 | 河南郑州召开 | SPIE出版】第三届模式识别与图像分析国际学术会议（PRIA 2026）

今日更新

基于高阶循环谱的MPSK载波频率估计与MATLAB实现

MiniPdf方：.NET开源Office转PDF的高效解决方案

Solon AI v3.10：Java全栈智能体开发框架解析

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？