1. 项目概述DMM/TILER——嵌入式多媒体系统的内存加速引擎在嵌入式多媒体处理领域尤其是视频编解码、图形渲染和图像处理我们常常面临一个核心矛盾处理器和专用加速器如视频编解码器、GPU的计算能力越来越强但内存带宽和访问延迟却成了性能提升的瓶颈。传统的线性内存访问模式在处理二维图像数据时效率低下频繁的跨行访问会导致大量的内存页缺失Page Miss和行缓冲Row Buffer冲突严重拖慢系统。这就好比一个高效的工厂生产线却因为原材料仓库布局混乱导致机械臂需要来回跑很远的距离取料大部分时间都浪费在了路上。为了解决这个问题硬件辅助的内存管理技术应运而生。今天要深入探讨的就是德州仪器TI在其OMAP、DaVinci等系列高性能应用处理器中集成的动态内存管理器Dynamic Memory Manager, DMM及其核心子模块TILERTiling and Isometric Lightweight Engine for Rotation。这并非一个运行在操作系统层面的软件内存分配器而是一个位于系统互联总线如L3 Interconnect和SDRAM控制器之间的硬件模块。它的核心使命是站在所有内存访问发起者Initiators——如Cortex-A8 CPU、DSP、视频加速器HDVICP、显示子系统HD_VPSS以及各种DMA引擎——与物理内存之间充当一个智能的“交通调度员”和“数据格式转换器”。DMM/TILER技术的核心价值在于它通过硬件机制透明地为上层软件提供了对二维数据的高效访问支持。它主要解决了三大痛点一是通过内存交织Interleaving和优先级调度最大化SDRAM控制器的吞吐量二是通过“分块Tiling”技术将二维图像数据在物理内存中以一种更符合访问局部性的方式重新组织大幅减少访问冲突三是通过一个轻量级的物理地址转换器PAT实现类似MMU的页级地址重映射从而在零拷贝Zero-Copy的前提下管理内存碎片和实现多个物理缓冲区的快速切换这对于多路视频流、多图层叠加显示等场景至关重要。简单来说如果你在开发涉及高清视频处理、图形UI或计算机视觉的嵌入式产品理解并善用DMM/TILER往往是从“功能实现”到“性能优化”的关键一步。它能让你在不增加内存时钟频率和位宽的情况下显著提升系统的整体数据处理能力。接下来我将结合手册中的技术细节和实际工程经验为你层层拆解DMM/TILER的工作原理、配置方法和避坑指南。2. 核心架构与模块功能深度解析要驾驭DMM/TILER首先必须理解它的整体架构和各个子模块的分工。如图6-2所示DMM是一个包含多个功能单元的复合模块我们可以将其类比为一个高度专业化的物流中心。2.1 DMM的宏观定位与数据流DMM位于系统所有主设备Master和两个外部内存接口EMIF之间。所有对SDRAM的访问请求都必须经过DMM的处理。它的输入是来自各个主设备的“虚拟”或“线性”访问请求输出则是经过优化、重新排序并可能改变了地址格式的、面向SDRAM控制器的“物理”访问请求。这种居中调度的位置赋予了它全局优化内存访问的能力。数据在DMM内部的流动大致遵循以下路径请求入口访问请求通过两个主要入口进入DMM一个是专为Cortex-A8设计的ELLAExtra Low Latency Access低延迟端口用于处理普通的1D线性访问另一个是两个TILER端口专门处理需要分块转换的2D访问或已分块数据的访问。内部路由与调度**LISALocal Interconnect and Synchronisation Agent**模块是内部的交通枢纽。它根据配置的内存区域映射Section Map决定将请求路由到哪个SDRAM控制器EMIF0或EMIF1并处理可能的交织访问。地址转换与数据重组对于TILER端口的请求TILER模块负责进行2D到1D的地址转换即分块处理和可选的旋转/镜像变换。随后**PATPhysical Address Translator**模块可能会介入进行页级的地址重映射以解决内存碎片或实现缓冲区别名。请求发出与数据缓冲**ROBINRe-Ordering Buffer and Initiator Node**模块负责最终向SDRAM控制器发起请求。它内部包含重排序缓冲区用于处理因分块、地址转换或SDRAM页切换导致的读写数据顺序重组确保返回给主设备的数据顺序符合预期。优先级附加**PEGPriority Extension Generator**模块会为每个发出的请求附加一个优先级标签0-70最高。这个优先级并非用于DMM内部仲裁而是传递给后端的SDRAM控制器供其进行请求调度决策。2.2 关键子模块职责详解2.2.1 ELLACPU的专属快速通道ELLA的设计理念非常明确为Cortex-A8 CPU的普通内存访问提供最低的固定延迟。它做了极致的简化仅支持1D突发访问不处理任何2D或分块数据功能单一逻辑简单延迟自然低。绕过TILER和PATCPU的线性访问直接映射到物理内存不经过复杂的格式转换和地址重映射流程。核心任务将可能跨越DMM原子单元边界的大请求在内部拆分成多个符合SDRAM页大小的小请求以提升SDRAM访问效率。注意这里有一个非常重要的实践细节。根据手册Cortex-A8只有在访问系统地址空间0x8000_0000至0xFFFF_FFFF即Linux内核通常映射的物理内存区域时请求才会走ELLA端口。如果CPU去访问TILER管理的分块数据区域0x6000_0000 – 0x7FFF_FFFF即使访问的是线性视图请求也会被路由到TILER端口从而无法享受ELLA的低延迟优势。在优化CPU访问分块缓冲区的代码时需要意识到这一点带来的延迟差异。2.2.2 TILER二维数据访问的效率核心TILER是DMM的灵魂它的工作是将对二维图像数据的“不友好”的线性访问转换成对SDRAM“友好”的访问模式。什么是分块Tiling想象一张1920x1080的图片在内存中按行连续存放行优先。当视频编解码器处理一个16x16的宏块时它需要访问16行中每行的16个像素。在行优先存储下这16个像素在物理地址上相距很远至少相隔1920个像素的距离导致每次访问都可能触发SDRAM的行激活Active命令延迟极高。分块技术将图像分成许多小方块例如128x128像素的Tile在物理内存中一个Tile内的数据是连续存放的。这样访问一个宏块时所需的数据有很大概率集中在少数几个物理连续的Tile内大大提高了空间局部性减少了SDRAM的行切换开销。TILER的三大功能地址转换将上层发起者看到的“虚拟2D地址”由X坐标、Y坐标、位深等构成转换为内部的“分块物理地址”。这个地址标识了数据在128MB的“分块容器”中的具体位置。零开销几何变换支持0°、90°、180°、270°旋转以及水平/垂直镜像。这个变换是在地址转换阶段通过重新计算坐标完成的不涉及实际数据的搬移因此是“零开销”。这对于摄像头采集可能需要镜像、显示器输出可能需要旋转场景极其有用。请求拆分将大的2D访问请求例如读取一整行在Tile边界处拆分成多个对SDRAM的小请求便于调度和管理。2.2.3 PAT与LUT内存碎片管理的利器PAT是DMM中另一个极具巧思的模块。它的作用类似于一个轻量级、专用于分块数据的MMU。问题在复杂的多媒体应用中我们需要频繁分配和释放各种尺寸的图像缓冲区。长时间运行后物理内存中会产生碎片。虽然操作系统如Linux的虚拟内存管理可以解决碎片问题但其代价是昂贵的页表查询和可能的TLB刷新。对于实时性要求高的视频处理流水线这个开销不可接受。PAT的解决方案PAT维护一个独立的查找表LUT。这个LUT有256行 x 128列共32768个条目每个条目对应分块容器中的一个4KB“页”。每个LUT条目存储一个19位的物理页帧号。工作流程当TILER转换出一个在分块容器内的“中间物理地址”后PAT会截取这个地址中代表“页”的部分高15位将其作为索引去查询LUT。LUT返回一个19位的物理页帧号PAT用这个帧号替换掉原地址中的页号部分生成最终的32位系统物理地址。这样上层软件看到的连续的分块虚拟地址空间在底层可以被映射到物理内存中任何离散的4KB页面完美解决了碎片问题。两种模式直接映射DirectLUT被绕过分块容器的128MB空间被线性映射到一段128MB对齐的物理内存。配置简单用于调试或不关心碎片的基础场景。间接映射Indirect启用LUT查询实现灵活的页级重映射。这是生产环境中管理多个视频帧缓冲区的推荐模式。2.2.4 LISA内存区域映射与交织控制器LISA模块负责配置系统的内存地图并决定如何将系统地址空间的访问分布到两个或一个SDRAM控制器上。区域Section你可以将整个系统地址空间如从0x8000_0000开始划分成最多4个区域。每个区域可以独立配置起始系统地址、大小16MB的2的幂次方、目标物理地址、以及映射到哪个EMIFEMIF0, EMIF1, 或两者交织。内存交织Interleaving这是提升内存带宽的关键技术。当将一个区域配置为在两个EMIF上交织时连续的128字节、256字节或512字节的数据块会交替存储在两个内存控制器背后的DDR颗粒上。这样当处理器顺序访问内存时两个DDR通道可以并行工作理论上带宽翻倍。手册中图6-7和6-8清晰地展示了不同交织粒度下系统地址到两个EMIF地址的映射关系。优先级LISA在仲裁请求时会优先处理来自ELLA端口即CPU的请求以确保CPU的响应延迟。2.2.5 ROBIN数据重排序的缓冲区ROBIN模块是DMM与SDRAM控制器之间的接口。它的主要职责是处理因分块、地址转换和SDRAM访问特性导致的数据顺序问题。场景假设一个视频加速器请求读取一个2D块经过TILER和PAT转换后可能会生成多个分散的SDRAM读请求。这些请求的完成顺序可能与其发起顺序不同因为SDRAM控制器会根据页命中情况优化调度。ROBIN的缓冲区会暂存返回的数据并按照原始请求的顺序重新组装然后返回给TILER和上层发起者。写数据缓冲对于写请求ROBIN也会缓冲数据确保在地址转换和调度过程中数据不会丢失。3. 核心机制地址转换全流程拆解理解地址转换的全过程是掌握DMM/TILER配置和调试的基础。我们以一个最常见的场景为例视频加速器HDVICP以16bpp每像素16位格式读取一个已启用PAT间接映射且旋转了90度的分块缓冲区。3.1 转换步骤详解整个过程如图6-11所示我们分步拆解步骤1虚拟地址输入视频加速器发起一个2D读取请求。它使用的地址是TILER虚拟地址空间中的一个例如在视图1中对应90度旋转。这个地址是一个32位的系统地址。步骤2TILER阶段——2D虚拟地址到中间物理地址TILER模块接收到这个地址和相关的2D参数如图像宽度、高度、位深。它首先判断这个地址属于哪个“容器”8位、16位、32位或页模式。对于16bpp数据它使用16位模式容器的解码规则。地址解码根据手册6.2.1.4.7节对16位模式虚拟地址进行位域拆分Bit 0: 恒为016位对齐。Bits [1:6]: 6位表示在页内水平行中的偏移Sub-Tile内的X像素坐标。Bits [7:14]: 8位这有两个作用。在虚拟层面它选择分块容器中的水平页X坐标在物理层面它将成为查询PAT LUT时的X索引X-coordinate。Bits [15:19]: 5位表示在页内的行偏移Sub-Tile内的Y坐标。Bits [20:26]: 7位同样双重作用。虚拟层面选择垂直页Y坐标物理层面成为PAT LUT的Y索引Y-coordinate。Bits [27:31]: 固定为二进制01101标识这是16位模式容器地址范围0x6800_0000 – 0x6FFF_FFFF。坐标变换由于请求是90度旋转TILER会根据DMM_TILER_OR寄存器配置的变换矩阵对计算出的(X, Y)坐标进行交换和可能的取反镜像。例如无旋转的(X, Y)在90度旋转后变为(Y, -X)。生成中间物理地址经过变换后的坐标结合位深信息被转换成一个27位的“中间物理地址”。这个地址的格式不再是(X, Y)而是被重新组织为[PAGE字段 (15位) | TILE字段 (2位) | SUBTILE字段 (6位) | PIXEL字段 (4位)]。这个27位地址指向的是128MB分块容器内的一个具体位置。此时地址的最高位Bit 31是未定义的或者说是容器内的局部地址。步骤3PAT阶段——页级重映射接下来这个27位的中间地址进入PAT模块。LUT查询PAT提取出中间地址中的PAGE字段高15位。这15位实际上对应了分块容器中一个4KB页的索引。PAT将这个索引作为坐标高8位为X索引低7位为Y索引这里需要仔细核对根据图6-3和文本27位地址中的PAGE字段是15位而LUT是256x12832768条目需要19位索引。实际上在间接映射模式下TILER输出的27位地址中的PAGE字段15位并不是直接作为LUT索引。LUT的索引X, Y是由原始虚拟地址的特定位域Bits[7:14]和Bits[20:26]在经过TILER方向变换后得到的。PAT使用这个(X, Y)索引去查询LUT表。获取物理页帧号LUT在(X, Y)位置存储了一个19位的值这是一个物理内存中4KB页的帧号。地址合成PAT用这19位的物理页帧号替换掉27位中间地址中原本表示“容器内页号”的部分即高15位。同时PAT会附加一个基地址位Base Bit通常是1表示映射到高2GB的SDRAM地址空间。最终生成一个完整的32位系统物理地址。低12位页内偏移在整个过程中保持不变。步骤4LISA阶段——区域映射与交织PAT输出的32位物理地址被送到LISA模块。LISA根据预先编程的DMM_LISA_MAP寄存器判断这个物理地址落在哪个预定义的“区域Section”内。路由决策如果该区域配置为“非交织”且映射到EMIF0则请求被直接发往EMIF0的ROBIN。如果配置为“128字节交织”LISA会根据地址的低位第7位决定当前128字节块应该由EMIF0还是EMIF1服务。优先级附加PEG模块根据发起该请求的主设备IDConnID从优先级表中查出一个3位的优先级值附加到请求上一同发送给ROBIN。步骤5ROBIN与SDRAM访问ROBIN模块接收到带优先级的请和最终的物理地址将其转发给对应的SDRAM控制器。SDRAM控制器根据优先级和自身状态调度该请求。读取的数据返回后ROBIN可能需要进行反方向的数据重排序以匹配原始2D请求的数据格式然后通过TILER返回给视频加速器。3.2 配置实例设置一个旋转90度的视频输出缓冲区假设我们需要为显示控制器HD_VPSS设置一个1080p1920x1080的RGB56516bpp输出缓冲区并要求图像顺时针旋转90度显示。计算缓冲区大小1920 * 1080 * 2 bytes ≈ 4 MB。我们需要在物理DDR中分配一块4MB连续或通过PAT映射为连续的内存。配置PAT LUT间接映射图像需要128个4KB页4MB / 4KB 1024页。在分块容器中一个16bpp的128MB容器由256x128个页组成。我们需要在LUT中规划一块区域来映射我们的图像。例如我们可以使用容器中从(0,0)到(15, 63)的矩形区域16页宽 * 64页高 1024页。这16*64个LUT条目每个都需要被编程指向我们实际分配的物理内存页。这个过程通常由驱动软件完成通过DMM的PAT重填引擎Refill Engine将映射关系批量写入LUT。配置TILER方向视图HD_VPSS使用自己独立的4GB虚拟地址空间。我们需要为其选择一个“视图View”比如视图1对应90度旋转。通过配置DMM_TILER_OR1寄存器将视图1的几何变换设置为90度旋转。将HD_VPSS的输出缓冲区地址配置为指向TILER虚拟地址空间中视图1的起始地址。结果当HD_VPSS向它的虚拟地址写入像素数据时DMM/TILER硬件会自动进行90度旋转的坐标变换并通过PAT LUT映射到我们实际分配的物理内存。显示控制器从同样的虚拟地址读取时数据经过反向变换呈现出旋转后的图像。整个过程对CPU和VPSS都是透明的且没有数据搬移的软件开销。实操心得在配置LUT时务必注意LUT条目与分块容器页面的对应关系是固定的。规划缓冲区在容器中的布局时应尽量让一个二维图像所占用的页面在容器内是矩形且连续的这可以简化LUT的编程逻辑有时还能利用PAT的重填引擎进行区域性的快速更新。4. 关键配置详解与最佳实践了解了原理我们来看看如何具体配置DMM/TILER并分享一些从实际项目中总结的经验。4.1 内存区域LISA Map配置策略DMM_LISA_MAP寄存器的配置决定了系统内存的布局对性能有全局性影响。典型配置场景 假设系统有512MB DDR3连接到EMIF0另外512MB连接到EMIF1我们希望最大化带宽。Section 0 (高优先级)MAP0 0x806001000x80映射到高2GB地址空间0x8000_0000以上。0x60Section大小设置为1024MB0x60对应的编码并且启用128字节交织0x60中的0x0位域。0x01物理基地址为0x8000_0000EMIF0的起始。0x00保留。含义将系统地址0x8000_0000开始的1GB空间以128字节为粒度交织映射到EMIF0和EMIF1背后的总共1GB物理内存上。这是性能最优的配置。Section 1 (低优先级)MAP1 0x00000000通常设置为0表示该区域未使用或作为更低优先级的覆盖区域如果地址范围与Section 0重叠Section 1的配置生效但这里我们通常不希望重叠。配置步骤与锁存在系统初始化早期例如在Uboot或内核启动的最初阶段通过配置寄存器DMM_LISA_MAP0-DMM_LISA_MAP3来定义内存区域。配置完成后向DMM_LISA_LOCK寄存器写入1锁定所有LISA映射配置。锁定后无法再修改除非系统复位。这是一个重要的安全措施防止后续软件意外修改内存地图导致系统崩溃。注意事项内存交织要求两个EMIF通道上的DDR芯片具有相同的时序参数和容量或至少是兼容的。如果两个通道内存不对称如一个通道512MB另一个256MB则无法在整个1GB范围启用交织。此时需要更精细地划分Section例如将前768MB配置为交织使用两个通道的256MB256MB剩余的256MB仅来自512MB的那个通道配置为非交织区域。4.2 PAT查找表LUT编程与重填引擎手动编程32K个LUT条目是不现实的。DMM提供了4个重填引擎Refill Engine它们本质上是专用于LUT的DMA控制器。编程流程准备描述符链表在系统内存中创建数据结构描述需要更新LUT的矩形区域Area以及对应的物理页帧数据。配置重填引擎DMM_PAT_DESCRn: 指向描述符链表的内存地址。DMM_PAT_AREA_n: 定义LUT中需要更新的矩形区域起始X,Y宽度高度。DMM_PAT_CTRLn: 启动重填操作并可能使能完成中断。引擎工作重填引擎读取描述符和数据自动将指定的物理页帧号写入LUT的对应区域。中断处理完成后触发中断软件可进行下一步操作。最佳实践批量更新尽量将多个缓冲区的映射更新合并到一次重填操作中减少引擎启动开销。利用视图View系统支持4个独立的PAT视图。可以为不同的主设备或不同的任务分配不同的视图。例如视图0用于摄像头输入缓冲区无旋转视图1用于显示输出缓冲区90度旋转。这样可以在不更新LUT的情况下通过让设备切换视图来快速切换缓冲区映射关系实现“零拷贝”的流水线切换。错误处理务必使能重填引擎的错误中断如ERR_INV_DSCn,ERR_LUT_MISSn并在驱动中妥善处理。LUT映射错误会导致访问到错误的内存地址引发数据损坏或系统死机。4.3 TILER方向寄存器配置DMM_TILER_OR0和DMM_TILER_OR1寄存器控制着8个“视图”的几何变换。每个视图可以独立配置为8种方向之一0°, 90°, 180°, 270°, 以及它们的镜像组合。配置示例将视图1设置为顺时针旋转90度。 通常寄存器中会有对应的位域来控制旋转和镜像。假设通过设置OR1的某些位为001来代表90度旋转具体值需查芯片手册。配置后所有访问TILER虚拟地址空间中“视图1”区域的请求都会先经过这个90度坐标变换。避坑指南方向变换是硬件实时完成的但它的前提是数据在物理内存中是以“分块”格式存放的。如果你将一个由CPU以行优先方式写入的线性缓冲区通过PAT映射给一个配置了90度旋转的TILER视图去读取读出来的将是乱码。因为硬件执行的是地址变换而非数据重排。正确的流程是数据生产者无论是CPU还是加速器也必须通过同一个TILER视图或具有相同分块格式的视图来写入数据这样才能保证写入的物理布局和读取时的地址变换是匹配的。5. 常见问题排查与调试技巧在实际开发和调试中遇到DMM/TILER相关的问题往往比较棘手因为它是硬件模块错误现象可能表现为数据错误、性能低下或系统挂死。以下是一些常见的排查思路。5.1 典型问题速查表问题现象可能原因排查步骤访问TILER地址区域时数据损坏1. PAT LUT映射错误。2. TILER方向视图配置与数据格式不匹配。3. 缓冲区尺寸或对齐不符合要求。1. 检查PAT重填引擎是否成功完成确认LUT条目指向正确的物理页。2. 核对数据生产者和消费者使用的TILER视图ID和方向是否一致。3. 确认缓冲区大小是Tile尺寸通常是128x128像素的整数倍且起始地址在物理页4KB边界对齐。系统在启用DMM交织后不稳定或性能未提升1. 两个EMIF通道的DDR配置时序、大小不一致。2. LISA区域配置错误导致地址映射冲突或未启用交织。3. 访问模式不具备空间局部性无法受益于交织。1. 检查EMIF0和EMIF1的初始化配置代码确保时序参数相同。2. 使用仿真器或读取DMM_LISA_MAP寄存器确认交织区域配置正确且已锁定。3. 对于随机访问交织提升效果有限。确保关键数据流如视频帧缓冲区位于交织区域。视频加速器HDVICP访问分块数据性能差1. 数据未配置在TILER管理的分块区域而是线性区域。2. 使用的TILER视图方向导致访存模式不佳。3. 内存带宽已被其他主设备如CPU占满。1. 确认加速器驱动的缓冲区分配函数使用的是DMM/TILER分配器如dmm_alloc而非普通的kmalloc或dma_alloc。2. 尝试不同的旋转方向有时0度视图可能因访问模式更匹配SDRAM页而更快。3. 使用性能计数器监控EMIF带宽并调整不同主设备的访问优先级通过PEG。启用PAT后CPU访问该区域产生数据异常或页错误1. CPU的MMU页表未包含PAT重映射后的物理地址。2. Cache一致性问题DMAPAT重填引擎修改了LUT但CPU的Cache中可能存有旧的地址映射数据。1. 确保为PAT映射的物理页面在CPU的页表中也有正确的映射并且内存类型如Device, Normal设置正确。2. 在更新LUT后对相关Cache行执行无效化Invalidate操作。如果CPU使用了该内存区域的预取问题会更隐蔽。DMM中断频繁触发PAT重填引擎发生错误描述符无效、数据指针无效、访问未填充的LUT条目等。读取DMM_PAT_STATUSn寄存器确定具体错误类型。检查重填引擎的描述符链表和数据指针配置是否正确内存是否可访问。确保在启动重填前相关内存数据已准备就绪。5.2 调试方法与工具寄存器检查最基础的调试方法是使用JTAG仿真器或内核调试接口直接读取DMM的所有关键配置寄存器特别是DMM_LISA_MAP,DMM_PAT_VIEW,DMM_TILER_ORx以及各个PAT重填引擎的控制状态寄存器。与预期的配置值进行比对。软件追踪在Linux驱动中增加详细的日志输出记录缓冲区的分配、PAT映射、视图绑定等关键操作步骤和参数。性能分析利用芯片内部的性能监控单元PMU或EMIF控制器本身的计数器监控两个EMIF通道的带宽利用率、读写命令数量、页命中率等。对比启用/禁用交织、使用分块/线性缓冲区时的性能数据。内存内容查看如果怀疑数据本身在物理内存中的布局不对可以通过仿真器直接查看DDR物理内存的内容。对于一个简单的测试图案如渐变色条将其写入TILER缓冲区后去查看对应的物理内存可以直观地验证分块格式是否正确。简化测试在复杂问题难以定位时回归到最简单的测试用例分配一个小的、单色的分块缓冲区分别用CPU通过TILER视图写入和读取验证基本功能。然后逐步增加复杂度如启用PAT、旋转、多缓冲区等。处理DMM/TILER问题需要耐心因为它横跨硬件、驱动和应用程序。清晰的层次化思维——从软件API调用到驱动配置再到硬件寄存器行为和最终的内存物理布局——是成功调试的关键。
1. 项目概述DMM/TILER——嵌入式多媒体系统的内存加速引擎在嵌入式多媒体处理领域尤其是视频编解码、图形渲染和图像处理我们常常面临一个核心矛盾处理器和专用加速器如视频编解码器、GPU的计算能力越来越强但内存带宽和访问延迟却成了性能提升的瓶颈。传统的线性内存访问模式在处理二维图像数据时效率低下频繁的跨行访问会导致大量的内存页缺失Page Miss和行缓冲Row Buffer冲突严重拖慢系统。这就好比一个高效的工厂生产线却因为原材料仓库布局混乱导致机械臂需要来回跑很远的距离取料大部分时间都浪费在了路上。为了解决这个问题硬件辅助的内存管理技术应运而生。今天要深入探讨的就是德州仪器TI在其OMAP、DaVinci等系列高性能应用处理器中集成的动态内存管理器Dynamic Memory Manager, DMM及其核心子模块TILERTiling and Isometric Lightweight Engine for Rotation。这并非一个运行在操作系统层面的软件内存分配器而是一个位于系统互联总线如L3 Interconnect和SDRAM控制器之间的硬件模块。它的核心使命是站在所有内存访问发起者Initiators——如Cortex-A8 CPU、DSP、视频加速器HDVICP、显示子系统HD_VPSS以及各种DMA引擎——与物理内存之间充当一个智能的“交通调度员”和“数据格式转换器”。DMM/TILER技术的核心价值在于它通过硬件机制透明地为上层软件提供了对二维数据的高效访问支持。它主要解决了三大痛点一是通过内存交织Interleaving和优先级调度最大化SDRAM控制器的吞吐量二是通过“分块Tiling”技术将二维图像数据在物理内存中以一种更符合访问局部性的方式重新组织大幅减少访问冲突三是通过一个轻量级的物理地址转换器PAT实现类似MMU的页级地址重映射从而在零拷贝Zero-Copy的前提下管理内存碎片和实现多个物理缓冲区的快速切换这对于多路视频流、多图层叠加显示等场景至关重要。简单来说如果你在开发涉及高清视频处理、图形UI或计算机视觉的嵌入式产品理解并善用DMM/TILER往往是从“功能实现”到“性能优化”的关键一步。它能让你在不增加内存时钟频率和位宽的情况下显著提升系统的整体数据处理能力。接下来我将结合手册中的技术细节和实际工程经验为你层层拆解DMM/TILER的工作原理、配置方法和避坑指南。2. 核心架构与模块功能深度解析要驾驭DMM/TILER首先必须理解它的整体架构和各个子模块的分工。如图6-2所示DMM是一个包含多个功能单元的复合模块我们可以将其类比为一个高度专业化的物流中心。2.1 DMM的宏观定位与数据流DMM位于系统所有主设备Master和两个外部内存接口EMIF之间。所有对SDRAM的访问请求都必须经过DMM的处理。它的输入是来自各个主设备的“虚拟”或“线性”访问请求输出则是经过优化、重新排序并可能改变了地址格式的、面向SDRAM控制器的“物理”访问请求。这种居中调度的位置赋予了它全局优化内存访问的能力。数据在DMM内部的流动大致遵循以下路径请求入口访问请求通过两个主要入口进入DMM一个是专为Cortex-A8设计的ELLAExtra Low Latency Access低延迟端口用于处理普通的1D线性访问另一个是两个TILER端口专门处理需要分块转换的2D访问或已分块数据的访问。内部路由与调度**LISALocal Interconnect and Synchronisation Agent**模块是内部的交通枢纽。它根据配置的内存区域映射Section Map决定将请求路由到哪个SDRAM控制器EMIF0或EMIF1并处理可能的交织访问。地址转换与数据重组对于TILER端口的请求TILER模块负责进行2D到1D的地址转换即分块处理和可选的旋转/镜像变换。随后**PATPhysical Address Translator**模块可能会介入进行页级的地址重映射以解决内存碎片或实现缓冲区别名。请求发出与数据缓冲**ROBINRe-Ordering Buffer and Initiator Node**模块负责最终向SDRAM控制器发起请求。它内部包含重排序缓冲区用于处理因分块、地址转换或SDRAM页切换导致的读写数据顺序重组确保返回给主设备的数据顺序符合预期。优先级附加**PEGPriority Extension Generator**模块会为每个发出的请求附加一个优先级标签0-70最高。这个优先级并非用于DMM内部仲裁而是传递给后端的SDRAM控制器供其进行请求调度决策。2.2 关键子模块职责详解2.2.1 ELLACPU的专属快速通道ELLA的设计理念非常明确为Cortex-A8 CPU的普通内存访问提供最低的固定延迟。它做了极致的简化仅支持1D突发访问不处理任何2D或分块数据功能单一逻辑简单延迟自然低。绕过TILER和PATCPU的线性访问直接映射到物理内存不经过复杂的格式转换和地址重映射流程。核心任务将可能跨越DMM原子单元边界的大请求在内部拆分成多个符合SDRAM页大小的小请求以提升SDRAM访问效率。注意这里有一个非常重要的实践细节。根据手册Cortex-A8只有在访问系统地址空间0x8000_0000至0xFFFF_FFFF即Linux内核通常映射的物理内存区域时请求才会走ELLA端口。如果CPU去访问TILER管理的分块数据区域0x6000_0000 – 0x7FFF_FFFF即使访问的是线性视图请求也会被路由到TILER端口从而无法享受ELLA的低延迟优势。在优化CPU访问分块缓冲区的代码时需要意识到这一点带来的延迟差异。2.2.2 TILER二维数据访问的效率核心TILER是DMM的灵魂它的工作是将对二维图像数据的“不友好”的线性访问转换成对SDRAM“友好”的访问模式。什么是分块Tiling想象一张1920x1080的图片在内存中按行连续存放行优先。当视频编解码器处理一个16x16的宏块时它需要访问16行中每行的16个像素。在行优先存储下这16个像素在物理地址上相距很远至少相隔1920个像素的距离导致每次访问都可能触发SDRAM的行激活Active命令延迟极高。分块技术将图像分成许多小方块例如128x128像素的Tile在物理内存中一个Tile内的数据是连续存放的。这样访问一个宏块时所需的数据有很大概率集中在少数几个物理连续的Tile内大大提高了空间局部性减少了SDRAM的行切换开销。TILER的三大功能地址转换将上层发起者看到的“虚拟2D地址”由X坐标、Y坐标、位深等构成转换为内部的“分块物理地址”。这个地址标识了数据在128MB的“分块容器”中的具体位置。零开销几何变换支持0°、90°、180°、270°旋转以及水平/垂直镜像。这个变换是在地址转换阶段通过重新计算坐标完成的不涉及实际数据的搬移因此是“零开销”。这对于摄像头采集可能需要镜像、显示器输出可能需要旋转场景极其有用。请求拆分将大的2D访问请求例如读取一整行在Tile边界处拆分成多个对SDRAM的小请求便于调度和管理。2.2.3 PAT与LUT内存碎片管理的利器PAT是DMM中另一个极具巧思的模块。它的作用类似于一个轻量级、专用于分块数据的MMU。问题在复杂的多媒体应用中我们需要频繁分配和释放各种尺寸的图像缓冲区。长时间运行后物理内存中会产生碎片。虽然操作系统如Linux的虚拟内存管理可以解决碎片问题但其代价是昂贵的页表查询和可能的TLB刷新。对于实时性要求高的视频处理流水线这个开销不可接受。PAT的解决方案PAT维护一个独立的查找表LUT。这个LUT有256行 x 128列共32768个条目每个条目对应分块容器中的一个4KB“页”。每个LUT条目存储一个19位的物理页帧号。工作流程当TILER转换出一个在分块容器内的“中间物理地址”后PAT会截取这个地址中代表“页”的部分高15位将其作为索引去查询LUT。LUT返回一个19位的物理页帧号PAT用这个帧号替换掉原地址中的页号部分生成最终的32位系统物理地址。这样上层软件看到的连续的分块虚拟地址空间在底层可以被映射到物理内存中任何离散的4KB页面完美解决了碎片问题。两种模式直接映射DirectLUT被绕过分块容器的128MB空间被线性映射到一段128MB对齐的物理内存。配置简单用于调试或不关心碎片的基础场景。间接映射Indirect启用LUT查询实现灵活的页级重映射。这是生产环境中管理多个视频帧缓冲区的推荐模式。2.2.4 LISA内存区域映射与交织控制器LISA模块负责配置系统的内存地图并决定如何将系统地址空间的访问分布到两个或一个SDRAM控制器上。区域Section你可以将整个系统地址空间如从0x8000_0000开始划分成最多4个区域。每个区域可以独立配置起始系统地址、大小16MB的2的幂次方、目标物理地址、以及映射到哪个EMIFEMIF0, EMIF1, 或两者交织。内存交织Interleaving这是提升内存带宽的关键技术。当将一个区域配置为在两个EMIF上交织时连续的128字节、256字节或512字节的数据块会交替存储在两个内存控制器背后的DDR颗粒上。这样当处理器顺序访问内存时两个DDR通道可以并行工作理论上带宽翻倍。手册中图6-7和6-8清晰地展示了不同交织粒度下系统地址到两个EMIF地址的映射关系。优先级LISA在仲裁请求时会优先处理来自ELLA端口即CPU的请求以确保CPU的响应延迟。2.2.5 ROBIN数据重排序的缓冲区ROBIN模块是DMM与SDRAM控制器之间的接口。它的主要职责是处理因分块、地址转换和SDRAM访问特性导致的数据顺序问题。场景假设一个视频加速器请求读取一个2D块经过TILER和PAT转换后可能会生成多个分散的SDRAM读请求。这些请求的完成顺序可能与其发起顺序不同因为SDRAM控制器会根据页命中情况优化调度。ROBIN的缓冲区会暂存返回的数据并按照原始请求的顺序重新组装然后返回给TILER和上层发起者。写数据缓冲对于写请求ROBIN也会缓冲数据确保在地址转换和调度过程中数据不会丢失。3. 核心机制地址转换全流程拆解理解地址转换的全过程是掌握DMM/TILER配置和调试的基础。我们以一个最常见的场景为例视频加速器HDVICP以16bpp每像素16位格式读取一个已启用PAT间接映射且旋转了90度的分块缓冲区。3.1 转换步骤详解整个过程如图6-11所示我们分步拆解步骤1虚拟地址输入视频加速器发起一个2D读取请求。它使用的地址是TILER虚拟地址空间中的一个例如在视图1中对应90度旋转。这个地址是一个32位的系统地址。步骤2TILER阶段——2D虚拟地址到中间物理地址TILER模块接收到这个地址和相关的2D参数如图像宽度、高度、位深。它首先判断这个地址属于哪个“容器”8位、16位、32位或页模式。对于16bpp数据它使用16位模式容器的解码规则。地址解码根据手册6.2.1.4.7节对16位模式虚拟地址进行位域拆分Bit 0: 恒为016位对齐。Bits [1:6]: 6位表示在页内水平行中的偏移Sub-Tile内的X像素坐标。Bits [7:14]: 8位这有两个作用。在虚拟层面它选择分块容器中的水平页X坐标在物理层面它将成为查询PAT LUT时的X索引X-coordinate。Bits [15:19]: 5位表示在页内的行偏移Sub-Tile内的Y坐标。Bits [20:26]: 7位同样双重作用。虚拟层面选择垂直页Y坐标物理层面成为PAT LUT的Y索引Y-coordinate。Bits [27:31]: 固定为二进制01101标识这是16位模式容器地址范围0x6800_0000 – 0x6FFF_FFFF。坐标变换由于请求是90度旋转TILER会根据DMM_TILER_OR寄存器配置的变换矩阵对计算出的(X, Y)坐标进行交换和可能的取反镜像。例如无旋转的(X, Y)在90度旋转后变为(Y, -X)。生成中间物理地址经过变换后的坐标结合位深信息被转换成一个27位的“中间物理地址”。这个地址的格式不再是(X, Y)而是被重新组织为[PAGE字段 (15位) | TILE字段 (2位) | SUBTILE字段 (6位) | PIXEL字段 (4位)]。这个27位地址指向的是128MB分块容器内的一个具体位置。此时地址的最高位Bit 31是未定义的或者说是容器内的局部地址。步骤3PAT阶段——页级重映射接下来这个27位的中间地址进入PAT模块。LUT查询PAT提取出中间地址中的PAGE字段高15位。这15位实际上对应了分块容器中一个4KB页的索引。PAT将这个索引作为坐标高8位为X索引低7位为Y索引这里需要仔细核对根据图6-3和文本27位地址中的PAGE字段是15位而LUT是256x12832768条目需要19位索引。实际上在间接映射模式下TILER输出的27位地址中的PAGE字段15位并不是直接作为LUT索引。LUT的索引X, Y是由原始虚拟地址的特定位域Bits[7:14]和Bits[20:26]在经过TILER方向变换后得到的。PAT使用这个(X, Y)索引去查询LUT表。获取物理页帧号LUT在(X, Y)位置存储了一个19位的值这是一个物理内存中4KB页的帧号。地址合成PAT用这19位的物理页帧号替换掉27位中间地址中原本表示“容器内页号”的部分即高15位。同时PAT会附加一个基地址位Base Bit通常是1表示映射到高2GB的SDRAM地址空间。最终生成一个完整的32位系统物理地址。低12位页内偏移在整个过程中保持不变。步骤4LISA阶段——区域映射与交织PAT输出的32位物理地址被送到LISA模块。LISA根据预先编程的DMM_LISA_MAP寄存器判断这个物理地址落在哪个预定义的“区域Section”内。路由决策如果该区域配置为“非交织”且映射到EMIF0则请求被直接发往EMIF0的ROBIN。如果配置为“128字节交织”LISA会根据地址的低位第7位决定当前128字节块应该由EMIF0还是EMIF1服务。优先级附加PEG模块根据发起该请求的主设备IDConnID从优先级表中查出一个3位的优先级值附加到请求上一同发送给ROBIN。步骤5ROBIN与SDRAM访问ROBIN模块接收到带优先级的请和最终的物理地址将其转发给对应的SDRAM控制器。SDRAM控制器根据优先级和自身状态调度该请求。读取的数据返回后ROBIN可能需要进行反方向的数据重排序以匹配原始2D请求的数据格式然后通过TILER返回给视频加速器。3.2 配置实例设置一个旋转90度的视频输出缓冲区假设我们需要为显示控制器HD_VPSS设置一个1080p1920x1080的RGB56516bpp输出缓冲区并要求图像顺时针旋转90度显示。计算缓冲区大小1920 * 1080 * 2 bytes ≈ 4 MB。我们需要在物理DDR中分配一块4MB连续或通过PAT映射为连续的内存。配置PAT LUT间接映射图像需要128个4KB页4MB / 4KB 1024页。在分块容器中一个16bpp的128MB容器由256x128个页组成。我们需要在LUT中规划一块区域来映射我们的图像。例如我们可以使用容器中从(0,0)到(15, 63)的矩形区域16页宽 * 64页高 1024页。这16*64个LUT条目每个都需要被编程指向我们实际分配的物理内存页。这个过程通常由驱动软件完成通过DMM的PAT重填引擎Refill Engine将映射关系批量写入LUT。配置TILER方向视图HD_VPSS使用自己独立的4GB虚拟地址空间。我们需要为其选择一个“视图View”比如视图1对应90度旋转。通过配置DMM_TILER_OR1寄存器将视图1的几何变换设置为90度旋转。将HD_VPSS的输出缓冲区地址配置为指向TILER虚拟地址空间中视图1的起始地址。结果当HD_VPSS向它的虚拟地址写入像素数据时DMM/TILER硬件会自动进行90度旋转的坐标变换并通过PAT LUT映射到我们实际分配的物理内存。显示控制器从同样的虚拟地址读取时数据经过反向变换呈现出旋转后的图像。整个过程对CPU和VPSS都是透明的且没有数据搬移的软件开销。实操心得在配置LUT时务必注意LUT条目与分块容器页面的对应关系是固定的。规划缓冲区在容器中的布局时应尽量让一个二维图像所占用的页面在容器内是矩形且连续的这可以简化LUT的编程逻辑有时还能利用PAT的重填引擎进行区域性的快速更新。4. 关键配置详解与最佳实践了解了原理我们来看看如何具体配置DMM/TILER并分享一些从实际项目中总结的经验。4.1 内存区域LISA Map配置策略DMM_LISA_MAP寄存器的配置决定了系统内存的布局对性能有全局性影响。典型配置场景 假设系统有512MB DDR3连接到EMIF0另外512MB连接到EMIF1我们希望最大化带宽。Section 0 (高优先级)MAP0 0x806001000x80映射到高2GB地址空间0x8000_0000以上。0x60Section大小设置为1024MB0x60对应的编码并且启用128字节交织0x60中的0x0位域。0x01物理基地址为0x8000_0000EMIF0的起始。0x00保留。含义将系统地址0x8000_0000开始的1GB空间以128字节为粒度交织映射到EMIF0和EMIF1背后的总共1GB物理内存上。这是性能最优的配置。Section 1 (低优先级)MAP1 0x00000000通常设置为0表示该区域未使用或作为更低优先级的覆盖区域如果地址范围与Section 0重叠Section 1的配置生效但这里我们通常不希望重叠。配置步骤与锁存在系统初始化早期例如在Uboot或内核启动的最初阶段通过配置寄存器DMM_LISA_MAP0-DMM_LISA_MAP3来定义内存区域。配置完成后向DMM_LISA_LOCK寄存器写入1锁定所有LISA映射配置。锁定后无法再修改除非系统复位。这是一个重要的安全措施防止后续软件意外修改内存地图导致系统崩溃。注意事项内存交织要求两个EMIF通道上的DDR芯片具有相同的时序参数和容量或至少是兼容的。如果两个通道内存不对称如一个通道512MB另一个256MB则无法在整个1GB范围启用交织。此时需要更精细地划分Section例如将前768MB配置为交织使用两个通道的256MB256MB剩余的256MB仅来自512MB的那个通道配置为非交织区域。4.2 PAT查找表LUT编程与重填引擎手动编程32K个LUT条目是不现实的。DMM提供了4个重填引擎Refill Engine它们本质上是专用于LUT的DMA控制器。编程流程准备描述符链表在系统内存中创建数据结构描述需要更新LUT的矩形区域Area以及对应的物理页帧数据。配置重填引擎DMM_PAT_DESCRn: 指向描述符链表的内存地址。DMM_PAT_AREA_n: 定义LUT中需要更新的矩形区域起始X,Y宽度高度。DMM_PAT_CTRLn: 启动重填操作并可能使能完成中断。引擎工作重填引擎读取描述符和数据自动将指定的物理页帧号写入LUT的对应区域。中断处理完成后触发中断软件可进行下一步操作。最佳实践批量更新尽量将多个缓冲区的映射更新合并到一次重填操作中减少引擎启动开销。利用视图View系统支持4个独立的PAT视图。可以为不同的主设备或不同的任务分配不同的视图。例如视图0用于摄像头输入缓冲区无旋转视图1用于显示输出缓冲区90度旋转。这样可以在不更新LUT的情况下通过让设备切换视图来快速切换缓冲区映射关系实现“零拷贝”的流水线切换。错误处理务必使能重填引擎的错误中断如ERR_INV_DSCn,ERR_LUT_MISSn并在驱动中妥善处理。LUT映射错误会导致访问到错误的内存地址引发数据损坏或系统死机。4.3 TILER方向寄存器配置DMM_TILER_OR0和DMM_TILER_OR1寄存器控制着8个“视图”的几何变换。每个视图可以独立配置为8种方向之一0°, 90°, 180°, 270°, 以及它们的镜像组合。配置示例将视图1设置为顺时针旋转90度。 通常寄存器中会有对应的位域来控制旋转和镜像。假设通过设置OR1的某些位为001来代表90度旋转具体值需查芯片手册。配置后所有访问TILER虚拟地址空间中“视图1”区域的请求都会先经过这个90度坐标变换。避坑指南方向变换是硬件实时完成的但它的前提是数据在物理内存中是以“分块”格式存放的。如果你将一个由CPU以行优先方式写入的线性缓冲区通过PAT映射给一个配置了90度旋转的TILER视图去读取读出来的将是乱码。因为硬件执行的是地址变换而非数据重排。正确的流程是数据生产者无论是CPU还是加速器也必须通过同一个TILER视图或具有相同分块格式的视图来写入数据这样才能保证写入的物理布局和读取时的地址变换是匹配的。5. 常见问题排查与调试技巧在实际开发和调试中遇到DMM/TILER相关的问题往往比较棘手因为它是硬件模块错误现象可能表现为数据错误、性能低下或系统挂死。以下是一些常见的排查思路。5.1 典型问题速查表问题现象可能原因排查步骤访问TILER地址区域时数据损坏1. PAT LUT映射错误。2. TILER方向视图配置与数据格式不匹配。3. 缓冲区尺寸或对齐不符合要求。1. 检查PAT重填引擎是否成功完成确认LUT条目指向正确的物理页。2. 核对数据生产者和消费者使用的TILER视图ID和方向是否一致。3. 确认缓冲区大小是Tile尺寸通常是128x128像素的整数倍且起始地址在物理页4KB边界对齐。系统在启用DMM交织后不稳定或性能未提升1. 两个EMIF通道的DDR配置时序、大小不一致。2. LISA区域配置错误导致地址映射冲突或未启用交织。3. 访问模式不具备空间局部性无法受益于交织。1. 检查EMIF0和EMIF1的初始化配置代码确保时序参数相同。2. 使用仿真器或读取DMM_LISA_MAP寄存器确认交织区域配置正确且已锁定。3. 对于随机访问交织提升效果有限。确保关键数据流如视频帧缓冲区位于交织区域。视频加速器HDVICP访问分块数据性能差1. 数据未配置在TILER管理的分块区域而是线性区域。2. 使用的TILER视图方向导致访存模式不佳。3. 内存带宽已被其他主设备如CPU占满。1. 确认加速器驱动的缓冲区分配函数使用的是DMM/TILER分配器如dmm_alloc而非普通的kmalloc或dma_alloc。2. 尝试不同的旋转方向有时0度视图可能因访问模式更匹配SDRAM页而更快。3. 使用性能计数器监控EMIF带宽并调整不同主设备的访问优先级通过PEG。启用PAT后CPU访问该区域产生数据异常或页错误1. CPU的MMU页表未包含PAT重映射后的物理地址。2. Cache一致性问题DMAPAT重填引擎修改了LUT但CPU的Cache中可能存有旧的地址映射数据。1. 确保为PAT映射的物理页面在CPU的页表中也有正确的映射并且内存类型如Device, Normal设置正确。2. 在更新LUT后对相关Cache行执行无效化Invalidate操作。如果CPU使用了该内存区域的预取问题会更隐蔽。DMM中断频繁触发PAT重填引擎发生错误描述符无效、数据指针无效、访问未填充的LUT条目等。读取DMM_PAT_STATUSn寄存器确定具体错误类型。检查重填引擎的描述符链表和数据指针配置是否正确内存是否可访问。确保在启动重填前相关内存数据已准备就绪。5.2 调试方法与工具寄存器检查最基础的调试方法是使用JTAG仿真器或内核调试接口直接读取DMM的所有关键配置寄存器特别是DMM_LISA_MAP,DMM_PAT_VIEW,DMM_TILER_ORx以及各个PAT重填引擎的控制状态寄存器。与预期的配置值进行比对。软件追踪在Linux驱动中增加详细的日志输出记录缓冲区的分配、PAT映射、视图绑定等关键操作步骤和参数。性能分析利用芯片内部的性能监控单元PMU或EMIF控制器本身的计数器监控两个EMIF通道的带宽利用率、读写命令数量、页命中率等。对比启用/禁用交织、使用分块/线性缓冲区时的性能数据。内存内容查看如果怀疑数据本身在物理内存中的布局不对可以通过仿真器直接查看DDR物理内存的内容。对于一个简单的测试图案如渐变色条将其写入TILER缓冲区后去查看对应的物理内存可以直观地验证分块格式是否正确。简化测试在复杂问题难以定位时回归到最简单的测试用例分配一个小的、单色的分块缓冲区分别用CPU通过TILER视图写入和读取验证基本功能。然后逐步增加复杂度如启用PAT、旋转、多缓冲区等。处理DMM/TILER问题需要耐心因为它横跨硬件、驱动和应用程序。清晰的层次化思维——从软件API调用到驱动配置再到硬件寄存器行为和最终的内存物理布局——是成功调试的关键。
双梁正问题 【 torch 实战】（Python代码实现）)
