尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
cann/cannbot-skills矩阵乘操作
矩阵乘操作【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills1. 概述HFusion 方言提供矩阵乘操作包括微缩放格式矩阵乘matmul_mx和分组矩阵乘group_matmul。这些操作是 NPU Cube 计算单元的核心负载。源码参考HFusionOps.td、HFusionNamedStructuredOps.yaml2. matmul_mx2.1 功能执行微缩放Microscaling格式的矩阵乘法输入通过缩放因子隐式缩放。常用于 FP8/FP4 等量化数据类型。计算公式C (A * scale_a) dot (B * scale_b)。微缩放格式遵循 OCP Microscaling Formats (MX) 规范https://www.opencompute.org/documents/ocp-microscaling-formats-mx-v1-0-spec-final-pdf2.2 操作签名操作数/结果类型说明inputAShapedTypeOf[F8E4M3FN, F8E5M2]左矩阵inputBShapedTypeOf[F8E4M3FN, F8E5M2]右矩阵scaleAShapedTypeOf[UI8, I8]左矩阵缩放因子scaleBShapedTypeOf[UI8, I8]右矩阵缩放因子accShapedTypeOf[AnyFloat]累加器DPS initresultShapedTypeOf[AnyFloat]输出结果2.3 TraitsPureDestinationStyleOpInterfaceBiShengIRAggregatedOpInterface支持 decomposeOperation2.4 MLIR 示例%result hfusion.matmul_mx ins(%a, %b, %sa, %sb : tensor16x32xf8E4M3FN, tensor32x64xf8E4M3FN, tensor2x2xui8, tensor2x4xui8) outs(%acc : tensor16x64xf32) - tensor16x64xf322.5 BuilderOpBuilder(ins Value:$inputA, Value:$inputB, Value:$scaleA, Value:$scaleB, Value:$acc)3. group_matmul3.1 功能执行分组矩阵乘法用于 MoEMixture of Experts等场景。每个 Expert 的权重矩阵与其分配的 Token 进行矩阵乘。3.2 操作签名操作数/结果类型角色w1input_tensor (type_var: T1)Expert 权重矩阵shape_map:(d0, d1, d2) - (d2, d1, d0)tokensinput_tensor (type_var: T2)Token 嵌入shape_map:(d0, d1, d2) - (d1, d2)tokens_per_expertinput_tensor (type_var: T3)每 Expert 的 Token 数shape_map:(d0, d1, d2) - (1)outputoutput_tensor (type_var: T4)输出shape_map:(d0, d1, d2) - (d0, d0)3.3 Indexing Mapsaffine_map(d0, d1, d2) - (d2, d1, d0) // w1 affine_map(d0, d1) - (d0, d1) // tokens affine_map(d0) - (0) // tokens_per_expert affine_map(d0, d1, d2) - (d0, d0) // output3.4 Iterator Types[parallel, parallel, reduction]3.5 MLIR 示例%result hfusion.group_matmul ins(%w1, %tokens, %tokens_per_expert : tensor?x?x?xf32, tensor?x?xf32, tensor1xi64) outs(%output : tensor?x?xf32)4. MmMapMode 枚举枚举值助记符说明CoreOpcore_op核心操作模式MacroInstrmacro_instr宏指令模式5. 数据格式说明5.1 FP8 格式类型说明F8E4M3FN4 位指数、3 位尾数无无穷用于前向传播F8E5M25 位指数、2 位尾数支持无穷用于反向传播5.2 微缩放格式微缩放格式将一组元素共享一个缩放因子典型配置为每 32 个元素共享 1 个 UI8 缩放因子。这种格式在保持精度的同时大幅减少了存储和计算开销。【免费下载链接】cannbot-skillsCANNBot 是面向 CANN 开发的用于提升开发效率的系列智能体本仓库为其提供可复用的 Skills 模块。项目地址: https://gitcode.com/cann/cannbot-skills创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

茉莉花插件:5分钟掌握Zotero中文文献智能管理终极方案

茉莉花插件:5分钟掌握Zotero中文文献智能管理终极方案

茉莉花插件:5分钟掌握Zotero中文文献智能管理终极方案 【免费下载链接】jasminum A Zotero add-on to retrive CNKI meta data. 一个简单的Zotero 插件,用于识别中文元数据 项目地址: https://gitcode.com/gh_mirrors/ja/jasminum 茉莉花插件是专…

📅 2026/10/27 11:07:59
AI辅助数据库选型:从业务特征到存储方案推荐的决策工具

AI辅助数据库选型:从业务特征到存储方案推荐的决策工具

AI辅助数据库选型:从业务特征到存储方案推荐的决策工具选 MySQL 还是 PostgreSQL?OLAP 场景 ClickHouse 和 Doris 怎么比?时序数据要用 InfluxDB 还是 TimescaleDB?数据库选型从来不是"哪个技术更火"的问题,…

📅 2026/10/23 0:12:27
Nemotron-3.5训练数据集揭秘:从Aegis到Nemotron的百万级安全数据

Nemotron-3.5训练数据集揭秘:从Aegis到Nemotron的百万级安全数据

Nemotron-3.5训练数据集揭秘:从Aegis到Nemotron的百万级安全数据 【免费下载链接】Nemotron-3.5-Content-Safety 项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Nemotron-3.5-Content-Safety Nemotron-3.5 Content Safety模型作为NVIDIA推出的新一代…

📅 2026/10/19 13:39:53
MORE NEWS

更多资讯

📰

Python+MySQL图书馆管理系统实战:Tkinter GUI与数据库安全联动

简介:这是一套基于Python与MySQL开发的图形化界面图书馆管理系统实战项目,面向Python初学者、数据库入门学习者及课程设计学生,解决传统图书管理效率低、操作不直观等实际问题。资源包共13个文件,含6个核心Python源码(…

📰

BP神经网络电力负荷预测:MATLAB实现全流程与避坑指南

简介:基于BP神经网络的电力负荷预测完整方案,系统讲解利用历史负荷数据预测未来电力需求的方法,面向电力系统调度与规划人员、电气类专业学生,以及希望掌握神经网络建模的开发者。资源共8个文件,压缩包约410KB&#xf…

📰

倾转旋翼机悬停仿真代码拆解:MATLAB/Simulink配平、线性化与避坑指南

简介:这份资源面向倾转旋翼机飞行动力学与控制方向的初学者及研究人员,聚焦悬停状态下的仿真建模与代码实现,帮助读者理解旋翼气动、动力系统与飞行控制之间的耦合关系。压缩包共7个文件,约59KB,以MATLAB脚本&#xff…

📰

Python+PyQt5+MySQL酒店管理系统课设源码与避坑指南

简介:这是一套面向高校数据库课程设计场景的酒店管理系统完整项目,采用Python结合PyQt5与MySQL实现,适合正在准备课设或想练习GUI编程与数据库应用开发的学生参考。项目围绕酒店住宿、餐饮与娱乐服务管理展开,涵盖员工管理、客房管…

📰

小区网络规划论文写作:拓扑选型、LAN接入与IP规划

简介:围绕智能化小区网络规划展开的毕业设计文档,面向通信、网络工程及计算机相关专业学生与小区组网方案初学者,可用于课程设计、毕业设计选题参考及宽带接入方案梳理。内容从智能化小区系统组成与基本功能切入,依次讨论宽带网络…

📰

PDFMathTranslate 从零部署:完整保留排版的 PDF 全文翻译服务实战

PDFMathTranslate 从零部署:完整保留排版的 PDF 全文翻译服务实战 【免费下载链接】PDFMathTranslate [EMNLP 2025 Demo] PDF scientific paper translation with preserved formats - 基于 AI 完整保留排版的 PDF 文档全文双语翻译,支持 Google/DeepL/O…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬