尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Ascend C矩阵量化模式设置
SetDequantType【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit功能说明该接口用于设置量化或反量化的模式。Matmul反量化场景在Matmul计算时左、右矩阵的输入为int8_t或int4b_t类型输出为half类型或者左、右矩阵的输入为int8_t类型输出为int8_t类型。该场景下输出C矩阵的数据从L0C BufferCO1搬出到Global Memory时会执行反量化操作将最终结果反量化为对应的half或int8_t类型。Matmul量化场景在Matmul计算时左、右矩阵的输入为half或bfloat16_t类型输出为int8_t类型。该场景下输出C矩阵的数据从L0C BufferCO1搬出到Global Memory时会执行量化操作将最终结果量化为int8_t类型。量化或反量化时有两种模式一种是同一系数的量化/反量化模式一种是向量的量化/反量化模式。同一系数的量化或反量化模式对输出矩阵的所有值采用同一系数进行量化或反量化。向量的量化或反量化模式提供一个参数向量对输出矩阵的每一列都采用该向量中对应列的系数进行量化或反量化。函数原型int32_t SetDequantType(DequantType dequantType)参数说明表1参数说明参数名输入/输出描述dequantType输入设置量化或反量化时的模式。DequantType类型该类型的定义如下方代码所示其中参数的取值及含义如下SCALAR表示同一系数的量化或反量化模式。TENSOR表示向量的量化或反量化模式。enum class DequantType { SCALAR 0, TENSOR 1, };返回值说明-1表示设置失败0表示设置成功。约束说明本接口支持的同一系数的量化/反量化模式、向量的量化/反量化模式分别与Kernel侧接口SetQuantScalar和SetQuantVector对应本接口设置的量化/反量化模式必须与Kernel侧使用的接口保持一致。调用示例auto ascendcPlatform platform_ascendc::PlatformAscendC(context-GetPlatformInfo()); matmul_tiling::MatmulApiTiling tiling(ascendcPlatform); tiling.SetAType(matmul_tiling::TPosition::GM, matmul_tiling::CubeFormat::ND, matmul_tiling::DataType::DT_INT8); tiling.SetBType(matmul_tiling::TPosition::GM, matmul_tiling::CubeFormat::ND, matmul_tiling::DataType::DT_INT8); tiling.SetCType(matmul_tiling::TPosition::GM, matmul_tiling::CubeFormat::ND, matmul_tiling::DataType::DT_INT32); tiling.SetBiasType(matmul_tiling::TPosition::GM, matmul_tiling::CubeFormat::ND, matmul_tiling::DataType::DT_INT32); tiling.SetShape(M, N, K); tiling.SetOrgShape(M, N, K); tiling.EnableBias(true); tiling.SetDequantType(DequantType::SCALAR); // 设置同一系数的量化/反量化模式 // tiling.SetDequantType(DequantType::TENSOR); // 设置向量的量化/反量化模式 tiling.SetBufferSpace(-1, -1, -1); optiling::TCubeTiling tilingData; int ret tiling.GetTiling(tilingData);【免费下载链接】asc-devkit本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言原生支持C和C标准规范主要由类库和语言扩展层构成提供多层级API满足多维场景算子开发诉求。项目地址: https://gitcode.com/cann/asc-devkit创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

CANN Ascend C矩阵计算SetFixSplit函数

CANN Ascend C矩阵计算SetFixSplit函数

SetFixSplit 【免费下载链接】asc-devkit 本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。 项目地址: https://gitcode.co…

📅 2026/11/11 17:41:13
CANN Ascend C矩阵计算SetBType函数

CANN Ascend C矩阵计算SetBType函数

SetBType 【免费下载链接】asc-devkit 本项目是CANN 推出的昇腾AI处理器专用的算子程序开发语言,原生支持C和C标准规范,主要由类库和语言扩展层构成,提供多层级API,满足多维场景算子开发诉求。 项目地址: https://gitcode.com/c…

📅 2026/11/8 6:12:00
VS Code Python远程调试核心原理与排错指南

VS Code Python远程调试核心原理与排错指南

1. 远程调试不是“连上服务器就完事”,而是调试权的完整迁移 很多人第一次点开 VS Code 的 Remote-SSH 扩展,看到终端里成功弹出远程服务器的 shell 提示符,就以为“远程调试”已经完成了。结果一按 F5,报错: No debu…

📅 2026/10/30 8:12:14
MORE NEWS

更多资讯

📰

道滘考电工证培训怎么报?学历不高也能考,全国通用

道滘考电工证培训怎么报?学历不高也能考,全国通用 你是不是也担心学历不高,报不了电工证?其实不是的, 道滘考电工证培训 对学历的要求并没有你想象得那么高,只要符合基本条件,任何人都有机会考取。而且这个证是 全国通用…

📰

汉沽电工证考试地点保姆级教程:怕考不过白交培训费?看这篇就够了

汉沽电工证考试地点保姆级教程:怕考不过白交培训费?看这篇就够了 怕考不过白交培训费?汉沽电工证考试地点你搞清楚了吗?别再被培训机构忽悠了,今天这篇保姆级教程,帮你从报名到考试全流程搞懂,一步不落。 案例背景:一位济源电工新手的初次报考经历…

📰

铁岭电工证学校官方回应:工地太忙根本没时间复习考试怎么办?

铁岭电工证学校官方回应:工地太忙根本没时间复习考试怎么办? 工地太忙根本没时间复习考试,这是很多电工从业者的真实写照,尤其是像漯河市的市政公用工程从业人员,每天穿梭在各种施工一线,连抽空复习的机会都少之又少。但你知道吗?根据…

📰

驻马店考个电工证全流程办理指南:郑州报考避坑指南

驻马店考个电工证全流程办理指南:郑州报考避坑指南 之前考的证在外省能不能转过来?这几乎是所有想在驻马店考电工证或者正在考虑转证的人最关心的问题。别急,今天我就从 信阳浉河区 初次报考人员的角度,详细给你说说 驻马店考个电工证…

📰

电工证会取消吗今年官方回应来了,应届生必须知道的真相

电工证会取消吗今年官方回应来了,应届生必须知道的真相 急需特种作业证才能上岗找工作,但最近不少应届生在打听: 电工证会取消吗今年 ?答案来了,官方回应明确,2024年特种作业操作证不仅不会取消,反而在监管力度上进一步加强。尤其是…

📰

常明电工证报名入口与办理流程

电工证实操考试心里没底怕挂科?保姆级教程帮你一次过 实操考试心里没底怕挂科?这几乎是每个准备考【常明电工证】的学员最真实的感受。尤其是在郑州金水区这样的工程密集区域,持证上岗不是选择题,而是必答题。但别慌,今天这套保姆级教程,就是帮你从零基…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬