CANN/ops-transformer MatmulSwiglu接口文档-北京尧图网络

aclnnMatmulSwiglu【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer支持的产品对应 op_def 注册的ascend910b/ascend910_93。产品是否支持Ascend 950PR/Ascend 950DT×Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品×Atlas 推理系列产品×Atlas 训练系列产品×功能说明算子功能融合gate_proj up_proj SiLU MulSwiGLU 门控 MLP 前向。计算公式令[gate | up] x weight ( bias)沿最后一维对半切分则y SiLU(gate) * up, SiLU(g) g * sigmoid(g) g / (1 e^{-g})参数说明参数名输入/输出/属性描述数据类型数据格式x输入激活形状[M, K]FLOAT16、BFLOAT16、FLOAT32NDweight输入打包权重[K, 2N]前 N 列 gate后 N 列 up。transposeWeighttrue时为[2N, K]同 xNDbias输入可选偏置[2N]。原型可选但自动生成的 aclnn 接口会非空校验无偏置时传全 0 张量FLOAT32固定在 cube 内以 fp32 累加不随 x 变化NDtransposeWeight属性weight 是否转置默认 falseBOOL-y输出结果[M, N]同 xND接口原型两段式接口先调用aclnnMatmulSwigluGetWorkspaceSize获取 workspace 大小与执行器再调用aclnnMatmulSwiglu执行。bias 不能传 nullptr本算子无手写op_apiL2 实现aclnn接口由 opbuild 自动生成其GetWorkspaceSize会对bias做非空校验传nullptr会返回161001 (ACLNN_ERR_PARAM_NULLPTR)。不需要偏置时请传入一个形状为[2N]、值全 0 的 bias 张量。参数顺序为输入 → 属性 → 输出。aclnnStatus aclnnMatmulSwigluGetWorkspaceSize( const aclTensor* x, const aclTensor* weight, const aclTensor* bias, // 不能为 nullptr; 无偏置时传全 0 的 [2N] 张量 bool transposeWeight, const aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor); aclnnStatus aclnnMatmulSwiglu( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream);约束说明weight的2N维必须能被 2 整除。x的最后一维K必须与weight的K维一致。中间结果以 FLOAT32 累加FLOAT32 输入下 matmul 精度模式由 tiling 决定必要时调整cubeMathType/SetBufferSpace。调用样例参见 examples/test_aclnn_matmul_swiglu.cpp。【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

CANN/ops-transformer MatmulSwiglu接口文档

相关推荐

TOPP-RA 0.4.1 与 Pinocchio 3.7.0 集成：UR5 机械臂时间最优轨迹规划实战

如何优化4D-RGPT-8B性能：10个GPU加速与推理优化技巧

vLLM部署教程：如何高效运行llama-nemotron-embed-vl-1b-v2-fp8模型

更多资讯

douyin-downloader 完整新手指南：6 条命令跑通抖音无水印批量下载

Loop：免费开源的 Mac 窗口管理工具，5 分钟就能上手

windows-rs 构建工具链的核心元数据底座：windows-default 深入解析

LogicFlow DynamicGroup 连线限制机制：`disallowEdgeConnectToGroup` 严格模式的设计与实现

axolotl 预训练与持续预训练实战指南：completion 非流式与 pretraining_dataset 流式方案全解析

基于Elasticsearch的RAG混合检索实战：部署、调优与避坑

今日更新

基于高阶循环谱的MPSK载波频率估计与MATLAB实现

MiniPdf方：.NET开源Office转PDF的高效解决方案

Solon AI v3.10：Java全栈智能体开发框架解析

本周精选

AI驱动的自动化专利分析平台技术解析

LeetCode-Go 题解：1252. Cells with Odd Values in a Matrix（奇数值单元格计数）双解法剖析

在线答疑系统Java毕设实战：Spring Boot前后端分离与状态流转

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？