尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
CANN/ops-transformer MatmulSwiglu接口文档
aclnnMatmulSwiglu【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer支持的产品对应 op_def 注册的ascend910b/ascend910_93。产品是否支持Ascend 950PR/Ascend 950DT×Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 训练系列产品/Atlas A2 推理系列产品√Atlas 200I/500 A2 推理产品×Atlas 推理系列产品×Atlas 训练系列产品×功能说明算子功能融合gate_proj up_proj SiLU MulSwiGLU 门控 MLP 前向。计算公式令[gate | up] x weight ( bias)沿最后一维对半切分则y SiLU(gate) * up, SiLU(g) g * sigmoid(g) g / (1 e^{-g})参数说明参数名输入/输出/属性描述数据类型数据格式x输入激活形状[M, K]FLOAT16、BFLOAT16、FLOAT32NDweight输入打包权重[K, 2N]前 N 列 gate后 N 列 up。transposeWeighttrue时为[2N, K]同 xNDbias输入可选偏置[2N]。原型可选但自动生成的 aclnn 接口会非空校验无偏置时传全 0 张量FLOAT32固定在 cube 内以 fp32 累加不随 x 变化NDtransposeWeight属性weight 是否转置默认 falseBOOL-y输出结果[M, N]同 xND接口原型两段式接口先调用aclnnMatmulSwigluGetWorkspaceSize获取 workspace 大小与执行器再调用aclnnMatmulSwiglu执行。bias 不能传 nullptr本算子无手写op_apiL2 实现aclnn接口由 opbuild 自动生成 其GetWorkspaceSize会对bias做非空校验传nullptr会返回161001 (ACLNN_ERR_PARAM_NULLPTR)。 不需要偏置时请传入一个形状为[2N]、值全 0 的 bias 张量。参数顺序为 输入 → 属性 → 输出。aclnnStatus aclnnMatmulSwigluGetWorkspaceSize( const aclTensor* x, const aclTensor* weight, const aclTensor* bias, // 不能为 nullptr; 无偏置时传全 0 的 [2N] 张量 bool transposeWeight, const aclTensor* out, uint64_t* workspaceSize, aclOpExecutor** executor); aclnnStatus aclnnMatmulSwiglu( void* workspace, uint64_t workspaceSize, aclOpExecutor* executor, aclrtStream stream);约束说明weight的2N维必须能被 2 整除。x的最后一维K必须与weight的K维一致。中间结果以 FLOAT32 累加FLOAT32 输入下 matmul 精度模式由 tiling 决定必要时调整cubeMathType/SetBufferSpace。调用样例参见 examples/test_aclnn_matmul_swiglu.cpp。【免费下载链接】ops-transformer本项目是CANN提供的transformer类大模型算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-transformer创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

TOPP-RA 0.4.1 与 Pinocchio 3.7.0 集成:UR5 机械臂时间最优轨迹规划实战

TOPP-RA 0.4.1 与 Pinocchio 3.7.0 集成:UR5 机械臂时间最优轨迹规划实战

TOPP-RA 0.4.1 与 Pinocchio 3.7.0 集成:UR5 机械臂时间最优轨迹规划实战在工业自动化和机器人技术快速发展的今天,如何让机械臂以最短时间完成指定任务,同时满足运动学和动力学约束,一直是工程师和研究人员的核心挑战。本文将深入…

📅 2026/11/3 6:33:21
如何优化4D-RGPT-8B性能:10个GPU加速与推理优化技巧

如何优化4D-RGPT-8B性能:10个GPU加速与推理优化技巧

如何优化4D-RGPT-8B性能:10个GPU加速与推理优化技巧 【免费下载链接】4D-RGPT-8B 项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/4D-RGPT-8B 4D-RGPT-8B是NVIDIA开发的革命性多模态大语言模型,专门用于4D视频理解和区域级推理任务。作为N…

📅 2026/11/3 6:33:55
vLLM部署教程:如何高效运行llama-nemotron-embed-vl-1b-v2-fp8模型

vLLM部署教程:如何高效运行llama-nemotron-embed-vl-1b-v2-fp8模型

vLLM部署教程:如何高效运行llama-nemotron-embed-vl-1b-v2-fp8模型 【免费下载链接】llama-nemotron-embed-vl-1b-v2-fp8 项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/llama-nemotron-embed-vl-1b-v2-fp8 llama-nemotron-embed-vl-1b-v2-fp8是一款…

📅 2026/11/3 6:37:09
MORE NEWS

更多资讯

📰

精神病考电工证官方回应来了,证书过期了不知道怎么复审延期怎么办?

精神病考电工证官方回应来了,证书过期了不知道怎么复审延期怎么办? 证书过期了不知道怎么复审延期,这个问题在南阳卧龙区的电工从业者中普遍存在。尤其是那些原本就对流程不熟悉的新手,或者因特殊原因(比如精神病考电工证)在报考和后续管理上遇到阻碍的…

📰

特种工白老师真实经历:工地太忙根本没时间复习考试怎么办

特种工白老师真实经历:工地太忙根本没时间复习考试怎么办 工地太忙根本没时间复习考试,这是无数一线特种作业人员的真实写照。特种工白老师就是其中一位,他之前在洛阳一家公路工程公司做高压电工,每天早上六点起床,晚上十点才能下班,中间还要处理各种临…

📰

国考低压电工证好考吗多久拿证怎么报名更靠谱

国考低压电工证好考吗多久拿证怎么报名更靠谱 不知道去哪报名怕被中介坑?国考低压电工证好考吗多久拿证?你不是一个人,我之前也在许昌一家中小型施工企业当技术员,天天被老板催着考证,结果到处打听,发现这证真不好搞,关键是不知道该信谁。今天我就从一…

📰

交运驾校能办电工证吗值不值得考

交运驾校能办电工证吗值不值得考 实操考试心里没底怕挂科,尤其是第一次接触特种作业证书考试的学员,对流程、题型、考场规则都一无所知,很容易在考试中掉链子。很多学员在报名前都会问“交运驾校能办电工证吗”,但大多数人忽略了“值不值得考”这个更关键…

📰

特种工白老师怎么考?官方报名入口全攻略

特种工白老师怎么考?官方报名入口全攻略 实操考试心里没底怕挂科,这几乎是所有准备考特种作业操作证的朋友心里的共同声音。尤其是像安阳房建工程这类需要持证上岗的行业,没有证书,连进场都难。今天就从【特种工白老师】的角度,一步步带你了解怎么考、怎…

📰

兴义电工证培训花费保姆级教程:没证别想上岗,这本证决定你工资高低

兴义电工证培训花费保姆级教程:没证别想上岗,这本证决定你工资高低 现在电工证成了找工作必备的门槛,特别是像你这样在驻马店做房建工程的,没有电工证连工地都进不去。别再想着先干着干着再考证了, 电工证是硬门槛 , 兴义电工证培训花费…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬