尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
CANN/ops-nn PowerSign优化器原地更新算子
InplaceApplyPowerSign【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn产品支持情况产品是否支持Ascend 950PR/Ascend 950DT√Atlas A3 训练系列产品/Atlas A3 推理系列产品×Atlas A2 训练系列产品/Atlas A2 推理系列产品×Atlas 200I/500 A2 推理产品×Atlas 推理系列产品×Atlas 训练系列产品×功能说明算子功能执行PowerSign优化器的单步参数更新。PowerSign将更新机制解耦为方向和幅度两个维度利用梯度与一阶矩的符号一致性来自适应调整更新步长对权重var和一阶矩m进行原地更新inplace语义。对标TensorFlowtf.raw_ops.ApplyPowerSign/tf.raw_ops.ResourceApplyPowerSign接口。计算公式$$ \begin{aligned} m_{t} \beta \cdot m_{t-1} (1 - \beta) \cdot grad \ sign_gm \text{sign}(m_{t}) \cdot \text{sign}(grad) \ var_{t} var_{t-1} - lr \cdot \exp(logbase \cdot sign_decay \cdot sign_gm) \cdot grad \end{aligned} $$其中sign(x)为符号函数x 0 返回 1x 0 返回 -1x 0 返回 0exp()为自然指数函数。参数说明参数名输入/输出/属性描述数据类型数据格式var输入待更新的权重参数张量对应公式中的var。与图输出端口var共享GM地址inplace更新。BFLOAT16、FLOAT16、FLOATNDm输入一阶矩估计张量对应公式中的m。shape/dtype必须与var一致与图输出端口m共享GM地址inplace更新。BFLOAT16、FLOAT16、FLOATNDlr输入学习率对应公式中的lr。shape必须为 [1] 的scalar Tensor。BFLOAT16、FLOAT16、FLOATNDlogbase输入对数基底对应公式中的logbase。shape必须为 [1] 的scalar Tensor。BFLOAT16、FLOAT16、FLOATNDsign_decay输入符号衰减因子对应公式中的sign_decay。shape必须为 [1] 的scalar Tensor。BFLOAT16、FLOAT16、FLOATNDbeta输入一阶矩衰减率对应公式中的β取值范围 [0, 1)。shape必须为 [1] 的scalar Tensor。BFLOAT16、FLOAT16、FLOATNDgrad输入当前梯度张量对应公式中的grad。shape/dtype必须与var一致。BFLOAT16、FLOAT16、FLOATNDuse_locking属性是否在更新时加锁。默认false。当前实现不强制互斥锁仅作语义占位。BOOL-var输出更新后的权重张量与输入var共享Device内存inplace。shape/dtype与输入var完全相同。BFLOAT16、FLOAT16、FLOATNDm输出更新后的一阶矩估计张量与输入m共享Device内存inplace。shape/dtype与输入m完全相同。BFLOAT16、FLOAT16、FLOATND约束说明var、m、grad三个张量的shape必须一致。lr、logbase、sign_decay、beta必须为shape[1]的scalar Tensor。所有输入输出的DataType必须一致。FP16/BF16输入内部提升至FP32计算后cast回原类型。调用说明调用方式调用样例说明图模式test_geir_inplace_apply_power_sign通过算子IR构图方式调用InplaceApplyPowerSign算子。【免费下载链接】ops-nn本项目是CANN提供的神经网络类计算算子库实现网络在NPU上加速计算。项目地址: https://gitcode.com/cann/ops-nn创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

C++轻量级Web框架Crow:快速构建高性能HTTP API服务

C++轻量级Web框架Crow:快速构建高性能HTTP API服务

1. 项目概述:为什么选择Crow框架来部署C Web服务器? 在C的世界里,一提到构建Web服务,很多人的第一反应可能是“杀鸡用牛刀”或者“自找麻烦”。毕竟,我们有Python的Flask/Django、Java的Spring、Node.js的Express&…

📅 2026/10/9 4:55:39
如何优化Ornith-1.0-35B-3bit:提升图像理解准确性的7个关键技巧

如何优化Ornith-1.0-35B-3bit:提升图像理解准确性的7个关键技巧

如何优化Ornith-1.0-35B-3bit:提升图像理解准确性的7个关键技巧 【免费下载链接】Ornith-1.0-35B-3bit 项目地址: https://ai.gitcode.com/hf_mirrors/mlx-community/Ornith-1.0-35B-3bit Ornith-1.0-35B-3bit是一个专为Apple Silicon优化的3位量化视觉语言…

📅 2026/9/13 9:46:34
小程序毕设项目:基于微信小程序的校园易物社交服务系统的设计与实现 基于微信小程序的物品闲置托管交换系统 (源码+文档,讲解、调试运行,定制等)

小程序毕设项目:基于微信小程序的校园易物社交服务系统的设计与实现 基于微信小程序的物品闲置托管交换系统 (源码+文档,讲解、调试运行,定制等)

博主介绍:✌️码农一枚 ,专注于大学生项目实战开发、讲解和毕业🚢文撰写修改等。全栈领域优质创作者,博客之星、掘金/华为云/阿里云/InfoQ等平台优质作者、专注于Java、小程序技术领域和毕业项目实战 ✌️技术范围:&am…

📅 2026/10/15 8:37:08
MORE NEWS

更多资讯

📰

电工作业安全反思书怎么写?内部消息教你一次通过

电工作业安全反思书怎么写?内部消息教你一次通过 怕考不过白交培训费,特别是第一次报考特种作业操作证的你,可能连电工作业安全反思书该写什么都不知道,更别提怎么写了。别急,这波 内部消息 直接给你上干货,带你避开那些培训费打了水漂的坑。…

📰

在北京办理电工证怎么转?含金量到底值不值?

在北京办理电工证怎么转?含金量到底值不值? 之前考的证在外省能不能转过来?这个问题我听得太多了,我自己也经历过。很多学员拿着外省的电工证,来北京找工作时被问得一脸懵:“这个证在北京能用吗?”其实,答案是 能转 ,但前提是你的证在…

📰

在北京办理电工证实操考试考什么

北京办理电工证外省证能转吗电子证书怎么查 之前考的证在外省能不能转过来,这事儿我懂,咱们很多兄弟都是在外地干了一阵子,后来回北京发展,手里攥着外地的电工证,想在北京干活儿,但发现根本使不上劲儿。这事儿别急,今天就给你说清楚,…

📰

工地太忙根本没时间复习考试?怎么免费学高压电工证网上查询最全攻略

工地太忙根本没时间复习考试?怎么免费学高压电工证网上查询最全攻略 工地太忙根本没时间复习考试,高压电工证的考试和继续教育总是被一拖再拖,很多一线电工都在问:“怎么免费学高压电工证?”如果你也在为高压电工证的继续教育和考试发愁,这篇文能帮你理…

📰

高配电工证作用官方回应培训机构怎么选

高配电工证作用官方回应培训机构怎么选 怕考不过白交培训费?高配电工证作用到底有多大?官方回应来了,别再被培训机构忽悠了。高配电工证作为特种作业操作证的重要组成部分,关系到电工从业人员的就业、薪资和职业发展。然而,很多从业者在选择培训机构时,…

📰

延庆高压电工作业证怎么考?学历不高怕报不上名?内部消息全在这里

延庆高压电工作业证怎么考?学历不高怕报不上名?内部消息全在这里 学历不高怕报不上名?别急,我来告诉你延庆高压电工作业证的真相。去年我帮一个初中毕业的哥们在延庆办下来了高压电工证,他现在在市政工程干得风生水起。 内部消息…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬