CANN/GE异步模型执行API-北京尧图网络

aclmdlExecuteAsyncV2【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况Ascend 950PR/Ascend 950DT不支持Atlas A3 训练系列产品/Atlas A3 推理系列产品不支持Atlas A2 训练系列产品/Atlas A2 推理系列产品不支持Atlas 200I/500 A2 推理产品不支持Atlas 推理系列产品不支持Atlas 训练系列产品不支持IPV350支持功能说明根据aclmdlSetExecConfigOpt所配置的属性执行模型推理直到返回推理结果。该接口是在aclmdlExecuteAsync接口基础上进行了增强支持在执行模型推理时控制一些配置参数。异步接口。本接口需要配合其它接口一起使用实现模型执行接口调用顺序如下调用aclmdlCreateExecConfigHandle接口创建模型执行的配置对象。多次调用aclmdlSetExecConfigOpt接口设置配置对象中每个属性的值。调用aclmdlExecuteAsyncV2接口指定模型执行时需要的配置信息并进行模型执行。模型执行成功后调用aclmdlDestroyExecConfigHandle接口销毁。函数原型aclError aclmdlExecuteAsyncV2(uint32_t modelId, const aclmdlDataset *input, aclmdlDataset *output, aclrtStream stream, const aclmdlExecConfigHandle *handle)参数说明参数名输入/输出说明modelId输入指定需要执行推理的模型的ID。调用aclmdlLoadFromFile接口/aclmdlLoadFromMem接口/aclmdlLoadFromFileWithMem接口/aclmdlLoadFromMemWithMem接口加载模型成功后会返回模型ID。input输入模型推理的输入数据的指针。类型定义请参见aclmdlDataset。output输出模型推理的输出数据的指针。类型定义请参见aclmdlDataset。stream输入指定Stream。类型定义请参见aclrtStream。handle输入模型执行的配置对象的指针。类型定义请参见aclmdlExecConfigHandle。与aclmdlSetExecConfigOpt中的handle保持一致。返回值说明返回0表示成功返回其他值表示失败请参见aclError。约束说明stream参数不支持传NULL否则返回报错。其它约束与aclmdlExecuteAsync一致。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

CANN/GE异步模型执行API

相关推荐

Langfuse 数据删除最佳实践：用轻量删除、ReplacingMergeTree 与 DROP PARTITION 取代 ALTER TABLE DELETE 突变

软文和新闻稿哪里发布？有什么区别？

如何启用 Impeller 渲染后端并在 Skia 与 Impeller 之间切换来确认回归

更多资讯

用 Vue.js 与 D3.js 打造自定义社交网络可视化应用：Data Science for Beginners 第 13 课实战

Python OCR实现图片文字识别转Excel全流程解析

3步用Arnis把真实世界搬进Minecraft

Remix lazy-file 包实战：用 LazyBlob/LazyFile 实现按需流式读取的大文件处理

Rust 编译器构建前置条件全解：依赖清单、硬件需求与资源优化策略（rustc-dev-guide）

RustFS 专用 Docker Compose 场景配置指南：4 节点分布式集群测试与可观测性验证

今日更新

CopilotKit Vue Demo 与 React Demo 的 Parity 实现指南：路由、运行时端点与交互语义的全框架对齐

Harbor RBAC 实战：db_auth 模式下非管理员用户管理项目成员的完整验证与权限模型解析

STM32平衡车纯平衡程序从拆包到参数整定的完整调试指南

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？