CANN/ge异步执行图接口-北京尧图网络

ExecuteGraphWithStreamAsync【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品 / Atlas A3 推理系列产品√Atlas A2 训练系列产品 / Atlas A2 推理系列产品√头文件/库文件头文件#include ge/ge_api.h库文件libge_runner.so功能说明异步运行指定ID对应的Graph图输出执行结果。此函数与RunGraphWithStreamAsync均用于运行指定ID对应的图并输出结果。与RunGraphWithStreamAsync不同的是该接口运行前需要完成CompileGraph及LoadGraph异步运行Graph场景流程。该接口inputs和outputs数据类型为gert::Tensor。函数原型Status ExecuteGraphWithStreamAsync(uint32_t graph_id, void *stream,const std::vectorgert::Tensor inputs,std::vectorgert::Tensor outputs)参数说明参数名输入/输出说明graph_id输入子图对应的ID。stream输入指定图在哪个Stream上运行。inputs输入当前子图对应的输入数据为Device上的内存空间。如果通过options指定了ge.exec.hostInputIndexes参数对应索引的Tensor可以为Host上的内存空间。outputs输出当前子图对应的输出数据为Device上的内存空间。如果没有分配输出内存且未通过[RegisterExternalAllocator](https://pre-link.gitcode.com/i/932c600d9b2a35a7dd95cdc8814c7101)注册外置allocatorGE使用内置allocator分配内存用户需要在图卸载前主动释放此内存。返回值说明参数名类型说明-StatusSUCCESS异步运行图成功。FAILED异步运行图失败。约束说明调用该接口前请先分配好Tensor需要使用的内存。若未通过RegisterExternalAllocator注册外置allocator且未分配输出内存GE使用内置allocator分配内存用户需要在图卸载前主动释放此内存。调用该接口前需要完成CompileGraph及LoadGraph流程。调用该接口前需要通过acl提供的aclrtCreateStream接口创建Stream。得到输出运行结果前需要通过acl提供的aclrtSynchronizeStream接口保证Stream上的任务已经执行完。接口详细说明请参见《应用开发指南 (CC)》。调用示例请参见异步运行Graph。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

CANN/ge异步执行图接口

相关推荐

Python实现Simhash论文查重：语义敏感指纹与汉明距离阈值控制

Flipper Zero 固件中文显示彻底修复：字体到语言表一次搞定

Flask实现汉服交易商城小程序的技术实践

更多资讯

用 Firecrawl 将任意网站一键转成结构化 API：Website-to-API-with-FireCrawl 配置、源码与 Schema 抽取实战指南

Hydra 为什么总在重复下载同一个游戏？Real-Debrid 重复下载问题完整修复方案

Rust 编译器错误 E0805 详解：属性参数数量错误，从 `[inline]` 示例到 rustc_attr_parsing 实现

最低通行费定价原理与电子收费系统实现

AI认证解析：价值、潜力与备考策略

基于卷积神经网络的垃圾分类系统从零搭建与调参实战

今日更新

CopilotKit Vue Demo 与 React Demo 的 Parity 实现指南：路由、运行时端点与交互语义的全框架对齐

Harbor RBAC 实战：db_auth 模式下非管理员用户管理项目成员的完整验证与权限模型解析

STM32平衡车纯平衡程序从拆包到参数整定的完整调试指南

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？