CANN/ge LLM KV缓存拉取接口-北京尧图网络

PullKvCache【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge产品支持情况产品是否支持Atlas A3 训练系列产品/Atlas A3 推理系列产品√Atlas A2 推理系列产品√Atlas A2 训练系列产品x函数功能从远端节点拉取Cache到本地Cache仅当角色为Decoder时可调用。函数原型Status PullKvCache(const CacheIndex src_cache_index, const Cache dst_cache, uint32_t batch_index 0U, int64_t size -1, const KvCacheExtParam ext_param {})参数说明参数名称输入/输出取值说明src_cache_index输入远端源Cache的索引。dst_cache输入本地目的Cache。batch_index输入本地目的batch的下标。size输入设置为0的整数表示要拉取的大小。或设置为-1表示完整拉取。默认为-1。ext_param输入当前支持ext_param中src_layer_range的sencond与first的差值和dst_layer_range的sencond与first的差值一致。src_layer_range和dst_layer_range的first和second默认值都是-1表示全部的层。取值范围都是[0, 最大可用层索引]且first小于等于second。最大可用层索引值的计算公式如下。(CacheDesc::num_tensors / KvCacheExtParam::tensor_num_per_layer) - 1当前支持tensor_num_per_layer取值范围是[1, 当前cache的tensor总数]默认值为2。当src_layer_range或dst_layer_range取值为非默认值时 tensor_num_per_layer可以保持默认值也可以输入其他值输入其他值的时tensor_num_per_layer的取值还需要被当前cache的tensor总数整除。调用示例CacheIndex cache_index; cache_index.cluster_id 0; cache_index.cache_id cached_tensors.cache_id; cache_index.batch_index 0; Status ret llm_datadist.PullKvCache(cache_index, cache)返回值LLM_SUCCESS成功LLM_PARAM_INVALID参数错误LLM_NOT_YET_LINK与远端cluster没有建链LLM_TIMEOUT拉取超时LLM_KV_CACHE_NOT_EXIST本地或远端KV Cache不存在其他失败约束说明该接口调用之前需要先调用Initialize接口完成初始化。dst_cache必须为AllocateCache接口申请出的Cache。【免费下载链接】geGEGraph Engine是面向昇腾的图编译器和执行器提供了计算图优化、多流并行、内存复用和模型下沉等技术手段加速模型执行效率减少模型内存占用。 GE 提供对 PyTorch、TensorFlow 前端的友好接入能力并同时支持 onnx、pb 等主流模型格式的解析与编译。项目地址: https://gitcode.com/cann/ge创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

CANN/ge LLM KV缓存拉取接口

相关推荐

CANN/ge FlowMsg数据类型API

Java数组深度解析：内存模型、算法与工程实战

使用 fuels-ts 的 Vite 模板快速搭建 Fuel dApp：开发流程、项目结构与测试网部署指南

更多资讯

如何用 docker/compose Go SDK 在自己的程序中加载 Compose 项目并启动服务？

从零搭建智能学习平台：SpringBoot+Vue全栈开发实战与踩坑总结

如何在 PostHog ClickHouse 中创建物化列加速 JSON 属性查询？

语音Skill触发失败的工程根源与七层排查法

企业级AI Agent平台选型避坑指南：权限集成、RAG鲁棒性与故障诊断

Semgrep 快速上手：如何用一条命令完成静态分析，三分钟写出第一条代码扫描规则

今日更新

CopilotKit Vue Demo 与 React Demo 的 Parity 实现指南：路由、运行时端点与交互语义的全框架对齐

Harbor RBAC 实战：db_auth 模式下非管理员用户管理项目成员的完整验证与权限模型解析

STM32平衡车纯平衡程序从拆包到参数整定的完整调试指南

本周精选

超人会飞不算本事：系统稳定依赖清晰规则与边界设计

超人VS蜘蛛侠：拆解超级IP的影响力与传播方法论

基于CNN的调制信号识别：MATLAB实现时频图分类实战

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？