尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
ai推理工程的一些思考笔记
文章目录1.SGLang的P/D分离为什么能解决decode阶段的延迟抖动为什么存在延迟抖动2.不同并行的比较3.关于HBM4.Nvidia一些显卡介绍包括A\L\B\H5、NVIDIA工作站卡RTX A系列的坑1.SGLang的P/D分离为什么能解决decode阶段的延迟抖动为什么存在延迟抖动Decode 通常是逐 token 生成每一步都需要完成一次模型推理。它的特点是每次计算量较小但需要频繁执行对单步延迟非常敏感依赖 KV Cache常常受显存带宽、KV Cache 访问和 GPU kernel 调度影响。而 Prefill 的特点是一次处理大量输入 token计算密集容易占满 GPU会产生大量 KV Cache任务长度差异很大容易形成长尾请求。如果 Prefill 和 Decode 共用 GPU就会产生几类抖动1.Prefill 抢占 GPU 计算资源一个长 prompt 到来时Prefill 可能运行较长时间Decode 请求只能等待或被切分执行。2.Batch 动态变化连续批处理会不断加入新请求、移除已完成请求。Batch 大小和形状变化会导致 kernel 执行时间不稳定。3.请求长度差异导致排队不稳定短 prompt 和超长 prompt 混在一起时长 Prefill 会拖慢其他请求形成 head-of-line blocking。4.显存和 KV Cache 压力变化Prefill 会突然分配大量 KV Cache可能导致显存碎片、Cache eviction、内存拷贝或重新调度。5.Decode 对资源竞争更敏感Decode 单步耗时本来就短哪怕被 Prefill 延迟几毫秒也会明显反映在 ITLInter-Token Latency上2.不同并行的比较传送门3.关于HBMHBMHigh Bandwidth Memory是一种基于3D堆叠技术的高性能DRAM内存通过垂直堆叠多层DRAM芯片并用TSV硅通孔实现高速互联提供极高带宽和低延迟。在AI训练中HBM作为GPU的超高速工作内存其最新HBM3E单栈带宽可达1.4TB/s是DDR5的5倍能显著突破“内存墙”瓶颈。相比传统内存HBM功耗降低40%-50%且封装更紧凑是AI、HPC等高性能计算领域的核心存储技术。当前主流供应商包括SK海力士、三星和美光2026年HBM4产品已开始量产。4.Nvidia一些显卡介绍包括A\L\B\H连接5、NVIDIA工作站卡RTX A系列的坑链接
RELATED

相关推荐

汽车操作系统演进:从QNX、Linux到AAOS的架构变革与开发实践

汽车操作系统演进:从QNX、Linux到AAOS的架构变革与开发实践

1. 从机械仪表到数字座舱:汽车操作系统的萌芽与早期探索如果你是一位在汽车行业摸爬滚打了十几年的工程师,或者是一位深度汽车爱好者,那么你一定对“汽车操作系统”这个词有着复杂的感情。它既不像手机操作系统那样触手可及,也不像…

📅 2026/10/8 15:09:25
知识竞赛实战指南:从备战策略到答题技巧的全流程解析

知识竞赛实战指南:从备战策略到答题技巧的全流程解析

1. 活动背景与核心价值:一场年末的知识盛宴又到年底了,各种总结、盘点、年会活动扎堆,但总感觉少了点什么。对于咱们这些在职场、在校园、甚至是在家带娃的“终身学习者”来说,年底除了回顾,更需要一场能点燃大脑、检验…

📅 2026/9/29 20:03:49
多智能体强化学习交互鲁棒性:对抗训练框架解析与实践

多智能体强化学习交互鲁棒性:对抗训练框架解析与实践

1. 项目概述:为什么多智能体强化学习的“交互”如此脆弱?在自动驾驶车队协同、多机器人编队、智能电网调度这些复杂的现实场景里,我们越来越多地依赖多智能体强化学习(Multi-Agent Reinforcement Learning, MARL)来做出…

📅 2026/10/5 11:56:58
MORE NEWS

更多资讯

📰

ThinkRail Workspaces 实战指南:用 git worktree 实现 Agent 隔离开发与并行任务

【免费下载链接】thinkrail Vibe code with pi in a lightweight, real IDE that customises itself around the way you work — The Vibe You Need 项目地址: https://gitcode.com/GitHub_Trending/th/thinkrail 点击查看 免费下载 本文以 ThinkRail 官方博客《T…

📰

3 步装好 Codex 桌面增强工具 Codex++,不再被单一供应商卡住

3 步装好 Codex 桌面增强工具 Codex,不再被单一供应商卡住 【免费下载链接】CodexPlusPlus An enhanced tool for CodexApp, striving to make Codex better to use and more comfortable 一个CodexApp的增强工具,努力让Codex和其他 AI Agent变得更好用更…

📰

unity团结引擎 出现水印:Not for release和Trial version

提示:文章写完后,目录可以自动生成,如何生成可参考右边的帮助文档 文章目录前言一、吐槽一下二、申请个人发布标识符(最关键)(1)去认证(2)项目内填写标识符三、修复 Hub …

📰

基于SpringBoot+Vue的健身房信息管理系统(SpringBoot+MySQL)| 毕业设计 源码+论文+完整教程

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

艾尔登法环存档编辑器 ER-Save-Editor 完整指南:5 分钟调整属性、补齐装备

艾尔登法环存档编辑器 ER-Save-Editor 完整指南:5 分钟调整属性、补齐装备 【免费下载链接】ER-Save-Editor Elden Ring Save Editor. Compatible with PC and Playstation saves. 项目地址: https://gitcode.com/GitHub_Trending/er/ER-Save-Editor 你刚把角…

📰

Genkit skills本质解析:可编排的LLM能力契约单元

1. 这个“skills”到底指什么?别被热搜词带偏了方向 最近刷技术社区、开发者论坛,甚至朋友圈里都频繁跳出“skills”这个词——不是英文单词本意的“技能”,而是某种具体可安装、可调用、可配置的实体模块。它和 Gemini、GKE、Genkit、Googl…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬