用 SGLang 跑 Intern-S2-Preview 的 MTP 加速：35B 科学多模态模型推理实测能快多少？-北京尧图网络

1. Intern-S2-Preview 的 MTP 加速到底能快多少Intern-S2-Preview 是上海人工智能实验室推出的 35B 科学多模态模型定位不是单纯堆参数而是把重点放在科学任务、多模态理解和推理速度上。它有一个很值得单独拿出来测的点MTPMulti-Token Prediction加速。简单说普通自回归生成一次只预测一个 token而 MTP 会先草拟多个后续 token再交给主模型批量验证验证通过就一次接受多个从而减少 decode 阶段的生成轮数。这篇内容聚焦一个具体问题在 SGLang 下跑 Intern-S2-Preview开启 MTP 后推理到底能快多少我会给出可复制的启动配置、MTP 开关参数、显存占用情况以及一套能直接跑的基准测试脚本。适合已经在做多模态模型部署、关心长文本生成吞吐、想判断 MTP 收益是否值得开启的读者。实测环境是 8 张 H200单卡 144GB 显存SGLang 部署在 Ubuntu 22.04 上。先说结论方向MTP 的收益高度依赖输出长度。输出越短收益越有限输出越长decode 阶段省下的轮数越多加速越明显。在 16000 输出长度下output token throughput 接近翻倍TPOT 和 ITL 降低约六成。下面把配置和验证过程完整拆开。2. 跑之前先把 TaoToken 的 Key 和接入信息准备好无论你是先做模型对话验证还是直接上 SGLang 做服务化部署都需要一个稳定的 API 入口来对照结果、做小流量验证。TaoToken 提供统一的模型接入能力官网地址是 https://taotoken.net/?utm_sourcetaotoken_aicg_blog_endutm_mediumcsdnutm_campaignrewriteutm_content API 入口是 https://taotoken.net/api 。如果你只是想先确认模型对话行为是否符合预期可以直接用模型对话页面做几轮科学问答和多模态输入测试确认 reasoning 和 tool call 格式没问题再去跑 SGLang 服务。模型对话入口https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite 。如果你打算长期做编码或 Agent 类任务建议直接看 Coding Plan把调用额度和模型路由一次配好避免后面反复换 Key。Coding Plan 入口https://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite 。需要生成和管理 Key 的话在控制台的 API Keys 页面操作即可https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite 。接入文档在 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 里面有各语言 SDK 的调用示例。如果你用的是 Claude Code 这类工具Anthropic 兼容接入说明在 https://taotoken.net/claude-code-anthropic?utm_sourcetaotoken_aicg_blog_endutm_contentclaude_codeutm_campaignrewrite 。注意TaoToken 在这里的角色是统一的模型接入与调用入口方便你做对照验证和日常调用不是用来替代本地 SGLang 部署的。本地推理加速仍然靠 SGLang MTP 参数完成。3. SGLang 启动配置baseline 与 MTP 两组命令这一节是全文最核心的可复制部分。先给 baseline不开启 MTP再给开启 MTP 的版本两组命令只差几个参数方便你直接对照。3.1 环境与版本实测环境的主要组件版本如下版本不一致可能导致参数行为有差异建议先对齐组件版本sglang0.0.0.dev1g7f154ba44sglang-kernel0.4.2.post2cu129torch2.11.0cu129transformers5.8.1triton3.6.0系统Ubuntu 22.04显卡8 × NVIDIA H200 144GB模型在 8 卡 H200 上部署后单卡 SGLang 进程显存大约 122GB。这个模型包含多模态和 MTP 相关模块实际体量感不是简单 35B dense 模型能比的所以用 8 卡跑比较稳妥。3.2 baseline不开启 MTPpython -m sglang.launch_server \ --model-path /path/to/Intern-S2-Preview \ --served-model-name Intern-S2-Preview \ --tp 8 \ --trust-remote-code \ --host 0.0.0.0 \ --port 30000 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --mem-fraction-static 0.8 \ --model-loader-extra-config {enable_multithread_load: true, num_threads: 64} \ --enable-metrics几个参数说明一下。--tp 8是 8 卡 tensor parallel--trust-remote-code必须开因为模型包含自定义结构和推理逻辑--reasoning-parser qwen3和--tool-call-parser qwen3_coder用来适配 Qwen3 系列的 reasoning 与 tool call 格式--mem-fraction-static 0.8限制静态显存比例给运行时调度、KV cache 和临时开销留空间--model-loader-extra-config开启多线程加载加快启动速度。3.3 开启 MTPpython -m sglang.launch_server \ --model-path /path/to/Intern-S2-Preview \ --served-model-name Intern-S2-Preview \ --tp 8 \ --trust-remote-code \ --host 0.0.0.0 \ --port 30000 \ --reasoning-parser qwen3 \ --tool-call-parser qwen3_coder \ --mamba-scheduler-strategy extra_buffer \ --speculative-algo NEXTN \ --speculative-eagle-topk 1 \ --speculative-num-steps 3 \ --speculative-num-draft-tokens 4 \ --mem-fraction-static 0.8 \ --model-loader-extra-config {enable_multithread_load: true, num_threads: 64} \ --enable-metrics和 baseline 相比多了 5 组参数逐个解释--mamba-scheduler-strategy extra_bufferspeculative decoding 会引入 draft token、验证 token 等额外中间状态用 extra_buffer 给调度过程预留额外 buffer。--speculative-algo NEXTN这是开启 MTP 加速的关键。NEXTN 让模型利用 MTP 能力预测接下来的多个 token再由主模型验证。目标不是让每个 token 的计算消失而是让一次主模型 forward 尽量确认多个 token减少生成轮数。--speculative-num-steps 3speculative decoding 的预测步数设为 3 表示让 MTP 模块向后做多步草稿预测。--speculative-eagle-topk 1draft 阶段选择最确定的候选 token优先让草稿路径保持确定性方便观察 accept rate 和速度变化。--speculative-num-draft-tokens 4每轮 speculative decoding 交给主模型验证的 token 数量。提示这几个参数不是越大越好。num-steps 和 num-draft-tokens 增大草稿变长但被拒绝的概率也上升accept length 反而可能下降。建议先用上面这组保守配置跑通再逐步调。4. 基准测试脚本与验证步骤服务起来之后用 SGLang 自带的在线服务 benchmark 工具压测。它会向已启动的 HTTP 服务持续发请求统计请求吞吐、token 吞吐、首 token 延迟、逐 token 延迟等指标。4.1 测试数据集用的是 ShareGPT 数据集来自早期用户与 ChatGPT 的真实多轮对话记录内容接近实际聊天场景而不是随机字符串或固定模板。用它做 serving benchmark 更贴近真实在线推理服务的输入分布同时能构造不同长度的输入输出请求模拟真实服务压力。4.2 关注指标Output token throughput每秒生成多少输出 token最直观的吞吐指标。TPOTTime Per Output Token平均每个输出 token 的耗时。ITLInter-Token Latency相邻输出 token 之间的延迟更能反映 decode 阶段的逐 token 生成速度。TTFTTime To First Token首 token 延迟。MTP 主要优化 decode 阶段不一定改善 TTFT某些配置下因为额外的 draft 和验证调度TTFT 甚至可能略增。Accept length平均每轮 speculative decoding 能接受多少个 draft token。这是判断 MTP 是否有效的关键指标accept length 越高主模型一次 forward 推进的 token 越多整体生成速度越容易提升。4.3 benchmark 命令以输入长度 1024、输出长度 4096 为例python -m sglang.bench_serving \ --backend sglang-oai-chat \ --base-url http://server-ip:30000 \ --model /path/to/Intern-S2-Preview \ --served-model-name Intern-S2-Preview \ --tokenizer /path/to/Intern-S2-Preview \ --dataset-name random \ --dataset-path /path/to/ShareGPT_V3_unfiltered_cleaned_split.json \ --random-input-len 1024 \ --random-output-len 4096 \ --random-range-ratio 0.5 \ --num-prompts 2048 \ --request-rate inf \ --max-concurrency 64 \ --warmup-requests 16 \ --seed 1 \ --apply-chat-template \ --extra-request-body {temperature: 0.0} \ --output-details--backend sglang-oai-chat表示按 OpenAI/v1/chat/completions格式访问 SGLang 服务--random-range-ratio 0.5给输出长度设置 50% 的随机波动避免所有请求长度完全相同更接近真实服务中有长有短的请求分布--request-rate inf让请求尽快发出测满负载吞吐--max-concurrency 64控制并发量级--warmup-requests 16减少首次请求波动--extra-request-body {temperature: 0.0}降低 temperature 对 benchmark 的影响。4.4 实测结果在 8×H200 SGLang 环境下开启 MTP 后长输出场景加速明显。随着目标输出长度从 1024 增加到 16000output throughput 提升从 15.68% 增长到 97.52%TPOT/ITL 降低幅度从约 35% 增长到 61%。输出长度baseline tok/sMTP tok/s吞吐提升10244613.845337.1515.68%40966314.979556.0351.32%81926400.6311262.8775.97%160006173.5112194.0497.52%TPOT 和 ITL 也呈现同样规律。Output16000 时TPOT 从 10.05 ms 降到 3.86 ms降低 61.61%ITL 从 10.12 ms 降到 3.88 ms降低 61.61%。这说明 MTP 的收益不是某次 benchmark 波动而是确实降低了 decode 阶段每个 token 的平均生成成本。Accept length 能解释这个现象。随着输出长度增加MTP on 的 accept length 从约 2.97 提升到 3.63输出长度Accept length10242.9740963.1481923.39160003.63长输出时 MTP 草稿 token 的利用率更高主模型不再需要完全逐 token 解码整体速度自然明显提升。5. 本篇常见错排查5.1 启动报 trust-remote-code 相关错误模型包含自定义结构和推理逻辑不加--trust-remote-code会在加载阶段直接失败。确认命令里带上这个参数并且模型路径指向的是完整权重目录不是单个文件。5.2 开启 MTP 后服务起不来或显存 OOMMTP 会额外占用显存用于 draft 和验证状态。如果单卡显存吃紧先把--mem-fraction-static从 0.8 降到 0.7 或 0.75给调度和 KV cache 留更多空间。另外确认--mamba-scheduler-strategy extra_buffer已加上否则 speculative decoding 的额外中间状态可能没有足够 buffer。5.3 accept length 偏低加速不明显先看输出长度。如果 benchmark 用的是 1024 以内的短输出MTP 收益本来就有限这是正常现象。如果长输出下 accept length 仍然低于 2检查--speculative-eagle-topk是否被调得过大topk 越大草稿越分散被拒绝概率越高。先用 topk1、num-steps3、num-draft-tokens4 这组保守配置复现再逐步调。5.4 TTFT 变差MTP 优化的是 decode 阶段不保证改善 TTFT。开启 speculative decoding 后首 token 前多了 draft 和验证调度TTFT 略增是预期内的。如果你的场景对首 token 延迟极度敏感、输出又很短可以评估是否值得开 MTP。5.5 benchmark 结果波动大确认加了--warmup-requests 16和--seed 1并把--extra-request-body {temperature: 0.0}带上减少随机性。另外--random-range-ratio 0.5会让每次请求长度有波动多跑几轮取稳定值不要只看单次结果。5.6 用 TaoToken 做对照验证时请求格式不对如果你用 TaoToken 的 API 做小流量对照注意 base URL 是 https://taotoken.net/api 路径按 OpenAI 兼容格式拼接。reasoning 和 tool call 的解析格式要和 SGLang 侧的--reasoning-parser qwen3、--tool-call-parser qwen3_coder对齐否则会出现解析失败或字段缺失。接入细节看文档https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。6. 按场景选对入口把验证和调用分开做实测下来MTP 在长输出场景的收益是实打实的但前提是配置对、输出够长、accept length 能起来。我的建议是把两件事分开本地 SGLang 负责推理加速和吞吐压测TaoToken 负责日常调用、对照验证和 Agent 工作流接入。如果你现在卡在排障或接入阶段先去 API Keys 页面生成 Key再对照接入文档把请求格式调通https://taotoken.net/console/api-keys?utm_sourcetaotoken_aicg_blog_endutm_contentapi_keysutm_campaignrewrite 和 https://taotoken.net/doc?utm_sourcetaotoken_aicg_blog_endutm_contentdocutm_campaignrewrite 。如果你只是想先验证模型对话和多模态理解行为直接用模型对话页面跑几轮科学问答最快https://taotoken.net/models?utm_sourcetaotoken_aicg_blog_endutm_contentmodel_chatutm_campaignrewrite 。如果你要长期做编码或 Agent 类任务把 Coding Plan 配好避免每次手动换 Keyhttps://taotoken.net/coding-plan?utm_sourcetaotoken_aicg_blog_endutm_contentcoding_planutm_campaignrewrite 。最后留一个实用技巧调 MTP 参数时先固定--speculative-eagle-topk 1和--speculative-num-steps 3只动--speculative-num-draft-tokens从 4 开始每次加 1观察 accept length 和 output throughput 的变化曲线。accept length 开始下降的那个点就是你这套硬件和模型组合的收益拐点。

用 SGLang 跑 Intern-S2-Preview 的 MTP 加速：35B 科学多模态模型推理实测能快多少？

相关推荐

C# Chart控件实战：柱形图与折线图同图叠加并加滚动条

Hermes Agent 到底能干什么？16 个分类、276 个用例的完整答案：从配置到验证的 TaoToken 接入指南

TensorFlow底层原理与生产部署避坑指南

更多资讯

STM32CubeMX下载、固件包安装与离线导入排错指南

SM2258XT固态开卡量产实战：工具选型、参数配置与掉盘修复

Apache Beam Go 实战：用 ParDo 实现 One-to-Many 一对多映射

C++学习的三层能量模型：语法、内存与范型

BLE DTM by HCI：射频层直通测试原理与实战

Jenkins从安装到自动化部署：踩坑实录与实战指南

今日更新

开源模型端侧落地实战：量化、推理加速与Agent上下文管理

AI Evals实战指南：从零搭建LLM应用评估体系与CI/CD集成

Java采购管理系统实战：从数据库设计到事务一致性

本周精选

如何彻底离线使用 Laya-CoreML：Hugging Face 下载、缓存机制与 local_files_only 详解

基于1Panel 部署MySQL MCP 服务：TaoToken 统一 Key 接入与 config.toml 配置实战

崇州园区营销网站建设避坑指南：5大注意事项保备案安全

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？