120ms 响应：如何让「本地AI数字人」跑进你的手机-北京尧图网络

120ms 响应如何让「本地AI数字人」跑进你的手机【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile地铁里没有信号打开 App数字人的声音和口型照样在端侧跑起来——Duix Mobile 就是一套离线数字人交互 SDK一个能在终端上本地运行、真正会听会说的本地AI数字人。项目定位与关键指标Duix Mobile 是面向移动设备和嵌入式屏幕的开源 SDK让实时交互式 AI 数字人直接在端侧运行不依赖云端服务器开发者可接入自己的或第三方 LLM、ASR、TTS拼出一个能真正对话的数字人界面。指标数据响应延迟120ms骁龙 8 Gen 2 实测网络依赖核心功能全本地可完全离线平台Android 10 / iOS 12覆盖平板、车机、VR、大屏Android 硬件8 核及以上 CPU、8GB 以上内存、数字人可用内存 ≥800MBiOS 设备iPhone 8 及以上推荐 A12 芯片以上开放形象4 款数字人模型Leo / Oliver / Sofia / Lily端侧推理栈ONNX ncnn核心能力本地AI数字人如何听、想、说、动SDK 的分工正好对应用户的感知链路前端负责听与想中间交给任意大模型后端负责说与动。听与想本地特征提取大脑可替换音频在端上完成采集与特征提取统一走 PCM 16kHz / 16bit 单通道这一标准格式。对话大脑则是完全开放的插槽LLM、ASR、TTS 都可以换成自己的或第三方的SDK 只承担渲染与驱动这最后一公里。换句话说知识库和语言能力取决于你喂什么模型SDK 负责把它看得见、说得出。说流式合成随时打断2025 年 7 月 17 日版本起提供带打断的流式音频边合成边播放用户随时插话数字人立即停下响应唇形同步与多语言字幕也都有原生支持。等合成完再说和边合成边说的差距正是机械感与人味的分水岭。动透明渲染与动作区间渲染走 GLES / Metal支持透明通道数字人可以直接叠在任意业务界面上。模型附带 SpecialAction.json 标注可按名称播放打招呼挥手等指定动作静默期也能随机播放动作区间形象不会僵在原地。集成路径三步完成 Android 端集成导入 SDKduix-sdk目录拷入工程settings.gradle 中 include 后加依赖准备模型用 VirtualModelUtil 检查并下载基础配置与模型包初始化引擎onCreate 中构建 DUIX 实例、调用 init等 INIT_READY 回调驱动口型startPush → pushPcm → stopPush成对推送 16k PCM 流接口细节见 duix-android/dh_aigc_android/README_zh.md。注意每段音频不少于 1 秒32000 字节否则触发不了口型驱动可自行用空白帧填充。iOS 端集成流程拖入框架GJLocalDigitalSDK.framework 进工程设置 Embed Sign声明权限链接 AVFoundationInfo.plist 写入麦克风用途说明初始化启动initBaseModel 指定基础资源目录与模型目录toStart 启动渲染推流驱动toWavPcmData 推送 PCM 流配合 newSession / finishSession 管理会话完整 Demo 见 duix-ios/GJLocalDigitalDemo/README_zh.md工程依赖可直接 pod install 安装。落地叙事从政务大厅到车里无人值守的大屏终端。挑战政务大厅、银行、机场多为内网或弱网环境业务数据不允许出域。方案核心流程全在端侧闭环断网不影响服务。效果数字人变成 7×24 在线的导览讲解员在地铁、偏远地区同样稳定运行部署成本只是一块屏幕。手机里的陪伴与客服。挑战移动端用户对响应的容忍度最低云端一来一回在弱网下体感迟缓。方案端侧流式合成打断能力输入到口型输出的链路全部压缩在本地。效果骁龙 8 Gen 2 实测响应低于 120ms交互节奏接近真人对话。车机与教育场景。挑战驾驶中等待时间以秒计语言教学需要实时反馈。方案端侧 ASR / TTS 打底再接入多语言能力。效果参考案例中车载语音指令识别准确率达 98.7%语言学习应用里学生的口语练习频率提升了 3 倍。新手 FAQ离线数字人交互怎么上手Q没有现成的形象能直接用吗可以。仓库里带 4 款开放模型Leo、Oliver、Sofia、Lily 下载即用想要专属形象提供 15 秒到 2 分钟的真人视频即可完成定制。Q必须用它配套的模型和语音吗不必。LLM、ASR、TTS 都是开放插槽SDK 不绑定任何一家模型唇形同步、多语言字幕是标准能力。Q本地跑会不会太吃资源Android 侧要求数字人可用内存 800MB 以上、设备 8GB 起步、模型占 1GB 以上存储。设备偏弱时SDK 提供监控回调可以观察每帧渲染情况方便提前发现瓶颈。里程碑✅ 已上线流式音频合成与打断2025.07.17✅ 已优化算法响应速度提升 40%2025.08.30 开发中多数字人同屏交互规划中AR 空间数字人投影最省事的路径先 clone 示例仓库git clone https://gitcode.com/GitHub_Trending/du/Duix-Mobile把 Android 与 iOS 两个 Demo 各跑起来一个数字人再决定换哪个形象、接哪个大模型。接口细节都在 duix-android 与 duix-ios 目录下的两份 README 里踩坑时也可以去开发者社区直接提问。【免费下载链接】Duix-Mobile The best real-time interactive AI avatar(digital human) with on-premise deployment and 1.5 s latency.项目地址: https://gitcode.com/GitHub_Trending/du/Duix-Mobile创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

120ms 响应：如何让「本地AI数字人」跑进你的手机

相关推荐

Cherry Studio 前端测试规范：渲染进程、packages/ui 与 E2E 的层级选择、Mock 边界与评审门禁

ChatTTS-ui 本地语音合成实战：3 条部署路径、音色种子与 /tts 接口全拆解

3 步装好 PT 助手 Plus：Chrome、Edge、Firefox 全平台安装部署指南

更多资讯

AquaPulse：边缘AI如何实现管道漏水实时检测与预警

Claude Code vs Codex：同一把 TaoToken Key 跑 gin 仓库中间件重构

Sails 请求起始时间属性 `req._startTime` 完全指南：原理、用法与响应耗时测量

理解 Apache MXNet 入门指南：核心概念、编程范式与 Gluon 混合编程详解

Apache Flink 集成 Hive 函数：HiveModule、原生聚合函数与 Hive UDF 完整使用指南

web3.js 仓库 CHANGELOG 规范与实践：基于 Keep a Changelog 与 SemVer 的自动化维护指南

今日更新

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本周精选

深入解析Transformer多头注意力机制与工程优化

OpenClaw 的 Skills 跑学习任务，模型通道改到 TaoToken 通道行不行？

ChatGPT报错Oops, an error occurred! 全链路排查指南

本月热门

基于YOLO的焊缝缺陷检测：从数据标注到工业部署全流程实践

分布式服务的决策记录

创业产品的首版范围

读完文章，想聊聊您的网站？