尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
Google AI Edge Gallery 端侧推理实战指南:从模型选型到企业落地的完整路径
Google AI Edge Gallery 端侧推理实战指南从模型选型到企业落地的完整路径【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/galleryGoogle AI Edge Gallery 是谷歌推出的端侧生成式 AI本地 AI平台在 Android 与 iOS 设备本地离线运行开源大模型。本文拆解它的能力边界、部署要求与 Skill/MCP 扩展方式读完后可以完成环境搭建、模型选型并接入自定义技能与外部工具。 为什么需要本地/离线推理客服记录、合规文档等敏感数据经第三方 API 出网 → 隐私合规审查成本高且依赖外部服务可用性。门店、工厂、外勤等弱网或无网场景 → 云端 API 不可用或延迟不可控业务体验直接受损。云端推理按 token 计费 → 调用频次越高成本线性增长规模化部署预算难以封顶。本地 AI 推理将模型放到终端模型加载完成后推理不依赖外网。它不是宣称云端一定不安全而是为数据不出设备这一诉求提供了可选的工程路径。 环境与快速启动系统要求Android 12 及以上或 iOS 17 及以上另有 macOS 版本DMG无法使用 Google Play 时从官方 release 获取 APK 安装设备内存需覆盖模型白名单中标注的estimatedPeakMemoryInBytes部分 4B 级模型约需 7GB使用 MCP 扩展需可访问的 StreamableHTTP MCP 服务器实验特性自行编译 App 需配置 HuggingFace Developer App模型下载功能依赖安装步骤确认系统版本选择安装渠道Google Play / App Store / release APK安装并打开 App进入 Agent Chat从内置列表选择模型并下载模型来自 Hugging Face发送一条消息观察输出首次验证模型加载成功、在 Agent Chat 收到正常回复 → 环境正常。 核心能力拆解AI Chat 与 Thinking Mode多轮对话是所有能力的入口可随时切换模型。开启 Thinking Mode 可查看模型逐步推理过程Gemma 4 系列起步支持采样参数temperature、top-k、top-p在 Prompt Lab 中可调模型库管理与下载逻辑见 ui/modelmanager/Ask Image 多模态识别用相机或相册图片向视觉模型提问识别物体、解视觉谜题、生成描述推理全程在设备端完成。Audio Scribe 实时转录与翻译对语音录音做实时转写与翻译基于本地高效语言模型适合离线会议纪要、内容转写。Agent Skills 模块化扩展通过SKILL.md 脚本为模型注入新能力意图匹配时模型自动调用无需重复写提示词。三类技能纯文本角色/知识、JS 技能隐藏 webview 沙箱执行可返回图片与交互视图、原生 intent发邮件等系统动作三种加载渠道Featured 列表、URL、本地目录导入adb push后选择技能需要 API key 时走原生对话框输入密钥不经过模型 prompt技能规范与示例见 skills/Mobile Actions 与 Tiny Garden由 FunctionGemma 270m 微调模型驱动的离线设备控制与交互式任务展示小模型 Function Calling 在端侧的落地形态任务扩展点见 customtasks/。模型管理与 MCP 集成内置列表下载模型或加载自定义模型Benchmark 模块测试各模型在本机的实际表现MCP 客户端连接 StreamableHTTP 服务器将工具 schema 注入 prompt调用路由到对应服务器支持逐次授权提示与总是允许开关实验阶段Gemma-4-E4B 工具调用最稳定上下文仅 4k10k token建议只启用必要工具接入步骤与限制见 mcp/️ 技术架构一览协作链路用户输入 → LiteRT/AICore 运行时本地推理 → 模型决策调用工具 → SkillJS webview / 原生 intent或 MCP 服务器执行 → 结果回写对话。Google AI Edge API端侧机器学习核心能力层LiteRT 运行时承担模型执行含 LiteRT-LM 与 AICore 两类运行时见 ModelEnums.kt指标体系每轮推理采集 TTFT、prefill/decode 速度并采样内存与电量MCP 客户端统一对接外部工具与数据源指标实现见 common/metrics/ 行业场景映射金融与合规敏感客服客户身份信息、交易明细不宜出终端用本地 AI Chat 完成咨询应答与记录摘要对应能力端侧 LLM 多轮对话离线可用。零售与外勤弱网场景门店、仓库终端无稳定网络现场语音转写与翻译靠 Audio Scribe商品/单据图像识别靠 Ask Image对应能力离线多模态推理。办公自动化高频低复杂度的邮件草稿、日程类动作由本地小模型触发Mobile Actions 直接驱动run_intent发送邮件等系统动作减少对外部 API 的依赖。 安全与合规推理在设备端完成prompt 与图片不经过网络模型下载、MCP 连接、技能 URL 加载除外提供模型白名单管理model_allowlist.json 与 model_allowlists/ 下的版本化文件约束可用模型集合MCP 工具调用提供逐次授权提示与可关闭的总是允许规则远程动作对用户可见JS 技能在沙箱 webview 中执行所需密钥由用户经原生对话框输入不进入模型上下文提供 ADB 日志输出推理指标common/metrics/具体覆盖范围以代码为准待确认 性能观测与调优内置指标体系按推理轮次记录TTFT首 token 延迟、prefill 速度、decode 速度tokens/s并周期性采样进程内存与电池消耗结果可通过 Benchmark 模块查看。调优建议内存紧张时优先选 int4 等低比特量化、参数更小的模型用 Benchmark 模块在本机实测后再定选型不要跨设备套用经验值接入 MCP 时只启用当前任务必需的工具减少工具 schema 对 4k10k 上下文窗口的占用GPU 加速下个别计算密集工具可能出现数值偏差关键数值场景需回归验证❓ 常见问题Q使用必须联网吗A不必须。模型下载完成后推理全程离线仅模型下载、MCP 服务器连接、从 URL 加载技能需要网络。Q支持哪些模型格式ALiteRTlitertlm格式与 AICore 模型内置白名单提供 Gemma、Qwen 等即用版本也可加载自定义模型文件。Q能否自定义模型白名单A白名单是仓库内的 JSON 文件根级 版本化目录自编译构建时可调整待确认。QMCP 工具调用哪个模型最稳A官方建议 Gemma-4-E4B更小模型可能无法正确解析工具 schema且应只开启必要工具。Q如何添加自定义 SkillA编写含 frontmatter 的SKILL.md按类型放入scripts/JS或声明原生 intent经 Featured 列表、URL 或adb push本地导入后即可被模型自动调用。【免费下载链接】galleryA gallery that showcases on-device ML/GenAI use cases and allows people to try and use models locally.项目地址: https://gitcode.com/GitHub_Trending/gallery44/gallery创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

xberg C 插件管理实战:使用 `ClearRerankerBackends` 清空重排序后端注册表

xberg C 插件管理实战:使用 `ClearRerankerBackends` 清空重排序后端注册表

后端AI 应用NLP 【免费下载链接】xberg Polyglot document intelligence with a Rust core: extract text, metadata, images, tables, and structured data from 106 formats across 140 file extensions, plus code intelligence for 371 languages. Fifteen bindings, with …

📅 2026/9/26 2:57:59
Video-Use 新手快速上手指南-CSDN博客

Video-Use 新手快速上手指南-CSDN博客

首屏导读 本教程配套付费专栏: 大模型工程师修炼手记 19.9 元(AI 编程 / Agent 实战 | 本文同主题系统课程) AI时代程序员的自我提升 49.9 元(AI 时代成长方法论)。 单篇不过瘾?订阅解锁全量源…

📅 2026/9/26 2:57:59
别再装带捆绑的解压软件了,换这几款

别再装带捆绑的解压软件了,换这几款

现在市面上很多解压软件体验真的不行,用基础功能都要收费,安装的时候捆绑一大堆软件,越用越糟心。 今天给大家挑了三款免费干净的解压工具,WinRAR、7‑Zip、Bandizip,没有广告,不带捆绑。 WinRAR 个人一…

📅 2026/9/26 2:57:59
MORE NEWS

更多资讯

📰

小而强大!阿里开源 Qwen3 模型接入 TaoToken 的 config.toml 配置与验证

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

OvisOCR2 技术报告解读:VLM 驱动 OCR 如何把图片转成 Markdown

/* MD / 富文本中的 .toc(含博客园搬家等嵌套结构);.toc-box 在侧栏,不受影响 */#content_views .toc,/* 编辑器常在目录前后插入空 p(:empty 仍占 20px),一并去掉避免顶空隙 */#content_views.markdown_views > p:empty:has(+ .toc),#content_views.markdown_views …

📰

从模糊想法到论文蓝图:codex-claude-academic-skills结构化头脑风暴方法论深度解析

从模糊想法到论文蓝图:codex-claude-academic-skills结构化头脑风暴方法论深度解析 【免费下载链接】codex-claude-academic-skills 本仓库包含三个面向学术科研人员的Skills,覆盖从文献阅读、论文写作到科学计算的完整研究工作流。office-academic-skil…

📰

项目集管理实战:从多项目到整体收益的思维跃迁

1. 一个人管5个项目,不等于在做项目集管理先说我自己的一个教训。早年我在一家科技公司带交付团队,手里同时挂着4个客户项目,每个项目都有自己的项目经理、技术方案和验收节点。汇报时我的幻灯片标题写着"多项目管理",领…

📰

dsh-anchored-standard的工程化体系:shared单一事实源、npm run sync物化与自包含模式目录

dsh-anchored-standard的工程化体系:shared单一事实源、npm run sync物化与自包含模式目录 【免费下载链接】dsh-anchored-standard Two-phase DeepSeek Harness preset: Minimal-aligned bootstrap, then full Standard tools (Project2 98/99) 项目地址: https:…

📰

node-sass安装报错排查与迁移Dart Sass完整指南

如果你正在读这篇文章,大概率屏幕上还挂着这样一行让人血压升高的红色报错:gyp ERR! stack Error: \gyp failed with exit code: 1,或者是Downloading binary from https://github.com/sass/node-sass/releases/download 卡了很久然后 Timeou…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬