尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
【AI大模型部署】牛!手机上轻松部署大模型全攻略!
前言当前AI革命中大模型发挥关键角色其理论基础在于Scaling Law。简单来说就是随着数据、参数和计算能力的提升模型能力增强展现出小规模模型所不具备的“涌现能力”。众多AI企业推出开源大模型规模按扩展定律实现指数增长。然而不可忽视另一趋势大模型体积正逐渐精简为私有化部署提供可能性。这在个人隐私保护要求高的场景中尤为重要。无需联网传输数据直接在设备上运行的AI能增强用户信任。虽然云服务器上的AI可能性能更强但安全性和可靠性令人担忧。本文介绍几个适合私有化部署的最新大模型并提供部署指导手把手部署到电脑及手机。一、开源大模型介绍目前备受瞩目的大型模型如ChatGPT和Bard都是基于专有的闭源技术构建的。这无疑限制了它们的应用范围同时也使技术信息的透明度变得模糊。然而开源AI大型模型LLMs正逐渐崭露头角它们不仅增强了数据的安全性和隐私保护还为用户节省了成本降低了对外部依赖实现了代码的透明性和模型的个性化定制。其中Meta推出的Llama 3和微软的Phi3是开源大模型中的佼佼者被誉为“小而美”的模型且部署起来极为便捷。这些开源大模型的出现让我们看到了AI技术更加开放、透明和灵活的未来。1、Llama 3Meta 重磅发布两款开源Llama 3 8B与Llama 3 70B模型供外部开发者免费使用。Meta表示Llama 3 8B和Llama 3 70B是目前同体量下性能最好的开源模型。LLaMA是顶尖的开源模型众多国内大型模型都基于它构建。经过人类反馈的强化学习RLHF微调后它可以作为聊天机器人适应多种自然语言生成任务包括编程。基准测试显示Llama 3 400B的实力与Claude超大杯和新版GPT-4 Turbo相近证明它在顶尖大模型中占据重要地位。模型链接https://llama.meta.com/llama-downloads/GitHub项目地址https://github.com/meta-llama/llama32. Phi-3Phi是微软AI研究院新推出的开源小型语言模型适用于商业环境其特点是小巧高效。Phi系列包括Mini、Small和Medium三种规模。尽管Phi-3-Mini只有3.8B参数但在关键测试中表现出色与大型模型如Mixtral 8x7B和GPT-3.5相当更大的版本在扩展数据集下肯定表现更佳。Phi-3 技术报告《一个能跑在手机上的大模型》https://arxiv.org/abs/2404.14219小结经过基准测试Llama 3 8B和Phi3 3.8B小模型均表现出色。尽管它们的规模较小但它们所采用的优化方法却具有一定的相似性。对于大型模型的性能表现关键因素在于框架、数据和参数。鉴于参数规模较小因此在如此小的参数下使用MOE框架并无实际意义。因此这些模型主要在数据上投入大量精力通过提高数据的数量或质量来优化小模型的性能。这为未来精简大型模型提供了重要的方向。二、电脑部署的流程首先介绍下大模型部署利器Ollama支持Llama 3、Mistral、Gemma等大型语言模型。部署大模型只需两步下载并安装Ollama然后运行大模型。以Windows为例从官网或文末下载Ollama一键安装即可。官网下载链接 https://github.com/ollama/ollama安装完Ollama后然后打开命令行运行命令【ollama run llama3】 就可以下载并运行llama3大模型了其他模型的运行命令如上初次下载模型的会比较慢下载完就可以愉快地对话了。Ollama还支持其他功能如图片等多模态输入、传入提示词调教模型等具体可以看下文档。三、手机部署的流程与电脑相比手机部署大模型意义更大因为手机与生活更紧密且手机上有大量个人数据便于后续交互。现在很多人都有闲置手机如果性能足够运行大模型很有吸引力。我的旧手机是小米8性能还可以。手机上部署麻烦一些类似于电脑部署需要安装配置Linux环境。虽然安卓底层基于Linux内核但重装Linux很难。不过我发现了一个神器Termux可以在Android设备上运行许多Linux命令和工具。你可以从F-Droid官网下载安装Termux。官网下载链接https://github.com/termux/termux-app/releases安装后打开Termux如下图。如有要打开多个Linux窗口左上角右滑点击New session就可以。要在手机上部署大模型使用TermuxOllama就成了。首先通过Termux的proot-distro功能可以方便地安装一个Linux系统如Ubuntu、Debian或Arch Linux。这样在Android设备上就能拥有完整的Linux环境以安装和运行Linux软件包。//先来安装proot-distro pkg install proot-distro//使用proot-distro安装一个debian proot-distro install debian//安装成功后通过login命令就直接进入debian为发行版启动一个root shell proot-distro login debian第二步同电脑的流程安装Ollama下载及运行大模型。//进入之后再来安装ollama curl-fsSL https://ollama.com/install.sh|sh//安装完毕可以查看ollama版本进行验证出现版本号之后就可以使用ollama ollama-v//后台开启ollama服务 nohup ollama serve//运行大模型其他模型的命令如下图可通过ollamalist查看模型 ollama run phi3第一次要下载安装软件及大模型会比较慢弄个一小时是要的。安装完了后面都可以直接使用。只要运行login debian系统、Ollama服务、运行大模型后就可以使用了。在手机上编写代码有种独特的魅力。虽然简陋但一行行输入代码看着屏幕上的输出感觉非常酷。安装远程软件如Tailscale或todesk用电脑编写代码更有趣。但需要注意如果算力受限大模型回复较慢同时手机也会更耗电。四、本地大模型的体验模型表现大模型表现权威的数据可以看一些相关的测评比如下图。在此我对手机本地部署的两个大型模型llama3和Phi3进行了简要的测试并分享了我的个人体验。总体而言llama3在各项表现中展现出更为稳定的特性而Phi虽然有时会出现差错但其响应速度却更胜一筹使我在综合体验上觉得Phi更为出色。响应速度受限于手机或电脑的性能如果电脑配备了GPU响应可能会更为流畅。然而在手机上的回复确实显得有些迟缓有时甚至需要等待几分钟才能得到几个字的回应。值得注意的是Phi3的回应速度明显快于llama3。尽管llama3的8B模型规模几乎是Phi3的3.8B模型规模的两倍。中文能力方面这些开源模型确实存在一定的短板。当提问一些不常见的问题时模型在回答过程中可能会突然转向英文。此外很多中文表达模糊不清导致它们讲述的笑话内容也显得尴尬。这主要是因为高质量的中文数据集远远无法与英文数据集相提并论这一数据层面的差异在未来很可能会进一步凸显。在中文任务方面我觉得llama的表现会比Phi3更为出色。如果你有兴趣还可以尝试llama的中文变种——llama3-Chinese。llama3phi3**代码能力**看着都有模有样的但还是可以看出来Phi3有一些语法错误。llama3phi3**数学推理**看着都还不错Phi3感觉更好些。llama3phi3**安全性**都有不错的合规意识llama3phi3五、结语尽管当前AI的落地应用尚显稀疏但技术的成长毕竟需要时间大型模型的高昂推理成本无疑是其普及的桎梏。然而**正是小模型如Llama 3和Phi3的崭露头角让我们看到了大模型实用化的曙光。**虽然小模型的训练成本较高但其低廉的推理成本却为整体经济带来显著的节省特别是在为海量用户提供服务时高性能的小模型更让AI挣脱了成本的束缚灵活应用于各种场景。想象一下能够根据自身需求在本地部署定制化的AI其魅力不言而喻展望未来相信随着模型优化和定制AI芯片等技术带来的算力提升更多“小而美”的AI大模型将逐渐融入我们的日常生活让我们感受AI带来的变革本文到此为止大家玩的愉快别忘了点赞哦最后的最后感谢你们的阅读和喜欢作为一位在一线互联网行业奋斗多年的老兵我深知在这个瞬息万变的技术领域中持续学习和进步的重要性。为了帮助更多热爱技术、渴望成长的朋友我特别整理了一份涵盖大模型领域的宝贵资料集。这些资料不仅是我多年积累的心血结晶也是我在行业一线实战经验的总结。这些学习资料不仅深入浅出而且非常实用让大家系统而高效地掌握AI大模型的各个知识点。如果你愿意花时间沉下心来学习相信它们一定能为你提供实质性的帮助。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】大模型知识脑图为了成为更好的 AI大模型 开发者这里为大家提供了总的路线图。它的用处就在于你可以按照上面的知识点去找对应的学习资源保证自己学得较为全面。经典书籍阅读阅读AI大模型经典书籍可以帮助读者提高技术水平开拓视野掌握核心技术提高解决问题的能力同时也可以借鉴他人的经验。对于想要深入学习AI大模型开发的读者来说阅读经典书籍是非常有必要的。实战案例光学理论是没用的要学会跟着一起敲要动手实操才能将自己的所学运用到实际当中去这时候可以搞点实战案例来学习。面试资料我们学习AI大模型必然是想找到高薪的工作下面这些面试题都是总结当前最新、最热、最高频的面试题并且每道题都有详细的答案面试前刷完这套面试题资料小小offer不在话下640套AI大模型报告合集这套包含640份报告的合集涵盖了AI大模型的理论研究、技术实现、行业应用等多个方面。无论您是科研人员、工程师还是对AI大模型感兴趣的爱好者这套报告合集都将为您提供宝贵的信息和启示。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】
RELATED

相关推荐

AI大模型应用落地:如何选择合适的 Embedding 模型?看完你就懂了!!

AI大模型应用落地:如何选择合适的 Embedding 模型?看完你就懂了!!

前言 在生成式人工智能(GenAI)领域,检索增强生成(RAG)作为一种策略脱颖而出,它通过集成外部数据来扩充像 ChatGPT 这样的大型语言模型(LLM)的现有知识库。 RAG 系统核心涉及三种关键的人工智能模型组件:嵌入(Embedding)模型负责将信息转化为数…

📅 2026/10/15 10:59:37
Rust错误处理体系设计:rust-web-app如何从数据库层到HTTP响应层层传递错误

Rust错误处理体系设计:rust-web-app如何从数据库层到HTTP响应层层传递错误

Rust错误处理体系设计:rust-web-app如何从数据库层到HTTP响应层层传递错误 【免费下载链接】rust-web-app Code template for a production Web Application using Axum: The AwesomeApp Blueprint for Professional Web Development. 项目地址: https://gitcode.…

📅 2026/11/10 11:54:53
自定义合并策略:深入ngrx-store-localstorage的mergeReducer与deepmerge数组覆盖机制

自定义合并策略:深入ngrx-store-localstorage的mergeReducer与deepmerge数组覆盖机制

自定义合并策略:深入ngrx-store-localstorage的mergeReducer与deepmerge数组覆盖机制 【免费下载链接】ngrx-store-localstorage Simple syncing between ngrx store and local storage 项目地址: https://gitcode.com/gh_mirrors/ng/ngrx-store-localstorage …

📅 2026/10/16 9:17:41
MORE NEWS

更多资讯

📰

电工证级别分几级图片怎么转异地 上岗必备全流程解析

电工证级别分几级图片怎么转异地 上岗必备全流程解析 证书过期了不知道怎么复审延期?你不是一个人。电工证作为特种作业人员 上岗必备 的资质证明,一旦过期就等于失去作业资格,直接影响收入和工作机会。本文从 电工证级别分几级图片 切入,结合…

📰

复审电工证的文案如何写才能让上岗必备不白交培训费

复审电工证的文案如何写才能让上岗必备不白交培训费 怕考不过白交培训费?别再被培训机构忽悠了!很多人在报考电工证复审时,最担心的就是花了钱却考不过,或者流程搞错了,浪费时间和金钱。其实只要提前了解清楚复审电工证的文案怎么写,再配合正确的备考和…

📰

工地太忙根本没时间复习考试?电工保修证和电工证保姆级教程来了

工地太忙根本没时间复习考试?电工保修证和电工证保姆级教程来了 工地太忙根本没时间复习考试?你是三门峡转岗的电工,手里拿着电工保修证和电工证,却对这两个证书的区别和用处一头雾水?别急,这期保姆级教程,带你理清这两个证书之间的关系、区别和各自的…

📰

喀左低压电工证报考官方报名入口在哪?证书过期了不知道怎么复审延期

喀左低压电工证报考官方报名入口在哪?证书过期了不知道怎么复审延期 证书过期了不知道怎么复审延期,你不是一个人。尤其是在喀左地区,低压电工证作为从事电力相关工作的“硬门槛”,一旦过期就可能面临停岗、降薪甚至被清退的后果。如果你正为低压电工证的…

📰

邛崃市电工证培训怎么避坑?2026河南最新政策明确实操考试要求

邛崃市电工证培训怎么避坑?2026河南最新政策明确实操考试要求 实操考试心里没底怕挂科,这几乎是每个准备报考电工证的人的真实写照。尤其在2026年河南最新政策出台后,对考试流程、培训内容、持证上岗要求都进行了更严格的规范。对于邛崃市的学员来…

📰

方城高压电工证培训机构多少钱?证书过期了不知道怎么复审延期

方城高压电工证培训机构多少钱?证书过期了不知道怎么复审延期 证书过期了不知道怎么复审延期?你不是一个人在战斗,很多人因为疏忽或不了解流程,导致高压电工证“失效”,进而影响工作甚至被单位处罚。别急,这篇文章就从【方城高压电工证培训机构】的角度…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬