尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
如何快速搭建分布式AI集群:exo零配置3步实战指南
如何快速搭建分布式AI集群exo零配置3步实战指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo如果你也曾被大模型塞不进单机内存劝退或者正在纠结要不要租云 GPU那么 exo 可以把家里 2~4 台 Apple Silicon 设备变成一台分布式 AI 集群——自动发现、自动并行、无需手动分片而且节点越多推理越快4 节点最高 3.2 倍加速。它帮你省了什么4 个核心优势自动设备发现只要运行 exo设备就在局域网内自动互相发现并组网不用注册 IP、不用配拓扑延迟降低 99%macOS Tahoe 26.2 上通过 Thunderbolt 5 跑 RDMA设备间通信延迟直降 99%拓扑感知自动并行基于设备拓扑与链路带宽的实时视图自动选择最优的模型拆分策略分片决策零操作4 种 API 全兼容OpenAI Chat Completions、Claude Messages、OpenAI Responses、Ollama现有客户端即插即用内置仪表盘节点状态、集群拓扑、模型启动与聊天一个http://localhost:52415界面全搞定快速上手3 步从零到第一个集群系统要求macOS Tahoe 26.2Apple Silicon需 Xcode 提供 Metal 工具链或 Linux当前为 CPU 运行另需 uv、node、rust 工具链。步骤 1克隆仓库git clone https://gitcode.com/GitHub_Trending/exo8/exo步骤 2构建仪表盘cd exo/dashboard npm install npm run build cd ..步骤 3启动 exo 节点uv run exo看到服务就绪后浏览器打开http://localhost:52415即可看到仪表盘。在另一台设备上重复这 3 步exo 会自动发现彼此并入集群无需任何手动配置。装了 Nix 的 macOS 用户还可以直接用nix run .#exo一条命令跳过构建。核心机制解析它是怎么做到的自动设备发现与集群状态管理每个节点内部运行 master / worker 组件master 负责设备发现、资源汇总与任务调度维护一份实时的集群拓扑清楚知道每台机器的可用内存与负载集群扩缩容时会自动选出主节点。所以无论你在哪台机器上执行 exo加入的都是同一个集群。相关实现可以看 src/exo/master/ 与 src/exo/shared/topology.py。RDMA over Thunderbolt加速的来源普通 TCP 通信每个包都要穿过操作系统网络栈对张量并行这类高频节点间通信是硬伤。exo 用 RDMA 让一台机器直接读写另一台机器的内存延迟降低 99%。这正是加节点反而更快的原因同样的 4 台机器llama.cpp (TCP) 从单节点的 20.4 t/s 掉到 15.2 t/s而 exo (RDMA) 从 19.5 t/s 升到 31.9 t/s。拓扑感知自动并行启动模型时exo 会综合各设备的空闲内存和节点间链路带宽自动计算最优拆分方式张量并行Tensor每一层切到多台机器同时算适合算力密集的负载2 台设备约 1.8 倍、4 台设备约 3.2 倍加速管道并行Pipeline不同层放到不同机器上流水执行适合内存吃紧的超大模型你只需要指定分片策略偏好与最少节点数其余由集群自动决策。效果与数据4×M3 Ultra 上的实测对比下图是 4 台 M3 Ultra Mac Studio 集群上 Qwen3-235B8-bit的推理速度对比关键结论llama.cpp (TCP) 节点越多越慢20.4 → 15.2 t/s而 exo (RDMA) 随节点数从 19.5 t/s 涨到 31.9 t/s4 节点时比单节点提升约 64%——横向扩展的代价不是变慢而是变快这是 exo RDMA 的核心价值。这是 4 台 Mac Studio 集群的仪表盘视图左侧聊天、中央拓扑、右侧实例管理一目了然实战操作启动一个模型实例方式一仪表盘点击式打开http://localhost:52415在右侧 INSTANCE 面板点击 LAUNCH INSTANCE从下拉菜单选择模型也可搜索添加 HuggingFace 上的模型选择分片策略Pipeline 或 Tensor选择通信方式MLX RingTCP或 MLX RDMA设置最少节点数点击启动方式二API 调用预览该模型所有可行拆分方案GET /instance/previews?model_idllama-3.2-1b用选中的拆分参数创建实例POST /instance等待模型加载完成GET /instance/await?model_id...SSE 流返回ready即就绪发送聊天请求curl -N -X POST http://localhost:52415/v1/chat/completions \ -H Content-Type: application/json \ -d {model: mlx-community/Llama-3.2-1B-Instruct-4bit, messages: [{role: user, content: What is AI?}], stream: true}用完后删除实例DELETE /instance/{instance_id}完整端点与参数说明见 API 文档。进阶技巧把性能拉满启用 RDMAmacOS 必做关机 → 长按电源键 10 秒进恢复模式 → 终端执行rdma_ctl enable→ 重启。所有要加入 RDMA 集群的设备必须用 TB5 线缆两两直连Mac Studio 上不能使用以太网口旁边的 TB5 端口且各设备 macOS 版本含 beta 编号必须完全一致模型放外置高速存储EXO_MODELS_DIRS/Volumes/ExternalSSD/exo-models uv run exo磁盘满时自动回退默认目录弱设备当纯协调节点内存小但网络好的机器执行uv run exo --no-worker只负责组网调度不参与推理跑分再定方案uv run bench/exo_bench.py --model Llama-3.2-1B-Instruct-4bit --sharding tensor会输出每种拆分的 tokens/s 与峰值内存方便横向对比张量并行与管道并行FAQQ支持哪些系统AmacOS Tahoe 26.2 一等支持M3 Ultra Mac Studio、M4 Pro Mac Mini、M4 Max/M5 MacBook ProGPU 加速Linux 当前 CPU 运行CUDA 支持在路线图中详见 PLATFORMS.md。Q可以混合不同规格的设备吗A可以。拓扑感知自动并行会按每台设备实际的内存与网络能力分配分片配置较弱甚至无 GPU 的机器也能用--no-worker变成纯协调节点。QRDMA 没有提速怎么办A高频原因有三个线缆不是 TB5 规格、设备没有两两直连、各设备 macOS 版本不一致。逐项排查即可。Q如何添加自定义模型APOST /models/add传入 HuggingFace 模型 ID 即可。需要trust_remote_code的模型须显式开启默认出于安全关闭。Q需要特殊网卡或交换机吗A不需要普通局域网即可组网工作但最佳性能推荐 Thunderbolt 5 直连启用 RDMA。写在最后exo 把单机跑不动到几台 Mac 组成集群轻松跑起来的路径压缩到了 3 条命令而 RDMA 带来的横向扩展加速是传统 TCP 方案做不到的。如果你手上正好有 M3 Ultra 或 M4 系列的设备现在就可以试试更多接口细节参考 docs/api.md想参与改进可以看 CONTRIBUTING 指南。【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
RELATED

相关推荐

Umi-OCR 完全指南:5 条主线把离线文字识别用到位

Umi-OCR 完全指南:5 条主线把离线文字识别用到位

Umi-OCR 完全指南:5 条主线把离线文字识别用到位 【免费下载链接】Umi-OCR OCR software, free and offline. 开源、免费的离线OCR软件。支持截屏/批量导入图片,PDF文档识别,排除水印/页眉页脚,扫描/生成二维码。内置多国语言库。…

📅 2026/9/21 13:59:27
DeepSpeed ZeRO-3 参数分区实战:让大模型训练绕开 OOM 的 4 步路径

DeepSpeed ZeRO-3 参数分区实战:让大模型训练绕开 OOM 的 4 步路径

DeepSpeed ZeRO-3 参数分区实战:让大模型训练绕开 OOM 的 4 步路径 【免费下载链接】DeepSpeed DeepSpeed is a deep learning optimization library that makes distributed training and inference easy, efficient, and effective. 项目地址: https://gitcode.…

📅 2026/11/8 12:18:13
微信小程序商城demo源码+截图:核心页面与全局逻辑详解

微信小程序商城demo源码+截图:核心页面与全局逻辑详解

简介:这是一份面向微信小程序初学者与前端开发者的实战型商城Demo源码资源,聚焦基础功能实现与项目结构认知,适用于课程设计、快速入门练习及小型电商类小程序原型搭建。压缩包共57个文件,包含12个样式文件(wxss&#…

📅 2026/9/4 14:58:31
MORE NEWS

更多资讯

📰

台州电工证考证含金量有多高?考证前必须知道的5件事

台州电工证考证含金量有多高?考证前必须知道的5件事 你是不是正在为找不到工作发愁?是不是还在为没有特种作业证而焦虑?别急, 台州电工证考证 正是你求职路上最硬的“敲门砖”,它的 含金量…

📰

电工证被拉黑怎么恢复怎么报名

电工证被拉黑怎么恢复怎么报名 你是不是也遇到过这种情况:电工证突然被拉黑,不知道怎么恢复,更不知道怎么报名?别急,今天就来聊聊这个问题,带你一步步解决“电工证被拉黑怎么恢复”和“怎么报名”这两个关键点,特别适合正在周口转岗的你。…

📰

登高电工证好考吗现在多少钱

登高电工证好考吗现在多少钱 你是不是也觉得学历不高,考个证都怕报不上名?别担心,现在登高电工证的报考门槛其实没你想象的那么高。只要你愿意花点时间准备,完全有可能拿下这个证,而且 多少钱…

📰

东方考电工证在哪里考 网上查询外省证怎么转

东方考电工证在哪里考 网上查询外省证怎么转 之前考的证在外省能不能转过来?这几乎是每个准备转行或者正在从事特种作业的人员最关心的问题。特别是像电工证这类高需求证书,很多人在外地工作时考的证,回到老家或新城市后发现无法使用,只能重新报考,既浪…

📰

低压电工证有积分吗报名费多少钱 低压电工证有积分吗怎么考

低压电工证有积分吗报名费多少钱 低压电工证有积分吗怎么考 你学历不高怕报不上名?低压电工证有积分吗?报名费多少钱?这些问题是不是你正纠结的?我就是从一个只有高中学历的工人,一步一步考下来低压电工证,现在在平顶山做房建工程的电工,今天就告诉你…

📰

特种作业你操作证到期换证流程怎么走?官方报名入口全知道

特种作业你操作证到期换证流程怎么走?官方报名入口全知道 你缺的是特种作业操作证,而不是工作机会。现在不少工地、工厂、企业都要求必须持证上岗,尤其是从事电焊、登高、制冷、高压电工等工作的,没有证就等于没资格。别再等了, 特种作业你操作证…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬