5分钟装好Exo把普通设备变成分布式AI集群的环境配置与安装指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoExo 是一个把手机、电脑、平板聚合成一个集群跑 AI 模型的开源工具——它让单台设备装不下的大模型也能跑起来。这篇文章带你按顺序过一遍环境体检、两条安装路线、集群启动方式以及五个高频问题的排查办法目标是让你从 0 到可用的分布式 AI 集群只花几分钟。动手前先体检内存、Python、系统一张清单多设备拼内存就像几个人凑钱买车谁也不用单独拿全款。Exo 对单台设备没有硬性要求关键看所有参与设备的内存总和够不够装下模型检查项底线要求说明总内存各设备相加例Llama 3.1 8Bfp16约需 16GB可行组合2 台 8GB M3 MacBook Air或 1 台 16GB 独显笔记本甚至 2 台 4GB 树莓派 1 台 8GB Mac MiniPython3.13强制仓库 pyproject.toml 中锁定3.13.*macOS推荐 Apple Silicon一级支持M3 Ultra Mac Studio、M4 Pro Mac Mini、M5 / M4 Max MacBook ProLinux可用CPU 运行GPU 加速还在开发中Windows规划中支持矩阵详见 PLATFORMS.md路线一一键安装一条命令装完 exo ⚡不想操心依赖就走这条路线。先拿到代码git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo然后核心就一条命令uv快速 Python 包管理器会自动完成三件事——探测并准备 Python 3.13、创建虚拟环境一个隔离的 Python 环境不污染系统、按 pyproject.toml 装齐 aiohttp、pydantic、transformers、huggingface-hub 等 20 多个核心依赖uv run exo已装好 Nix 的话还能跳过 uv直接nix run .#exo见 flake.nix。如果想用完整的 Web 控制台需先构建一次前端需要 Node 18cd dashboard npm install npm run build cd ..路线二手动安装三步走 想完全掌控环境就手动来三步完成uv venv .venv -p 3.13 # 1. 建 3.13 虚拟环境 source .venv/bin/activate # 2. 激活Windows 改为 .venv\Scripts\activate uv pip install -e . # 3. 以可编辑模式安装 exo核心装完后可按硬件选装一个加速包互斥任选其一硬件安装命令Apple Siliconuv pip install -e .[mlx]启用 MLX 推理引擎NVIDIALinux CUDAuv pip install -e .[mlx-cuda12]或.[mlx-cuda13]Linux CPUuv pip install -e .[mlx-cpu]AMD GPU暂无官方加速包路线图见 PLATFORMS.md集群怎么启动单设备与多设备组网 单设备直接启动uv run exo多设备集群则不需要任何手动配对每台设备各跑一遍同样的命令同一局域网内的节点会自动发现彼此、自动组网。Exo 还会根据实时拓扑各设备间链路的延迟和带宽自动决定模型怎么切分——设备越多不只有内存变大推理也可能更快。启动后浏览器打开 http://localhost:52415 就是内置 Web 控制台可以查看设备拓扑图、选择并下载模型、与模型聊天、实时看性能和下载进度排错速查五个高频症状一次看懂 症状可能原因解决办法启动时报Requires Python 3.13默认解释器不是 3.13运行uv venv -p 3.13 .venvuv 缺 3.13 时会自行拉取安装时报依赖冲突 / Resolution error锁定文件与本地环境不一致先uv sync --refresh不行就uv sync --all-packages --force-reinstall --no-cache彻底重建macOS 出现 SSL 证书错误、连不上 Hugging Face系统或虚拟环境缺根证书pip install --upgrade certifi并升级 macOS 或重跑系统Install CertificatesApple Silicon 性能不达标没走 GPU或设备间链路是瓶颈确认装了mlx加速包并关掉其他占 GPU 的应用macOS 26.2 且带雷电 5 的机器进恢复模式终端执行rdma_ctl enable开启 RDMA可把设备间延迟压低一个数量级模型下载很慢Hugging Face 对国内网络不友好带镜像变量启动HF_ENDPOINThttps://hf-mirror.com uv run exo磁盘紧张时用EXO_MODELS_DIRS把模型指到外置盘验证安装与资源入口最小验证启动后打开 http://localhost:52415看到自己的设备出现在拓扑里、能和小模型对话即代表环境配置成功。命令行党也可以先用uv run exo --help确认命令可用。想继续深入仓库里这几个入口最有用README.md完整文档含 API 用法与性能基准pyproject.toml核心依赖与分平台加速包的全部配置docs/api.mdHTTP API 参考PLATFORMS.md平台支持矩阵与路线图justfile构建、测试、打包的常用命令src/exo/Python 核心源码主节点、路由、Worker【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
5分钟装好Exo把普通设备变成分布式AI集群的环境配置与安装指南【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exoExo 是一个把手机、电脑、平板聚合成一个集群跑 AI 模型的开源工具——它让单台设备装不下的大模型也能跑起来。这篇文章带你按顺序过一遍环境体检、两条安装路线、集群启动方式以及五个高频问题的排查办法目标是让你从 0 到可用的分布式 AI 集群只花几分钟。动手前先体检内存、Python、系统一张清单多设备拼内存就像几个人凑钱买车谁也不用单独拿全款。Exo 对单台设备没有硬性要求关键看所有参与设备的内存总和够不够装下模型检查项底线要求说明总内存各设备相加例Llama 3.1 8Bfp16约需 16GB可行组合2 台 8GB M3 MacBook Air或 1 台 16GB 独显笔记本甚至 2 台 4GB 树莓派 1 台 8GB Mac MiniPython3.13强制仓库 pyproject.toml 中锁定3.13.*macOS推荐 Apple Silicon一级支持M3 Ultra Mac Studio、M4 Pro Mac Mini、M5 / M4 Max MacBook ProLinux可用CPU 运行GPU 加速还在开发中Windows规划中支持矩阵详见 PLATFORMS.md路线一一键安装一条命令装完 exo ⚡不想操心依赖就走这条路线。先拿到代码git clone https://gitcode.com/GitHub_Trending/exo8/exo cd exo然后核心就一条命令uv快速 Python 包管理器会自动完成三件事——探测并准备 Python 3.13、创建虚拟环境一个隔离的 Python 环境不污染系统、按 pyproject.toml 装齐 aiohttp、pydantic、transformers、huggingface-hub 等 20 多个核心依赖uv run exo已装好 Nix 的话还能跳过 uv直接nix run .#exo见 flake.nix。如果想用完整的 Web 控制台需先构建一次前端需要 Node 18cd dashboard npm install npm run build cd ..路线二手动安装三步走 想完全掌控环境就手动来三步完成uv venv .venv -p 3.13 # 1. 建 3.13 虚拟环境 source .venv/bin/activate # 2. 激活Windows 改为 .venv\Scripts\activate uv pip install -e . # 3. 以可编辑模式安装 exo核心装完后可按硬件选装一个加速包互斥任选其一硬件安装命令Apple Siliconuv pip install -e .[mlx]启用 MLX 推理引擎NVIDIALinux CUDAuv pip install -e .[mlx-cuda12]或.[mlx-cuda13]Linux CPUuv pip install -e .[mlx-cpu]AMD GPU暂无官方加速包路线图见 PLATFORMS.md集群怎么启动单设备与多设备组网 单设备直接启动uv run exo多设备集群则不需要任何手动配对每台设备各跑一遍同样的命令同一局域网内的节点会自动发现彼此、自动组网。Exo 还会根据实时拓扑各设备间链路的延迟和带宽自动决定模型怎么切分——设备越多不只有内存变大推理也可能更快。启动后浏览器打开 http://localhost:52415 就是内置 Web 控制台可以查看设备拓扑图、选择并下载模型、与模型聊天、实时看性能和下载进度排错速查五个高频症状一次看懂 症状可能原因解决办法启动时报Requires Python 3.13默认解释器不是 3.13运行uv venv -p 3.13 .venvuv 缺 3.13 时会自行拉取安装时报依赖冲突 / Resolution error锁定文件与本地环境不一致先uv sync --refresh不行就uv sync --all-packages --force-reinstall --no-cache彻底重建macOS 出现 SSL 证书错误、连不上 Hugging Face系统或虚拟环境缺根证书pip install --upgrade certifi并升级 macOS 或重跑系统Install CertificatesApple Silicon 性能不达标没走 GPU或设备间链路是瓶颈确认装了mlx加速包并关掉其他占 GPU 的应用macOS 26.2 且带雷电 5 的机器进恢复模式终端执行rdma_ctl enable开启 RDMA可把设备间延迟压低一个数量级模型下载很慢Hugging Face 对国内网络不友好带镜像变量启动HF_ENDPOINThttps://hf-mirror.com uv run exo磁盘紧张时用EXO_MODELS_DIRS把模型指到外置盘验证安装与资源入口最小验证启动后打开 http://localhost:52415看到自己的设备出现在拓扑里、能和小模型对话即代表环境配置成功。命令行党也可以先用uv run exo --help确认命令可用。想继续深入仓库里这几个入口最有用README.md完整文档含 API 用法与性能基准pyproject.toml核心依赖与分平台加速包的全部配置docs/api.mdHTTP API 参考PLATFORMS.md平台支持矩阵与路线图justfile构建、测试、打包的常用命令src/exo/Python 核心源码主节点、路由、Worker【免费下载链接】exoRun frontier AI locally.项目地址: https://gitcode.com/GitHub_Trending/exo8/exo创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
