ACE-Step 1.5 音乐生成模型全景解读：文本变48kHz立体声歌曲的完整旅程-北京尧图网络

人工智能大模型音乐生成媒体生成语音【免费下载链接】ACE-Step-1.5-planner-0.6B-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/ACE-Step-1.5-planner-0.6B-bf16点击查看免费下载ACE-Step 1.5 是当前开源社区关注度很高的文本生成音乐text-to-audio模型体系输入一段描述和歌词就能输出一首 48kHz 立体声歌曲。本文解读的 ACE-Step-1.5-planner-0.6B-bf16 仓库正是其中规划器planner的 MLX bf16 轻量版——专为 Apple Silicon 设计的 0.6B 参数音乐语言模型。 ACE-Step 1.5 音乐生成模型是什么简单说ACE-Step 1.5 是一个会写歌的 AI 系统给它歌曲描述caption和带结构的歌词verse/chorus它就能生成一首完整歌曲。这个仓库里的模型叫lite planner轻量规划器核心信息如下基于 Qwen3-0.6B 微调而来的语言模型保留 217,204 词表采用两阶段规划先输出一段推理reasoning再生成音频码audio codes5Hz 节奏每秒生成 5 帧音频语义兼顾质量与速度MLX 格式、bf16 精度310 个张量权重与官方检查点逐位一致定位是planner: .lite0_6B档位面向 24GB 内存的 Mac 设备仓库文件全景每个文件负责什么文件大小作用model.safetensors约 1.3GB模型权重bf16经 Git LFS 管理config.json1.5KB模型结构与词表等配置vocab.json2.7MBQwen3 基础词表151,643 个 tokenadded_tokens.json2.2MB65,535 个新增音频码 token 的映射merges.txt1.6MBBPE 分词合并规则tokenizer.json / tokenizer_config.json24MB / 14MB完整分词器定义与配置special_tokens_map.json1.8MB特殊 token音频码、思考标签等索引chat_template.jinja4.1KB对话提示模板含思考块逻辑LICENSE / NOTICE-MIT 许可文本与版权溯源说明本镜像通过 Git LFS 存储大文件model.safetensors等文件在工作目录中显示为指针文件克隆时会自动拉取真实数据。配置解读0.6B 参数量的小身材打开 config.json 可以看到这份音乐模型的全部骨架架构Qwen3ForCausalLM28 层全注意力层宽度hidden_size 1024、intermediate_size 3072激活函数 silu注意力16 个查询头 8 个 KV 头GQA 分组查询注意力head_dim 128词表vocab_size 217,204且词嵌入与输出层共享权重tie_word_embeddings进一步省内存上下文max_position_embeddings 40,960足以容纳长歌词精度bfloat16rope_theta 1,000,000对新手来说0.6B 意味着什么相比常见的 7B 模型它的显存/内存需求低一个量级——这也是它能在 MacBook 上本地生成音乐的关键。从文字到歌曲四件套协作的完整旅程单独一个 planner 并不会直接唱歌。ACE-Step 1.5 完整推理需要加载四个组件见 README.md 的 Use 一节文本编码器把歌曲描述与歌词编码成语义向量规划器planner也就是本仓库的模型先写一段创作推理再逐帧吐出音频码——相当于 AI 作曲家turbo DiT扩散模型把音频码解码成音频潜表示VAE把潜表示还原为 48kHz 立体声波形 caption lyrics → 文本编码器 → 规划器(推理块 audio codes) → turbo DiT → VAE → 48kHz 立体声歌曲除了文本变歌曲这套体系还支持参考音频音色、翻唱/重绘/延长cover / repaint / extend以及生成 LRC 歌词时间戳。 217,204 词表是如何拼出来的这是这个仓库最有趣的部分。总词表由三块组成151,643个 Qwen3 基础 token见 vocab.json65,535个音频专用 token命名为|audio_code_0|到|audio_code_65534|见 added_tokens.json 与 special_tokens_map.json6个推理/工具标签|think|、|/think|、|tool_call|等也就是说音乐在模型眼中被量化成了 65,536 个离散符号的序列——语言模型逐 token 生成音频码再由 DiT 和 VAE 还原成你听到的 48kHz 立体声。这种音频离散化语言模型的路线是当前文本生成音乐的主流范式之一。如何在 Apple Silicon 上跑起来本仓库是四组件之一不能独立出声。完整流程由 MLX Swift 移植包驱动引擎按配置装配 turbo DiT、planner、文本编码器和 VAE然后一次请求即可出歌let engine MLXServeEngine() let id try await engine.register(ACEStepPackage.registration, configuration: ACEStepConfiguration(planner: .lite0_6B)) let song try await engine.run(MusicRequest(caption: …, lyrics: [Verse]\n…, durationSeconds: 120, seed: 7), package: id)planner 档位怎么选.int8默认、.int4、.bf16、.fp32对应 1.7B 规划器的不同量化ACE-Step-1.5-planner-0.6B-bf16本仓库任意档位下均可替换为轻量规划器最适合 24GB 内存 Mac⚖️ 质量与许可证值得放心使用的 MIT 协议效果在 12 首歌曲的评测门槛上0.6B lite 规划器的 PER 为 0.179落在 1.7B 规划器 0.108–0.197 的区间内——以约 1/3 的参数量拿到接近旗舰的成绩转换保真MLX 布局转换仅调整键前缀、卷积布局与 weight-norm 折叠与官方检查点逐位bit-equal一致许可模型代码与权重为 MITCopyright (c) 2026 ACEStep基座 Qwen3 为 Apache-2.0详见 NOTICEMIT 协议意味着你可以自由地本地运行、修改甚至用于商业项目 ❓ 常见问题 FAQQ这个仓库是一个完整的音乐生成模型吗不是。它是 ACE-Step 1.5 四组件中的规划器还需搭配 turbo DiT、文本编码器和 VAE 才能生成歌曲。Q为什么叫 5Hz指音频语义帧率规划器每秒输出 5 帧音频码是速度与质量的折中设计。Q我的电脑能跑吗lite 0.6B 档定位 24GB 内存的 Mac其他档位可换 1.7B 规划器配合更大内存使用全程依托 Apple Silicon 的 MLX 运行无需独立 GPU。Qmodel.safetensors 为什么只有 135 字节这是 Git LFS 指针文件实际约 1.3GB 的权重通过 LFS 在克隆时自动下载。总结ACE-Step 1.5 planner 0.6Bbf16把文本生成音乐的门槛拉到了笔记本级别0.6B 的 Qwen3 微调模型 65,535 个音频码两阶段规划配合 DiT 与 VAE即可在 Mac 上把一段 caption 和歌词变成 48kHz 立体声歌曲。如果你想在本地零成本体验 AI 作曲这套 MIT 协议的模型值得作为第一站 ⭐赞分享人工智能大模型音乐生成媒体生成语音【免费下载链接】ACE-Step-1.5-planner-0.6B-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/ACE-Step-1.5-planner-0.6B-bf16点击查看免费下载相关推荐从Caption歌词到完整歌曲ACE-Step-1.5-planner-1.7B-bf16 × MLXEngine 本地音乐生成实战从Caption歌词到完整歌曲ACE Step 1.5 planner 1.7B bf16 × MLXEngine 本地音乐生成实战想在 Apple Si人工智能大模型音乐生成音频本地部署ACE-Step-1.5-text-encoder-bf16快速上手指南5行Swift代码从Caption歌词到48kHz立体声歌曲ACE Step 1.5 text encoder bf16快速上手指南5行Swift代码从Caption歌词到48kHz立体声歌曲 ACE Step 1人工智能大模型Embedding本地部署音频音乐生成媒体生成ACE-Step-1.5-turbo-bf16 新手实战把 caption 和歌词变成 48kHz 完整歌曲的 4 步玩法ACE Step 1.5 turbo bf16 新手实战把 caption 和歌词变成 48kHz 完整歌曲的 4 步玩法 ACE Step 1.5 turb人工智能音乐生成媒体生成音频深度学习本地部署创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

ACE-Step 1.5 音乐生成模型全景解读：文本变48kHz立体声歌曲的完整旅程

相关推荐

鸿蒙Canvas绘图技术详解与性能优化实践

CORBA Explorer实战指南：调试分布式对象通信的工程级探针

Spring Boot二手交易系统毕设源码：导入、启动与部署避坑指南

更多资讯

AMD NPU上的AI绘图新选择sdxl-base-amdnpu-medusa：完整入门指南，告别独立显卡

Tide Island 完整指南：Hyprland 灵动岛如何重塑 Wayland 桌面的信息中枢

Java医院HIS系统源码：Spring Boot全链路医疗业务实现

大模型部署突破：Qwen3-30B全精度模型实现260K上下文高效运行，96GB VRAM成关键门槛

Gemma-4-12B-it-qat-q4_0-gguf 架构解析与生产部署实战指南

计算机设计大赛答辩PPT全攻略：评委打分逻辑与避坑指南

今日更新

AI智能体开发实战：从技术原理到商业落地

OpenShell 完全定制指南：从安装到深度配置，打造高效 Windows 开始菜单

Superpowers技能体系全解析：从Skills引入到安装的完整指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？