鸿帧智绘：从一句话创意到 AI 漫剧成片，基于 Agent + AIGC 的智能制片平台设计与实现-北京尧图网络

当大语言模型、AI 绘图和视频生成技术逐渐成熟我们开始思考一个问题能不能让普通用户只需要描述一个故事就能完成一部属于自己的 AI 漫剧为了探索这个问题我们开发了鸿帧智绘Hongzhen Studio——AI 漫剧智能制片工作台。这是一个融合大语言模型、多模态内容生成、智能任务编排和 Agent-to-AgentA2A通信协议的全栈项目希望通过一套完整的智能制片工作流让视频创作从复杂的多工具操作转变为连续、可管理、可交互的创作过程。一、项目介绍项目名称鸿帧智绘 · AI 漫剧智能制片工作台项目方向AI Agent / AIGC / 多模态生成 / 智能视频制作技术栈Python、FastAPI、Next.js、React、TypeScript、SQLite、FFmpeg、Seedream、Seedance、A2A项目背景2026 中国高校计算机大赛人工智能创意赛——鸿蒙赛道 Agent 创新方向参赛作品GitHub 项目仓库GitHub - wangkangcoder/Hongzhenzhihui: 视频生成agent平台 · GitHub线上演示地址https://hongzhenzhihui-hongzhen-studio.vercel.app/线上演示主要用于了解平台界面与交互设计完整的模型生成、任务执行及本地媒体合成能力需要相应的后端运行环境。1.1 为什么开发这个项目近年来AIGC 技术发展迅速。大语言模型能够生成故事剧本图像生成模型能够绘制人物和场景视频生成模型也逐渐具备了根据静态图片生成动态镜头的能力。然而将这些能力组合起来真正完成一部具有连续情节的 AI 漫剧仍然不是一件容易的事情。例如制作一部简单的古风悬疑漫剧通常需要经历以下流程构思故事情节并编写剧本。设计人物形象、服装和性格特征。将剧本拆分为多个镜头。为不同镜头编写图片生成提示词。生成角色定妆照和场景关键帧。保持不同镜头之间的人物形象一致。将静态画面转换为动态视频。对多个视频片段进行处理与拼接。输出完整的漫剧作品。即使有 AI 工具参与用户依然需要在多个平台之间切换手动整理素材、处理参数并不断调整生成结果。因此我们希望构建一个统一的智能制片平台将这些环节整合在一条工作流中。鸿帧智绘的核心理念是让用户专注于故事创意让智能系统负责组织复杂的制作流程。二、平台核心设计九阶段智能制片管线鸿帧智绘最核心的功能是将传统影视制作流程抽象为九个可独立管理、又相互关联的智能制片阶段。整个流程分为三个主要部分第一部分剧本与设计故事剧本 → 人物设计 → 分镜剧本第二部分视觉资产生成Prompt 提示词 → 文生图与画风选择 → 人物定妆照 → 分镜画面生成第三部分视频制作与导出图生视频 → 成品合成与导出通过这样的设计一句简单的创意可以逐渐被转换为剧本、人物设定、镜头画面和最终视频。2.1 故事剧本生成用户首先输入一句话创意例如在一个风雨交加的夜晚一名少女仵作潜入县衙寻找一桩离奇命案背后的真相。系统根据用户的创意组织生成故事梗概、人物信息和剧本初稿。在这一阶段我们使用大语言模型承担文本生成任务并通过结构化数据约束保证输出能够被后续制片流程使用。与普通 AI 文本生成工具不同鸿帧智绘不仅关注生成的文字内容还需要保证这些内容能够进一步转化为人物、分镜和视频。2.2 人物设计与角色一致性角色一致性是 AI 漫剧制作中的一个重要难题。例如同一个角色出现在不同镜头中时可能出现发型变化、服装不一致、五官改变等问题。为此我们设计了多层角色一致性机制角色设定通过文本描述固定人物的身份、外貌、服装和性格特征。视觉风格锚点为整个项目设置统一画风。人物定妆照生成角色的标准形象作为后续绘图参考。参考图约束在分镜画面生成时复用已有的角色视觉资产。这一机制无法完全消除生成模型的随机性但能够在工程流程层面降低角色形象漂移的风险。2.3 智能分镜与 Prompt 生成在完成剧本和人物设定后系统会将故事拆分为多个镜头并为每个镜头建立结构化描述。每个镜头可以包含人物、场景、动作、台词、画面构图、镜头运动等信息。随后系统根据这些信息生成对应的图片或视频提示词使原本偏文学性的故事描述逐渐转变为可供生成模型执行的视觉指令。2.4 四候选抽卡选画与手绘参考在分镜画面制作过程中我们引入了一个比较有趣的设计——抽卡选画。同一段 Prompt 生成的画面可能在构图、光影、人物姿态上存在明显差异。如果只生成一张图片往往难以一次达到理想效果。因此平台设计了四候选并行生成机制允许用户从多个结果中挑选最合适的画面也支持对单张候选重新生成。除此之外用户还可以上传手绘构图参考。这样一来用户负责确定画面的整体构图AI 则负责补充视觉细节与画面质感。我们希望实现的并不是完全取消人工参与而是让 AI 承担重复性的生成工作把关键创作决策留给用户。2.5 图生视频与成品导出当分镜关键帧确认后系统即可进入图生视频阶段。项目接入了 Seedance 视频生成能力通过异步任务机制完成视频请求、状态查询、下载和后续处理。考虑到不同镜头可能具有不同的编码参数与时长平台还引入 FFmpeg 对视频进行规范化处理再按镜头顺序合成完整作品。这样便形成了从故事创作到 MP4 视频交付的完整技术链路。三、Agent 智能体让自然语言成为制片入口除了九阶段可视化工作台鸿帧智绘的另一个重要设计是智能体交互。我们的目标并不是简单地在网页右下角添加一个聊天机器人而是让对话助手能够真正操作项目、调用制片能力并反馈任务进度。例如用户可以输入帮我生成一部校园青春题材的 AI 漫剧需要 3 个主要角色共 10 个分镜。智能体识别用户意图后可以调用相应的业务能力来创建项目并推进创作流程。整个交互过程不需要用户记忆复杂的 API 或手动填写多个操作表单。3.1 网页可视化对话双模式我们设计了两套互补的操作方式。网页可视化模式适合精细操作例如修改剧本、调整人物设定、比较候选画面、确认关键帧与预览成片。Agent 对话模式适合自然语言发起任务、推进流程、查询项目进度和执行需要用户确认的操作。这两种模式共享相同的项目数据、业务规则与任务状态。也就是说用户可以在对话中创建项目再回到网页中修改镜头网页中的修改结果也能够成为后续对话操作的依据。3.2 基于鸿蒙云 A2A 的智能体互联为了让制片能力不仅局限于浏览器我们实现了面向鸿蒙生态的 A2A 协议适配层。系统通过 Agent Card 声明智能体的能力并利用 JSON-RPC 2.0、Streamable HTTP/SSE 和签名认证机制实现智能体之间的消息通信与任务状态反馈。主要能力包括智能体能力发现与技能声明。自然语言意图识别和业务调用。异步任务状态反馈。会话管理与消息幂等处理。高成本操作前的用户确认。任务完成后的结果通知。其中高成本操作确认是非常重要的一项工程设计。例如当用户要求生成全部视频时系统可以先展示确认信息在用户明确同意后再提交任务避免误操作引发不必要的模型调用费用。四、系统技术架构在技术实现方面我们采用前后端分离设计并通过任务队列与本地持久化机制管理复杂的生成流程。4.1 整体架构用户 | ------------ | | Web 可视化 Agent 对话 | | ------------ | FastAPI 接口层 | 业务编排与阶段门禁 | 异步任务 Worker | ----------------- | | | 文本模型图像模型视频模型 | | | ----------------- | SQLite 数据存储 | FFmpeg 媒体处理 | MP4 成片输出鸿蒙云 A2A 协议适配4.2 核心技术选型技术主要用途Python后端业务与任务编排FastAPIREST API 和服务接口Pydantic数据模型与结构化校验Next.js React网页工作台开发TypeScript前端类型约束SQLite项目、任务与状态持久化Worker异步任务调度和执行Seedream图像生成与参考图能力Seedance图生视频FFmpeg视频规范化与合成JSON-RPC SSEAgent 通信与流式反馈A2A智能体互联4.3 为什么使用异步任务队列视频生成与普通 HTTP 请求存在一个很大的区别生成过程往往需要较长时间。如果直接等待模型返回结果很容易出现请求超时、状态丢失等问题。因此我们采用了基于 Worker 的异步执行方式。用户提交任务后后端会记录任务信息由 Worker 执行实际生成操作前端通过查询任务状态展示执行进度。同时我们还加入了任务持久化、失败重试、版本校验等机制。例如当用户已经修改某个镜头时如果旧的生成任务才刚刚完成系统需要判断这份结果是否仍然对应当前镜头版本而不能直接用旧结果覆盖新编辑。这种设计不仅用于提升稳定性也能减少重复生成造成的资源浪费。五、从零体验鸿帧智绘目前 GitHub 已提供项目代码和本地运行说明。5.1 获取项目代码首先克隆 GitHub 仓库git clone https://github.com/wangkangcoder/Hongzhenzhihui.git cd Hongzhenzhihui/hongzhen-studio5.2 环境准备仓库 README 提供的是 Windows 本地运行方案建议准备Python 3.11Node.js 20.9FFmpeg 相关运行环境Git首次安装还需要网络访问以下载项目依赖。5.3 安装与启动在项目目录中打开 PowerShell执行powershell -ExecutionPolicy Bypass -File scripts/setup.ps1安装完成后启动平台powershell -ExecutionPolicy Bypass -File scripts/start.ps1随后在浏览器访问前端工作台http://127.0.0.1:3000FastAPI 接口文档High Performance Web Crawler API - Swagger UI仓库 README 中提供了用于本地演示的账号用户名creator 密码hongzhen2026启动后可以进入项目空间体验九阶段制片工作流和网页端的小艺助手。5.4 不配置 API Key 可以使用吗可以体验部分功能。项目提供了明确区分的演示模式在没有配置外部模型密钥时可以使用内置演示资源了解项目流程、状态管理和成片导出机制。需要注意演示模式不代表平台能够在离线状态下根据任意文字创意生成全新的图片或视频。如果希望启用真实的文本、图像和视频生成能力需要按照 GitHub README 配置对应服务商的 API Key、模型和接口地址。真实模型调用可能产生费用。另外平台对真实调用失败和演示输出进行了区分避免把预置素材误认为实时生成结果。六、项目案例《少女仵作夜探县衙》为了验证系统在完整漫剧制作流程中的表现我们以古风悬疑题材的《少女仵作夜探县衙》开展了全链路实验。故事围绕一名少女仵作夜探县衙、寻找案件线索展开。该案例从故事设定出发经过人物设计、分镜规划、视觉资产制作和视频生成最终完成多镜头成片合成。根据项目作品说明文档中的综合实验记录项目实验结果作品名称少女仵作夜探县衙作品题材古风悬疑镜头数量6 镜最终时长约 72.62 秒画面比例9:16成片分辨率432 × 768视频帧率24 FPS输出格式H.264 / MP4这次实验重点验证了多镜头视频生成、异构视频素材规范化、镜头顺序合成以及成片播放与导出。其中视频时长采用模型自适应策略生成完成后再根据实际视频时长更新镜头信息而不是完全依赖提交前的估算值。需要说明的是该实验结果来自作品说明文档记录的特定运行环境不意味着所有模型配置和线上演示部署都能够直接复现相同效果。七、项目的工程特色在开发鸿帧智绘的过程中我们逐渐认识到一个完整的 AI 应用难点往往不只是调用模型 API。相比单独实现文生图或图生视频如何将多个具有随机性、异步性和不同接口规范的模型组织为可靠的业务系统才是更复杂的工程问题。我们重点探索了以下几个方面。1. 阶段化智能制片通过九阶段工作流把专业的制片流程转化为可理解、可操作、可追踪的系统流程。2. 多模态生成协同将文本、图像和视频模型组合在统一的数据与任务体系中实现跨模态生成结果的衔接。3. 视觉资产一致性管理通过统一画风、角色定妆照、参考图与阶段依赖约束降低跨镜头角色形象漂移的问题。4. Agent 与可视化交互融合让对话负责创作意图和流程调度让可视化工作台负责精细操作两者复用同一套业务能力。5. 可靠性与成本控制通过异步任务、版本快照、状态恢复、消息幂等和付费确认机制提高复杂生成任务的可控性。在项目说明文档记录的测试阶段我们使用 pytest 对业务状态、流程门禁、任务恢复、协议适配等功能进行了验证参数化展开后共完成 122 项后端测试并结合前端构建检查、浏览器走查和媒体链路验证进行综合测试。八、当前不足与未来规划鸿帧智绘目前仍然是一个持续完善中的智能制片项目。虽然项目已经构建了相对完整的全流程架构但距离成熟的生产级平台还有不少工作需要完成。后续我们计划重点推进以下方向第一进一步提高生成结果的可控性。继续优化人物一致性、镜头风格统一、动作连贯性和视频生成质量并探索更加精细的参考图控制机制。第二完善视频后期处理能力。增强字幕、音频、镜头衔接与时间线编辑功能让成片制作过程更接近实际的影视工作流。第三优化 Agent 智能体调度。进一步完善复杂意图理解、任务规划与多步骤执行能力并探索与更多外部智能体进行协作的可能性。第四推进平台工程化。当前项目主要面向本地单用户原型。未来将根据使用规模逐步完善正式用户鉴权、多人协作、云端部署、队列扩展和资源管理。我们也希望通过持续迭代让鸿帧智绘不仅能够完成 AI 漫剧还能逐渐适用于短视频创作、动画制作和其他多模态内容生产场景。九、项目总结鸿帧智绘最初来源于一个很简单的想法能不能让一个只有故事创意、没有专业视频制作经验的人也能够独立完成一部 AI 漫剧在不断开发和测试的过程中我们发现这实际上是一个涉及多模态生成、工作流建模、智能体协同、异步任务调度以及媒体处理的综合工程问题。一个能够生成图片或视频的模型并不等同于一套能够稳定交付作品的制片系统。因此我们没有把全部重点放在某个单一模型上而是尝试通过软件工程的方法将不同模型的能力组织起来。从一句话创意出发经过剧本、人物、分镜、图像、视频等多个阶段最终交付可以播放与下载的成片。这就是我们开发鸿帧智绘希望实现的目标。项目仍在持续开发欢迎对 Python 全栈开发、AI Agent、多模态生成以及 AIGC 视频制作感兴趣的开发者交流探讨。项目地址GitHub 仓库GitHub - wangkangcoder/Hongzhenzhihui: 视频生成agent平台 · GitHub在线演示https://hongzhenzhihui-hongzhen-studio.vercel.app/如果觉得这个项目有参考价值欢迎前往 GitHub 查看源码也欢迎通过 Issues 提出建议。感谢阅读推荐 CSDN 标签Python人工智能AI AgentAIGCFastAPINext.js鸿蒙视频生成开源项目

鸿帧智绘：从一句话创意到 AI 漫剧成片，基于 Agent + AIGC 的智能制片平台设计与实现

相关推荐

App上线了没人下载？我在用这3个办法

CTFHub-命令注入-过滤cat-解题报告

【数据结构】从堆到 PriorityQueue：手写一个优先级队列

更多资讯

智学文枢：学生与习题的状态中枢

FST: Fast-Thinking Slow-Thinking Task Decomposition for LLMs (arXiv:2504.08690)

电商优惠券系统实战：满减活动设置与商城营销防薅羊毛完整方案

熬夜伤卵巢，不只是激素：2026 两项研究都指向 NAD⁺

R 语言实战：从数据处理到可视化的完整实例

ESP32 CSI 快速上手指南：用两块开发板跑通 Wi-Fi 感知链路

今日更新

Verilog实现FPGA密码锁：矩阵键盘与状态机设计实战

数据服务监控运维实战：从指标体系到告警治理与故障排查

FreeRTOS任务通知实战详解：内核原理、API与避坑指南

本周精选

金融AI落地指南：从调研报告到技术选型与工程实践

大模型上下文成本与注意力优化技术深度解析——为何O(n²)平方复杂度无法被常规优化消除｜TaoToken 统一 Key 通道实测

基于GMM的语音识别系统原理与MATLAB实现详解

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？