AI Movie Studio —— 一个面向电影、电视剧、动漫、短剧的 Agent 化影视理解与自动解说平台-北京尧图网络

一、需求搭建一个专为影视解说打造的全自动视频解说agent平台支持短剧、电影、动漫等本地视频解说的所有流程。二、架构AI Movie Studio本地视频 │ ▼ 视频分析 │ ▼ 场景切分 │ ▼ Vision理解 │ ▼ 剧情理解 │ ▼ 自动写解说 │ ▼ 自动选镜头 │ ▼ AI配音 │ ▼ 字幕 │ ▼ 自动剪辑 │ ▼ 导出成片Step1 导入本地视频例如Movies/ IronMan.mp4 西虹市首富.mkv Anime/ 鬼灭之刃/ Drama/ 庆余年/自动扫描支持 mp4 mkv avi ts mov建立项目Project/ IronMan/Step2 自动切镜头Scene Detection这是影视解说最重要的一步。例如一部2小时电影自动变成Scene001 Scene002 ... Scene876建议工具PySceneDetect首选FFmpeg scene filterPyAV每个 Scene20秒 35秒 5秒 80秒Step3 Vision 理解每个 Scene抽取关键帧1秒一帧或者每Scene抽8帧然后送给视觉模型。推荐模型推荐度Qwen2.5-VL⭐⭐⭐⭐⭐InternVL3⭐⭐⭐⭐Gemma3 Vision⭐⭐⭐⭐Florence-2⭐⭐⭐输出类似{ scene:235, characters:[ Tony, Pepper ], location:实验室, action:Tony制造Mark2, emotion:兴奋, importance:95 }Step4 OCR自动识别中文字幕日文字幕英文字幕推荐PaddleOCR EasyOCR动漫尤其重要。Step5 ASR提取对白推荐Whisper Large-v3 WhisperX SenseVoice得到00:10 Tony I am Iron Man.Step6 剧情理解这是 Claude 最擅长的。输入876个Scene 对白字幕 OCR 人物Claude输出剧情总结人物关系高潮反转伏笔时间线例如第一幕 ↓ 获得能力 ↓ 反派出现 ↓ 高潮 ↓ 结局Step7 自动写解说例如Prompt写8分钟B站风格搞笑电影解说Claude输出script.md甚至每一句对应Scene编号例如Scene123 Scene245 Scene300Step8 自动选镜头不用再搜。直接Scene Database查Tony造战甲得到Scene233 96% 匹配自动插入。Step9 节奏优化例如高潮保留 100%对白保留30%风景删除重复删除Step10 AI配音推荐CosyVoice2 Fish Speech GPT-SoVITS生成voice.wavStep11 自动字幕直接根据script voice生成srtStep12 自动剪辑MoviePy或者FFmpeg自动切镜头缩放淡入字幕背景音乐 Logo输出IronMan_解说.mp4我建议增加两个 AI 模块① HighLight Agent高光检测自动找打斗爆炸哭笑接吻反转高潮死亡 Boss出现自动评分Scene421 98分影视解说几乎都要这个。② Hook Agent前三秒现在短视频最重要的是前三秒Claude可以自动从高潮倒叙剪一个Hook例如00:00 Boss爆炸 ↓ 画面暂停 ↓ 谁能想到 ↓ 开始正文三、项目落地结合你一直在使用的Claude Code Skills我会把整个系统拆成10~12 个独立 Skill而不是一个庞大的程序。例如video_import_skillscene_detect_skillvision_analysis_skilldialog_transcribe_skillstory_analysis_skillscript_writer_skillhighlight_selector_skilltts_skillsubtitle_skillauto_editor_skillreview_skill这样每个 Skill 都可以独立升级和替换模型例如未来把 Qwen2.5-VL 换成更新的视觉模型整个系统会更容易维护也更适合作为一个长期迭代的 AI 自动影视解说平台。openmontage/video-use能否实现你说的这些或者你有没有推荐的项目实现你说的这些skill给我一个能工程化的方案我认真看了OpenMontage就是你说的openmontage/video-use应该是指 OpenMontage 的 Agent Video Production System。如果评分的话能力OpenMontage我推荐的方案AI写脚本⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐AI配音⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐自动字幕⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐自动剪辑⭐⭐⭐⭐⭐⭐⭐⭐⭐Agent Skill架构⭐⭐⭐⭐⭐⭐⭐⭐⭐⭐本地视频分析⭐⭐⭐⭐⭐⭐⭐⭐影视剧情理解⭐⭐⭐⭐⭐⭐⭐自动影视解说⭐⭐⭐⭐⭐⭐⭐动漫解说⭐⭐⭐⭐⭐⭐长剧自动解说⭐⭐⭐⭐⭐⭐我的建议只有一句话不要 Fork OpenMontage 去改而是把 OpenMontage 当作视频生产引擎在它上面再做一个 AI Movie Studio。原因是 OpenMontage 的定位其实不是影视解说它更偏向于一个Agent 化的视频制作平台提供了多种视频生产流水线、几十个工具和大量 Skill负责研究、脚本、素材、配音、字幕、渲染等通用能力。为什么我不建议直接用 OpenMontageOpenMontage 的核心 Pipeline 更像Prompt ↓ Research ↓ Script ↓ Generate Assets ↓ Compose ↓ Render它更适合科普视频广告宣传片ExplainerDocumentaryAI生成视频官方也强调的是这些生产流程。但是你的需求是电影 ↓ AI理解电影 ↓ 理解剧情 ↓ 挑片段 ↓ 重新组织 ↓ 影视解说这完全不是一个问题。真正缺少的是 Video Understanding LayerOpenMontageScript ↓ Assets ↓ Compose我建议增加Movie ↓ Scene Detect ↓ Scene Understanding ↓ Story Understanding ↓ Highlight Ranking ↓ Narration ↓ Timeline ↓ OpenMontage Compose也就是说OpenMontage 负责后半部分。前半部分需要重新写。我建议的新架构名字AI Movie Studio目录AI-Movie-Studio/ ├── core/ │ ├── agents/ │ ├── skills/ │ ├── pipelines/ │ ├── timeline/ │ ├── vectordb/ │ ├── models/ │ ├── plugins/ │ └── ui/其中OpenMontage只占render/ tts/ subtitle/ compose/ music/我认为真正应该新增的 Skill① SceneDetect Skill负责电影 ↓ Scene001 Scene002 Scene003建议PySceneDetect FFmpeg输出scene.json② Vision Skill这是最重要。建议Qwen2.5VL InternVL3 Gemma3 Vision输出Scene001 Tony 实验室 Mark1 开心重要程度92③ Dialogue Skill利用WhisperX SenseVoice生成对白同时OCR字幕融合。④ Story Skill核心这个是目前没人做好的。输入1000个SceneClaude输出剧情树例如获得能力 ↓ 成长 ↓ 危机 ↓ 高潮 ↓ 结局甚至人物关系图⑤ Highlight Skill核心例如评分高潮 98战斗 92爱情 84伏笔 88最后Top100 Scene⑥ Narration SkillPrompt毒舌 B站搞笑 8分钟Claude输出script.md同时每一句对应Scene⑦ Timeline Skill我认为最关键例如00:00 Scene233 ↓ 00:12 Scene520 ↓ 00:26 Scene103自动生成timeline.jsonOpenMontage直接读取。我建议增加 VectorDB这是 OpenMontage 没有重点做的。例如Movie ↓ 每Scene ↓ Embedding ↓ Milvus Qdrant FAISS以后Claude直接Tony第一次飞 ↓ Search ↓ Scene234不用再重新分析。我建议增加 Movie Knowledge Graph例如Tony ↓ Pepper ↓ Obadiah ↓ Jarvis关系Tony 制造 Mark2剧情Mark1 ↓ Mark2 ↓ Mark3以后Claude可以回答Tony什么时候第一次飞直接Scene233我推荐的工程化技术栈这是我认为目前最合理、可长期维护的一套模块推荐项目AgentClaude Code主控工作流OpenMontage编排、渲染、字幕、配音场景切分PySceneDetect视频读取PyAV剧情分析Qwen2.5-VL / InternVL3对白识别WhisperX 或 SenseVoiceOCRPaddleOCR向量数据库Qdrant推荐或 FAISS时间轴OpenTimelineIO剪辑FFmpeg MoviePy渲染Remotion沿用 OpenMontage配音CosyVoice2 或 Fish Speech字幕WhisperX ASS/SRT项目管理SQLite开发期→ PostgreSQL生产如果是我来设计这个项目我不会把它做成一个 AI 自动剪辑工具。我会把它定位成AI Movie Studio —— 一个面向电影、电视剧、动漫、短剧的 Agent 化影视理解与自动解说平台。它不是在 OpenMontage 上简单加几个 Skill而是采用两层架构底层Production Engine直接复用 OpenMontage 已有的 Agent、渲染、字幕、TTS、Remotion、工作流等成熟能力。上层Movie Intelligence Engine新增专门针对影视内容的能力包括 Scene Detection、Vision Understanding、Story Graph、Highlight Ranking、Timeline Planning、Narration Planning、Movie RAG 等。这样 OpenMontage 负责怎么制作视频而 Movie Intelligence Engine 负责怎么理解电影。我认为这是目前最工程化、扩展性最好的一种方案也是后续支持电影、电视剧、动漫、短剧甚至直播回放自动解说的最佳架构。1.我的电脑配置是CPU i5-12490 内存16G GTX1660S 6G 2.告诉我AI Movie Studio这个架构怎么搭建目录怎么设计每个目录放哪些开源项目实现 3.给出具体的实现搭建这个Agent 化影视理解与自动解说平台你的配置我记得i5-12490 16G GTX1660S 6GB这个配置不适合本地运行大型 Vision 模型但非常适合做 Agent 编排。我建议把整个系统分成两层本地1660S负责视频处理、OCR、ASR、FFmpeg、PySceneDetect、配音、剪辑、缓存等。云端 APIClaude Code OpenAI/DeepSeek/Qwen API负责剧情理解、脚本生成、镜头规划、Review 等需要大模型推理的部分。这样 1660S 完全够用而且后期你换 RTX5070、5080 或服务器也几乎不用改架构。我建议不要做 Auto Movie而是直接做AI-Movie-Studio定位一个 Agent 化影视理解平台不是一个剪视频工具两者差别非常大。第一层整个项目AI-Movie-Studio/ │ ├── apps/ # 各种入口 │ ├── agents/ # Agent │ ├── skills/ # Claude Skills │ ├── workflows/ # Pipeline │ ├── engine/ # 视频引擎 │ ├── models/ # AI模型 │ ├── storage/ │ ├── database/ │ ├── config/ │ ├── plugins/ │ ├── ui/ │ └── projects/apps这里只放启动器。例如apps/ movie-cli/ movie-web/ movie-worker/ movie-api/建议FastAPITyperGradio后期ReactElectronagents这里是真正的 Agent。例如agents/ planner/ research/ scene/ vision/ story/ timeline/ editor/ tts/ subtitle/ review/ publisher/每一个都是一个 Agent。例如agents/ vision/ agent.py prompt.md config.yaml tool.py完全独立。skills这是 Claude Code Skill。例如skills/ scene_detect/ vision_understanding/ story_graph/ highlight/ script/ tts/ subtitle/ edit/ review/以后 Claudescene_detect story_graph timeline即可调用。workflows这里就是 Pipeline。例如movie.yaml anime.yaml tv.yaml short_drama.yaml例如movie.yamlImport ↓ SceneDetect ↓ OCR ↓ Whisper ↓ Vision ↓ Story ↓ Script ↓ Timeline ↓ TTS ↓ Subtitle ↓ Render以后Claude一句Run movie pipeline全部执行。engine这里放所有视频能力。例如engine/ video/ audio/ subtitle/ timeline/ render/ effect/里面全部调用FFmpeg MoviePy PyAV OpenTimelineIO不要写重复代码。例如engine/video/ split.py merge.py crop.py fps.py extract_frame.py所有 Skill 共用。models这里只放模型。例如models/ ocr/ asr/ vision/ tts/ embedding/例如models/ ocr/ PaddleOCRmodels/ tts/ CosyVoice2models/ asr/ WhisperXmodels/ embedding/ bge-m3全部统一。plugins以后任何能力都是插件。例如plugins/ PySceneDetect/ FFmpeg/ MoviePy/ Whisper/ PaddleOCR/ OpenMontage/以后升级直接git pull即可。database这里不要放 SQL。而是统一管理。例如database/ sqlite/ qdrant/ cache/SQLite管理项目人物 Scene TimelineQdrant保存Scene Embedding以后Claude直接找Tony第一次飞Qdrant直接Scene233storage这里放素材。例如storage/ movie/ scene/ frame/ audio/ subtitle/ thumbnail/ output/例如movie/ IronMan.mp4自动生成scene/ Scene001.mp4再frame/ Scene001/ 0001.jpg最后output/ IronMan_Final.mp4projects每个电影一个项目。例如projects/ IronMan/ Avatar/ 庆余年/ 鬼灭之刃/里面video/ scene/ ocr/ story/ script/ tts/ timeline/ review/互相独立。每个 Agent 怎么设计例如Scene Agent目录agents/ scene/ ├── agent.py ├── prompt.md ├── config.yaml ├── output_schema.py ├── tool.py └── README.mdAgent只负责Scene Detection不要OCR不要Whisper不要Story保证单一职责。Story Agent输入Scene OCR Dialogue输出story.json例如{ chapter:[ ], timeline:[ ], relationship:[ ] }以后所有Skill共享。Highlight Agent输入story.json输出highlight.json例如{ scene:235, score:98, type:battle }Timeline Agent输入script.md输出timeline.json例如00:00 Scene123 00:13 Scene420 00:28 Scene523最后Render直接读取。我推荐的开源项目按模块这是我会采用的一套组合而不是单一框架模块推荐项目用途Agent 编排Claude Code SkillsAgent、Skill、工作流视频切镜PySceneDetect自动场景检测视频处理PyAV FFmpeg解码、切片、转码剪辑MoviePy OpenTimelineIO时间轴和合成OCRPaddleOCR字幕、片头文字识别ASRWhisperX 或 SenseVoice对白转文本配音CosyVoice2中文 TTSEmbeddingBGE-M3场景向量化向量数据库QdrantScene 检索LLMClaude Code APIClaude / GPT / DeepSeek剧情理解、脚本、规划数据库SQLite开发→ PostgreSQL生产项目元数据缓存Redis可选Agent 状态、任务队列Web APIFastAPI对外接口前端Gradio开发→ React正式操作界面四、开发周期第一阶段2~3 周目标是跑通一条最小可用链路导入电影 → 场景切分 → OCR/ASR → Claude 生成解说脚本 → CosyVoice 配音 → FFmpeg 合成视频。这时先不要做复杂的剧情图谱和向量检索。第二阶段4~6 周增加智能能力Vision 场景分析Highlight Ranking精彩片段评分Timeline 自动规划Scene 向量检索Qdrant多种解说风格模板B站、抖音、纪录片等第三阶段长期把它真正做成一个 Agent 平台多 Agent 协同支持电影、电视剧、动漫、短剧Web UI插件系统批量处理一键生成不同平台版本16:9、9:16、1:1自动封面、标题、简介、标签生成审核与质量评分我认为最值得投入的不是继续寻找一个现成项目而是以这些成熟开源项目为底座搭建一个统一的 Agent 平台。目前市面上的开源项目大多只解决了其中一两个环节例如场景切分、字幕识别或自动剪辑而真正有价值的是把它们用统一的数据结构如scene.json、story.json、timeline.json串联起来。这样后续无论更换模型、升级工具还是增加新的 Skill都不会影响整体架构。

AI Movie Studio —— 一个面向电影、电视剧、动漫、短剧的 Agent 化影视理解与自动解说平台

相关推荐

热电偶信号滤波电路设计与工业应用实践

芯片量产中的Full-Mask技术解析与应用

SPI接口详解：从基础到高级应用

更多资讯

Paperclip：面向前端工程师的轻量级AI Agent开发框架

反向技能：从成品拆解到快速掌握新技术——以二维码工具为例

Openclaw龙虾处理设备安全卸载与回收指南

Elastic Beats五大采集器原理与生产实践指南

算力拐点：强化学习、GRPO与蒸馏如何降低推理模型成本

LC选频网络与谐振回路：Q值、通频带及阻抗匹配解析

今日更新

淘宝商品详情API开发实战与性能优化指南

Unity Package Manager刷新错误排查与解决方案

Java record 规范构造器能否被反序列化或反射绕过

本周精选

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

本月热门

面向复杂光照与角度的宠物面部识别鲁棒性增强策略

基于DRV8818与STM32的双极步进电机驱动方案实战解析

DRV8818PWPR+PIC18F45K80双极步进电机控制方案实战

读完文章，想聊聊您的网站？