尧图网络 高端网站定制 · 原创设计
免费咨询热线
400-888-6620
免费获取方案
03.Windows编译运行VideoRAG算法
一、项目介绍1.1 仓库地址GIT URL: https://github.com/HKUDS/VideoRAG/tree/main/VideoRAG-algorithm1.2 项目说明VideoRAG 引入了一种新颖的双通道架构该架构协同结合图驱动的文本知识归一化用于建模跨视频语义关系以及层次化的多模态上下文编码以保留时空视觉模式通过动态构建的知识图实现无限制长度的视频理解这些知识图在多视频上下文中保持语义一致性同时通过自适应的多模态融合机制优化检索效率。高效的极长上下文视频处理利用单个 NVIDIA RTX 3090 GPU24G理解数百小时的视频内容结构化视频知识索引多模态知识索引框架将数百小时的视频提炼成简洁、结构化的知识图谱用于全面响应的多模态检索多模态检索范式将文本语义和视觉内容对齐以识别最相关的视频实现全面响应新建的长视频基准新建立的 LongerVideos 基准测试包含超过 160 个视频总时长超过 134 小时涵盖讲座、纪录片和娱乐内容二、配置运行环境2.1 conda环境conda create--namevideoragpython3.11conda activate videorag# Core numerical and deep learning librariespipinstallnumpy1.26.4 pipinstalltorch2.1.2torchvision0.16.2torchaudio2.1.2 pipinstallaccelerate0.30.1 pipinstallbitsandbytes0.43.1# Video processing utilitiespipinstallmoviepy1.0.3 pipinstallgithttps://github.com/facebookresearch/pytorchvideo.git28fe037d212663c6a24f373b94cc5d478c8c1a1d pipinstall--no-deps githttps://github.com/facebookresearch/ImageBind.git3fcf5c9039de97f6ff5528ee4a9dce903c5979b3# Multi-modal and vision librariespipinstalltimm ftfy regex einops fvcore eva-decord0.6.1 iopath matplotlib types-regex cartopy# Audio processing and vector databasespipinstallctranslate24.4.0faster_whisper1.0.3 neo4j hnswlib xxhash nano-vectordb# Language models and utilitiespipinstalltransformers4.37.1 pipinstalltiktoken openai tenacity pipinstallollama0.5.32.2 模型下载下载 MiniCPM-V、Whisper 和 ImageBind 所需的检查点到从仓库根目录。# Ensure git-lfs is installedgitlfsinstall# Download MiniCPM-V modelgitlfs clone https://huggingface.co/openbmb/MiniCPM-V-2_6-int4# Download Whisper modelgitlfs clone https://huggingface.co/Systran/faster-distil-whisper-large-v3# Download ImageBind checkpointmkdir.checkpointscd.checkpointswgethttps://dl.fbaipublicfiles.com/imagebind/imagebind_huge.pthcd../三、问题修复如果上面两个项目没有提前clone可以修改以下截图所圈的地方。modelWhisperModel(Systran/faster-distil-whisper-large-v3,devicecpu,compute_typeint8)四、使用方式目前VideoRAG 仅在英语环境中进行了测试。要处理多种语言的视频建议修改 asr.py 中的 WhisperModel 。更多详情请参考 faster-whisper。首先让 VideoRAG 从给定的视频中提取和索引知识只需一个配备 24GB 内存的 GPU 即可例如 RTX 3090importosimportloggingimportwarningsimportmultiprocessing warnings.filterwarnings(ignore)logging.getLogger(httpx).setLevel(logging.WARNING)# Please enter your openai keyos.environ[OPENAI_API_KEY]fromvideorag._llmimportopenai_4o_mini_configfromvideoragimportVideoRAG,QueryParamif__name____main__:multiprocessing.set_start_method(spawn)# Please enter your video file path in this list; there is no limit on the length.# Here is an example; you can use your own videos instead.video_paths[movies/Iron-Man.mp4,movies/Spider-Man.mkv,]videoragVideoRAG(llmopenai_4o_mini_config,working_dirf./videorag-workdir)videorag.insert_video(video_path_listvideo_paths)然后对视频提出任何问题以下是一个示例importosimportloggingimportwarningsimportmultiprocessing warnings.filterwarnings(ignore)logging.getLogger(httpx).setLevel(logging.WARNING)# Please enter your openai keyos.environ[OPENAI_API_KEY]fromvideorag._llmimport*fromvideoragimportVideoRAG,QueryParamif__name____main__:multiprocessing.set_start_method(spawn)queryWhat is the relationship between Iron Man and Spider-Man? How do they meet, and how does Iron Man help Spider-Man?paramQueryParam(modevideorag)# if param.wo_reference False, VideoRAG will add reference to video clips in the responseparam.wo_referenceTruevideoragvideoragVideoRAG(llmopenai_4o_mini_config,working_dirf./videorag-workdir)videorag.load_caption_model(debugFalse)responsevideorag.query(queryquery,paramparam)print(response)
RELATED

相关推荐

04.WSL环境下编译安装NBIS指纹分析实战指南

04.WSL环境下编译安装NBIS指纹分析实战指南

一、引言 指纹识别作为生物识别技术的重要组成部分,广泛应用于安全认证、身份识别等领域。NBIS(NIST Biometric Image Software)作为FBI和美国国土安全部联合开发的指纹特征提取软件,以其高效、准确的特点,成为该领域的…

📅 2026/11/10 0:03:57
【达芬奇-导入外部剪辑做调色】

【达芬奇-导入外部剪辑做调色】

导入外部剪辑视频做调色快捷键场景剪切多机位剪辑套底快捷键 新建时间线:Command N 场景剪切 软件自动对剪辑好未调色的成片进行分割 右侧选择并用上 & 下 进行校验 删除多余剪辑点,添加未标记点 记得调整有叠转场的片段覆盖上一层轨道。 多…

📅 2026/9/13 4:01:21
老Mac改造服务器全攻略:从配置到优化

老Mac改造服务器全攻略:从配置到优化

1. 老Mac变身服务器的价值与可行性 对于许多Mac用户来说,随着设备更新换代,家里总会闲置几台性能尚可的老款Mac电脑。与其让它们吃灰,不如将这些老Mac改造成服务器,发挥余热。我手头这台2015款的MacBook Pro虽然已经不适合日常使用…

📅 2026/9/13 4:02:13
MORE NEWS

更多资讯

📰

济南电工证啥时候考的?考前押题助你少走弯路

济南电工证啥时候考的?考前押题助你少走弯路 不知道去哪报名怕被中介坑,济南电工证啥时候考的?这是很多想考证的小伙伴最头疼的问题。网上一搜信息五花八门,有些地方收费高得离谱,还有些培训机构不靠谱,拿钱不办事,耽误时间不说,还可能影响你的职业生…

📰

低压电工证理论考几题别怕挂科 电子证书怎么考更稳妥

低压电工证理论考几题别怕挂科 电子证书怎么考更稳妥 怕考不过白交培训费?你不是一个人。去年郑州一家建筑公司就有3个工人因为理论考试不及格,培训费打了水漂。其实低压电工证理论考试 总共60题 ,考前掌握重点就能稳过。更关键的是,现在…

📰

黄陵县高低压电工证怎么考?上岗必备全流程避坑指南

黄陵县高低压电工证怎么考?上岗必备全流程避坑指南 你是不是也遇到过这种情况:想在工地、工厂或者电力相关单位找一份稳定的电工工作,结果被告知“ 必须有黄陵县高低压电工证…

📰

南通电工证发证单位考前押题怎么搞?工地太忙根本没时间复习考试

南通电工证发证单位考前押题怎么搞?工地太忙根本没时间复习考试 工地太忙根本没时间复习考试,这是很多一线电工的真实写照。特别是像你这种在驻马店干建筑的,天天扛着工具、爬架子、接电线,哪还有空去琢磨考前押题?但别小看这张南通电工证发证单位发的低…

📰

电工证考试及格线你知道多少?值不值得考

电工证考试及格线你知道多少?值不值得考 不知道去哪报名怕被中介坑?你不是一个人。南阳卧龙区从事房建工程的师傅们,几乎每个人都遇到过这种烦心事。电工证考试及格线是多少?值不值得考?今天就来聊清楚,帮你避坑。…

📰

低压电工作业证书报名怎么报名?证书过期了不知道怎么复审延期

低压电工作业证书报名怎么报名?证书过期了不知道怎么复审延期 证书过期了不知道怎么复审延期?低压电工作业证书报名怎么报名?这是很多电工师傅在实际工作中遇到的难题。尤其是在信阳浉河区,很多劳务班组负责人为了确保施工安全和合法合规,必须为班组成员…

TODAY

今日更新

THIS WEEK

本周精选

THIS MONTH

本月热门

读完文章,想聊聊您的网站?

告诉我们您的行业与需求,资深顾问一对一梳理方案与报价,全程免费。

📞 💬