CLIP 图文零样本匹配：10 分钟跑出第一个结果-北京尧图网络

CLIP 图文零样本匹配10 分钟跑出第一个结果【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP把一张照片和几句候选描述交给 CLIP它直接告诉你哪句最贴切全程不用训练——这就是常说的CLIP 零样本分类。按这份指南走装环境 3 条命令跑通首行代码不到 15 行从零到出分大约 10 分钟。环境准备3 条命令装好 CLIP 依赖前置条件就两条解释器 3.6 以上、PyTorch 版本达到 1.7.1 以上。先拿到源码并装成 Python 包git clone https://gitcode.com/GitHub_Trending/cl/CLIP cd CLIP pip install .git clone把仓库拉到本地pip install .按 setup.py 里的声明把clip装进当前环境之后在任何目录都能import clip。装包之前先装好 PyTorch 和几个小依赖conda install --yes -c pytorch pytorch torchvision cudatoolkit11.0 pip install ftfy regex tqdm packaging第一条装 PyTorch 和匹配 CUDA 的工具链没有 GPU 的机器把cudatoolkit11.0换成cpuonly即可版本需与本机 CUDA 对齐。第二条补齐 requirements.txt 里的轻量依赖ftfy 修文本乱码、regex 供分词器做正则、tqdm 画下载进度条、packaging 比较版本号。判定标准另开一个终端执行python -c import clip; print(clip.available_models())能打印出 9 个模型名从RN50到ViT-L/14336px就算装好了报ModuleNotFoundError就回到上面两条命令检查。CLIP 零样本分类最小可运行示例把下面 12 行存成first_run.py放在仓库根目录和 CLIP.png 同层然后python first_run.pyimport torch, clip from PIL import Image device cuda if torch.cuda.is_available() else cpu model, preprocess clip.load(ViT-B/32, devicedevice) image preprocess(Image.open(CLIP.png)).unsqueeze(0).to(device) text clip.tokenize([a diagram, a dog, a cat]).to(device) with torch.no_grad(): probs model(image, text)[0].softmax(dim-1).cpu() print(probs)clip.load负责取模型和配套的图片预处理clip.tokenize把三句英文转成定长 tokenmodel(...)一次前向就给出图像对每条文本的打分。判定标准第一次执行会弹出下载进度条ViT-B/32有几百 MB耐心等。跑完后打印一行tensor([[0.9928, 0.0042, 0.0030]])量级的数字不同设备略有出入。第一个值贴近 1说明图被认成 a diagram即成功三个值都接近 0.33 或者中途抛错对照下一节排错表查。CLIP 图文匹配怎么打分一张图讲透打个比方像两人对暗号——图片、文字各自编码成一串数字数字越接近说明越对得上。机制上CLIP 训练时成批地把配对的图文拉近、不配对的推远所以推理时只算图像向量和各候选句向量的余弦相似度得分最高者胜出这就是零样本分类的全部。想要分数而不是直接结论就改用model.encode_image()和model.encode_text()分别取两侧特征各自做 L2 归一化后矩阵相乘得到的就是余弦相似度再乘 100、过一遍 softmax相当于控制打分温度后取 top-1。CIFAR-100 的完整零样本演示写法可以直接看 README。常见卡点速查 ⚡卡在哪为什么怎么快速解决import clip报ModuleNotFoundError: No module named torchPyTorch 没装或装到了别的环境回到环境准备重跑 conda 那条命令首次运行时进度条长时间不走正在拉几百 MB 的模型权重权重会缓存在~/.cache/clip下次秒开离线场景可先把权重文件放进该目录CUDA out of memory显存装不下当前模型执行clip.available_models()看可用名单换成RN50这类小型号FileNotFoundError找不到 CLIP.png图片不在脚本所在目录在仓库根目录执行脚本或把图片路径写成绝对路径进阶行动清单把演示标签换成你自己的README.md打开即得完整 API 说明和 CIFAR-100 零样本预测范例想扩标签集就从这抄。clip/clip.py模型名单表和权重下载、校验逻辑都在这想搞清楚available_models()从哪来就翻它。clip/model.py图像编码器、文本编码器两个塔的实现排查分数为什么怪时看这里。model-card.md训练数据规模和已知局限写报告、评估风险前值得通读一遍。notebooks/Interacting_with_CLIP.ipynb交互式演示随手丢一张图和任意描述进去看实时打分。tests/test_consistency.py验证不同设备输出是否一致的测试换机器迁移时可直接参考。建议路线先让first_run.py出分再把三个候选句换成你业务里的说法比如一张报表截图、一张产品图看排序是否符合直觉——符合说明你已经有了一条可用的图文匹配基线。【免费下载链接】CLIPCLIP (Contrastive Language-Image Pretraining), Predict the most relevant text snippet given an image项目地址: https://gitcode.com/GitHub_Trending/cl/CLIP创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考

CLIP 图文零样本匹配：10 分钟跑出第一个结果

相关推荐

如何用 OpenScreen 快速完成录屏剪辑：视频剪辑与时间轴编辑完整指南

Mac mini 本地大模型推理实战：从 Ollama 到云端 API 混合开发

Anki 间隔重复卡片：把容易忘的知识免费排进你的复习计划

更多资讯

RBCADS 5.0滚动轴承设计：环境部署、优化出图与寿命校核避坑

Unlimited-OCR-2-bf16 输出协议详解：＜PAGE＞/＜BLOCK＞/＜FORK＞标签与 Markdown 转换指南

拆解RedTiger-Tools项目架构：渗透测试OSINT工具的JSON配置、双模式CLI解析与插件注入机制深度解析

5 秒参考音频出中文 TTS：GPT-SoVITS 少样本语音克隆实操指南

安装前必看的检查清单：如何为 dsh-voice-ai-girlfriend 配好环境？显存、CUDA、WSL2 一次装齐

RapidOCR 5分钟装好，离线跑通多语言 OCR 识别

今日更新

AI智能体开发实战：从技术原理到商业落地

OpenShell 完全定制指南：从安装到深度配置，打造高效 Windows 开始菜单

Superpowers技能体系全解析：从Skills引入到安装的完整指南

本周精选

防幻觉智能体架构：电源硬件设计中的大模型编排与工具化实践

OpenGL面试核心考点：渲染管线、矩阵变换与性能排查全解析

全国计算机二级C语言真题PDF高效刷题指南

本月热门

我发现了一个新思路：用 Remotion + Claude Code 像写代码一样自动化生成短视频

Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式：TaoToken 统一 Key 配置与验证

2026 大模型集体涨价：用 Python 做企业 Token 成本测算与选型避坑（附配置）

读完文章，想聊聊您的网站？