【代码实践】使用CLIP做一些多模态的事情

CLIP到底有多强,让我们来试试吧!

CLIP模型及代码地址:GitHub – openai/CLIP: Contrastive Language-Image Pretraining

一、准备环境

先创建一个anaconda虚拟环境,包含python=3.7版本,将该环境命名为clip。成功。

( pytorch=1.7.1 所需 python 版本 >=3.6,本博客决定安装 py3.7 )

conda create --name clip python=3.7
# 切换到虚拟环境clip中
conda activate clip

根据CLIP的github上指示,安装pytorch=1.7.1 及其他所需库。成功。

conda install --yes -c pytorch pytorch=1.7.1 torchvision cudatoolkit=11.0
pip install ftfy regex tqdm

最后,从github上直接安装CLIP。这一步可能会失败。

pip install git+https://github.com/openai/CLIP.git

如果无法访问github网址,会出现如下错误:

【代码实践】使用CLIP做一些多模态的事情

解决方法是从github镜像网站上拉取CLIP项目的完整zip包,将下载到的CLIP-main.zip文件保存在本地路径中,然后从本地直接安装CLIP库。

具体代码如下:

# 进入CLIP-main.zip所在路径
# 解压.zip文件,然后进入解压后的文件夹
unzip CLIP-main.zip
cd CLIP-main
# 运行setup.py文件,完成本地安装clip
python setup.py install

然后查看已安装的库,能找到clip就说明安装成功了,如下图所示:

【代码实践】使用CLIP做一些多模态的事情

二、测试CLIP

使用一个简单的图像分类代码测试clip是否能够正常运行,如下图是海贼王里面的人物艾斯,将该图片命名为Ace.jpeg。

【代码实践】使用CLIP做一些多模态的事情

运行下面的代码,希望模型能够识别出该图像是【一个人,一条狗,一只猫】中的哪一类:

import torch
import clip
from PIL import Image

device = "cuda" if torch.cuda.is_available() else "cpu"
# 加载预训练好的模型
model, preprocess = clip.load("ViT-B/32", device=device)

# 读取艾斯的图片和候选类别文字
image = preprocess(Image.open("Ace.jpeg")).unsqueeze(0).to(device)
text = clip.tokenize(["a man", "a dog", "a cat"]).to(device)

with torch.no_grad():
    # 计算每一张图像和每一个文本的相似度值
    logits_per_image, logits_per_text = model(image, text)

    # 对该image与每一个text的相似度值进行softmax
    probs = logits_per_image.softmax(dim=-1).cpu().numpy()

print("Label probs:", probs)

首次运行,代码会加载openai已经训练好的ViT-B/32模型,如下图所示:

【代码实践】使用CLIP做一些多模态的事情 等模型加载完毕,就会执行图像分类了,从结果可以看出,CLIP以0.928的概率判定该图像是一个man,而不是dog或者cat。

【代码实践】使用CLIP做一些多模态的事情

非常神奇的是,如果将代码的候选text选项中 “a man” 替换成艾斯的名字 “Ace”,让CLIP判断图像是否是Ace,结果甚至更好,CLIP以0.994的概率判定该图像是艾斯!

text = clip.tokenize(["Ace", "a dog", "a cat"]).to(device)

【代码实践】使用CLIP做一些多模态的事情  

三、API介绍及使用

1. clip.available_models()

import torch
import clip
print(clip.available_models())

该方法输出CLIP的预训练好的图像编码器名称:

['RN50', 'RN101', 'RN50x4', 'RN50x16', 'RN50x64', 'ViT-B/32', 'ViT-B/16', 'ViT-L/14']

2. clip.load()

该方法接受4个输入参数,得到2个输出结果。

参数:

  • name:字符串。用于指定CLIP使用的图像编码器模型。可以是模型名称,也就是clip.available_models()的输出结果;或者是这些模型所在的路径。
  • device:字符串或者torch.device的输出结果。用于指定加载模型的设备,gpu或者cpu。
  • jit:布尔值。是否加载优化的JIT模型。
  • download_root:字符串。用于指定下载的模型的保存地址,默认值如下代码所示。
model, proprecess = clip.load(name="RN50", device="cpu", jit=False, download_root="~/.cache/clip")

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
心中带点小风骚的头像心中带点小风骚普通用户
上一篇 2023年2月26日 上午9:54
下一篇 2023年2月26日 上午9:55

相关推荐