跨模态神经搜索实践VCED CLIP简介
admin
2024-04-09 17:41:19
0次

1. CLIP简介

1.1 CLIP是什么

CLIP(Contrastive Language-Image Pretraining)模型将原有的图像标签替换为图像的文本描述信息,来监督视觉任务的训练,在下游任务中得到了较好的zero-shot结果。

该模型将图像分类问题转换为图文匹配问题,首先针对图片构造text prompt,并使用CLIP模的text encoder获得文本编码向量,之后将图片通过image encoder获得图像编码向量。

对于图片,计算它与所有text prompt之间的距离(图像编码向量与文本编码向量的余弦相似度/点积),选择距离最近的text prompt标签作为图片的标签。

除此之外,CLIP模型可广泛应用到图像检索、视频理解、图像生成等其它领域。

1.2 CLIP原理

CLIP将语言信息和图像信息联合训练,实现了在下游任务上zero-shot(Zero-shot learning指没有当前类别的训练样本的情况下,让模型学习到一个映射关系可以将样本映射到原有的向量空间,再通过距离判断当前样本可能属于哪一个类别)的能力。

  • 训练过程

具体而言,即收集N个图像和文本对,将其按照编码次序排列,可以得到一个N*N矩阵T,训练需要使得对角线上的元素值尽可能大,其余部分值尽可能小,矩阵中的T(i, j)表示第i个文本与第j个文本图像之间的语义相似度。

  • zero-shot过程

根据上下文语义建立prompt模板,将分类标签映射到prompt模板得到文本集合,再通过CLIP的text encoder得到文本编码向量。

之后,对于要分类的图片,只需要比较图片的向量和文本特征间的语义距离,选择距离最近的即可得到图片的分类结果。

1.3 其它多模态模型

在图文生成领域,除了VAE、GAN等模型,还有扩散模型(diffusion model)。

2. 多模态和跨模态的应用

2.1 介绍

  • 多模态应用

允许通过利用多种方式的优势来结合不同的模态。例如,可以在对话中同时使用口语和书面语言,以确保我们相互理解。我们还可以使用图片或视频等作为视觉辅助工具,来帮助解释仅用文字难以描述的事物。

  • 跨模态应用

输入某一个模态,可以输出另一个模态。它通过使用一种感官的信息来增强另一种感官,使用户体验比传统应用更上一层楼。比如说,我们可以通过触摸的方式来帮助我们理解在触觉地图或盲文文本中看到的内容。我们还可以使用声音来帮助我们定位环境中的事物,一般通过声纳或雷达来完成。

2.2 与传统交互方式的不同

  • 支持输入和输出模态以任意方式进行排列组合,包括但不限于语音、视频和文本;
  • 使用多种模态输入和输出信息,从而提高了准确性、精确度和可用性;
  • 能够同时使用多种模态,提高了效率;
  • 能够以任意组合使用多种模态,提高了灵活性。

2.3 开发多模态和跨模态应用存在的挑战

  • 缺乏此类系统的设计模式。包括如何存储、计算、传输不同模态的数据、以及不同工具的切换;
  • 缺乏用于开发多模态和跨模态应用的工具和框架,没有一个可以包含多种模态的标准数据结构;
  • 缺乏如何在应用中组合不同的模态的工具;
  • 缺乏有效的测试手段,需要确保模态正常运转且用户体验良好。

3. Jina

针对以上挑战,可以利用Jina生态系统中的产品作为应用的构建模块:

  • 一个适用于所有模态的标准数据结构,即DocArray;
  • 可复用的代码片段,即Executor;
  • 运行工具,即Jina;
  • 部署托管工具,即JCloud。

References

  1. CLIP
  2. 多模态和跨模态应用

相关内容

热门资讯

蜻蜓订购APP贵金属订购非法期...   蜻蜓订购APP以"投资平台"名义对外宣传,主打贵金属期货(订购)交易。该平台一方面强调自身"正规...
悟空订购APP非法期货交易欺骗...   近期,有投资者反映,“悟空订购APP”等平台以白银、贵金属订购为名,宣传所谓“高收益”“低门槛”...
小赢淘金APP期货投资骗局,平...   “小赢淘金”之流,最擅长的就是用“注册送现金”、“充值返券”的糖衣炮弹来引流。别天真地以为那是福...
八方淘金APP非法期货交易欺骗...   警惕!八方生财、每日淘金、小赢淘金、悟空订购、蜻蜓订购、斗金订购等APP均涉嫌非法期货交易!  ...
智易购APP贵金属订购交易骗局...   很多人看到“3元起投”“充值送福利”“操作简单”“随时提现”这类宣传,很容易把智易购APP当成普...
喜玛银庄APP商品订购投资骗局...   喜玛银庄APP白银、铂金“现货订购”骗局警示:无资质平台涉嫌非法期货交易,投资者爆仓后如何维权?...
吉鑫乐享APP炒贵金属订购交易...   近期,多名投资者反映在“吉鑫乐享APP”进行贵金属投资时遭遇严重亏损,甚至血本无归。看似正规的“...
易掘金APP虚假期货投资骗局,...   “易掘金”的APP它打着“高收益、灵活投资”的旗号,宣称通过“商品订购”就能轻松赚钱,吸引了不少...
在大吉订购APP订购交易亏损被...   近期,不少投资者反映在“大吉订购App”上投资白银、铂金等商品遭遇严重亏损。该平台宣称提供现货订...
铂银壹号APP商品订购交易亏损...   许多中小投资者误以为网上的“商品现货订购”是合规合法的理财渠道,殊不知这背后隐藏着巨大的合规风险...
兴鑫淘金APP贵金属订购交易亏...   白银、贵金属或其他商品类投资,除国家批准的正规期货交易场所及持牌期货公司外,市面上大量第三方交易...
铂银掘金APP无资质的违规平台...   铂银掘金等平台的投资者,往往是被“注册送现金”“充值返现券”“首单免亏”等广告话术吸引,进而下载...
八方淘金APP订购交易不合规,...   “八方淘金APP”“铂银掘金APP”“铂银壹号APP”等软件被指以“现货订购”为名,实际采用高杠...
在指尖订购APP订购商品亏损被...   指尖订购APP这类平台,表面是“订购交易”,实则是披着电商外衣的非法期货陷阱。绝大多数投资者被蒙...
在犀贝易购APP做商品订购交易...   市面上打着“现货投资”“贵金属交易”旗号的APP并不少,但真正合规、受监管的平台并不多。犀贝易购...
易达淘金APP虚假商品订购交易...   易达淘金APP存在严重的虚假宣传与违规交易行为。该平台打着“商品订购”的旗号,实则通过不合规的交...
大浪淘金APP白银订购亏损被骗...   大浪淘金APP最隐蔽的套路,在于其完全封闭的内盘交易系统。表面上,它宣称与国际贵金属市场接轨;实...
一品好购APP上订购白银出现亏...   一品好购APP原名“一品订购”,运营方为上海宝智未来信息技术有限公司。近期不少投资者反映在该平台...
九州订购APP贵金属订购投资骗...   九州订购APP正通过抖.音、快手、今日头条等平台大量投放投资广告,用“5元起投”“充值返现”“0...
坚锅淘金APP交易软件并不正规...   当前,市面上大量所谓的“现货商城订购”交易软件,早已偏离了正常的实物商品买卖,演变为高杠杆、高手...