CLIP不接地氣？你需要一個更懂中文的模型

本文介紹的是達摩院魔搭社群ModelScope 近期開源的中文CLIP 大規模預訓練圖文表徵模型，更加懂中文和中文互聯網的圖像，在圖文檢索、零樣本圖片分類等多個任務中實現最優效果，同時程式碼和模型已經全部開源，使用者能夠使用魔搭快速上手。

• 模型使用入口: https://modelscope.cn/models/damo/multi-modal_clip-vit-base-patch16_zh/summary
• Github: https://github.com/OFA-Sys/Chinese-CLIP
• 論文: https://arxiv.org/pdf /2211.01335.pdf
• 圖表檢索demo: https://modelscope.cn/studios/damo/chinese_clip_applications/summary 

#1.簡介

在當下的網路生態中，多模態相關任務和場景簡直數不勝數，如圖文檢索、圖片分類、影片和圖文內容等場景。近年來火爆全網的圖片生成更是熱度躥升，迅速出圈。在這些任務的背後，一個強大的圖文理解模型顯然是必須的。 OpenAI 在2021 年推出的CLIP 模型，相信大家都不會陌生，透過簡單的圖文雙塔對比學習和大量的圖文語料，使模型具有了顯著的圖文特徵對齊能力，在零樣本圖像分類、跨模態檢索中效果拔群，也被當作DALLE2、Stable Diffusion 等圖片產生模型的關鍵模組。

但很可惜的是，OpenAI CLIP 的預訓練主要使用英文世界的圖文數據，不能天然支持中文。即便是社區有研究者透過翻譯的文本，蒸餾出多語言版本的Multilingual-CLIP (mCLIP)，同樣無法很好滿足中文世界的需求，對於中文領域的文本理解不很到位，比如搜索“春節對聯” ，返回的卻是聖誕節相關的內容：

#mCLIP 檢索demo 搜尋「春節對聯」 傳回結果

這也說明，我們需要一個更懂中文的CLIP，不只懂我們的語言，也更懂中文世界的圖像。

2. 方法

達摩院的研究人員收集了大規模的中文圖文對資料（約2 億規模），其中包括來自LAION-5B中文子集、Wukong 的中文資料、以及來自COCO、Visual Genome 的翻譯圖文資料等。訓練圖文絕大部分來自公開資料集，大大降低了復現難度。而在訓練方法上，為了有效提升模型的訓練效率與模型效果，研究者則設計了兩階段訓練的流程：

##Chinese CLIP 方法示意圖

#如圖所示，在第一階段，模型使用現有的圖像預訓練模型和文字預訓練模型分別初始化Chinese-CLIP 的雙塔，並凍結影像側參數，讓語言模型關聯上現有的影像預訓練表示空間，同時減少訓練開銷。隨後，在第二階段解凍影像側參數，讓影像模型和語言模型關聯的同時並建模中文特色的資料分佈。研究者發現，相較於從頭開始做預訓練，該方法在多個下游任務上均展現顯著更優的實驗效果，而其顯著更高的收斂效率也意味著更小的訓練開銷。相較於全程只訓練文本側做一階段訓練，加入第二階段訓練能有效在圖文下游任務，尤其是中文原生（而非翻譯自英文資料集）的圖文任務上進一步提升效果。

在MUGE 中文電商圖文檢索、Flickr30K-CN 翻譯版本通用圖文擷取兩個資料集上觀察zero-shot 隨著預訓練持續進行的效果變化趨勢#

利用这一策略，研究人员训练了多个规模的模型，从最小的 ResNet-50、ViT-Base 和 Large，直到 ViT-Huge 应有尽有，目前已经全部开放，用户完全可以按需使用最适合自身场景的模型：

3. 实验

多项实验数据表明，Chinese-CLIP 可以在中文跨模态检索取得最优表现，其中在中文原生的电商图像检索数据集 MUGE 上，多个规模的 Chinese CLIP 均取得该规模的最优表现。而在英文原生的 Flickr30K-CN 等数据集上，不论是零样本还是微调的设定下，Chinese CLIP 均能显著地超出国内 Wukong、Taiyi、R2D2 等基线模型。这在很大程度上归功于 Chinese-CLIP 更大规模的中文预训练图文语料，以及 Chinese-CLIP 不同于国内现有一些图文表征模型为了最小化训练成本全程冻结图像侧，而是采用两阶段的训练策略的做法，以更好适配中文领域：

MUGE 中文电商图文检索数据集实验结果

Flickr30K-CN 中文图文检索数据集实验结果

同时，研究人员在零样本图像分类数据集上验证了中文 CLIP 的效果。由于中文领域比较权威的零样本图像分类任务并不多，研究人员目前在英文翻译版本的数据集上进行了测试。Chinese-CLIP 在这些任务上，通过中文的 prompt 和类别标签，能够取得和 CLIP 相当的表现：

零样本分类实验结果

零样本图片分类示例

4．快速使用

如何才能用上 Chinese-CLIP ？很简单，点击文章开头的链接访问魔搭社区或使用开源代码，短短几行就能完成图文特征提取和相似度计算了。如需快速使用和体验，魔搭社区提供了配置好环境的 Notebook，点击右上方即可使用。

Chinese-CLIP 也支持用户使用自己的数据进行 finetune，同时还提供了一个图文检索的 demo，供大家实际体验 Chinese-CLIP 各规模模型的效果：

5. 结语

此次达魔搭社区推出 Chinese-CLIP 项目，为广大中文多模态研究和产业界用户，提供了一个优秀的预训练图文理解模型，帮助大家无门槛快速上手图文特征 & 相似度计算、图文检索以及零样本分类，并可尝试用于搭建像是图像生成这样更复杂的多模态应用。想要在中文多模态领域一展拳脚的朋友们，请一定不要错过！而这也仅仅是魔搭社区的一项应用之一，ModelScope 让众多 AI 领域的基础模型扮演应用基座的角色，支持更多创新模型、应用甚至产品的诞生。

以上是CLIP不接地氣？你需要一個更懂中文的模型的詳細內容。更多資訊請關注PHP中文網其他相關文章！