ICLR 2024 Spotlight | 負標籤挖掘輔助基於CLIP的分佈外偵測任務

在機器學習模式日益應用於開放世界場景中，如何有效識別和處理分佈外（Out-of-Distribution，OOD）資料成為一個重要研究領域。分佈外資料的存在可能導致模型過度自信和錯誤預測，這在安全關鍵應用（如自動駕駛和醫療診斷）中尤其危險。因此，發展一種有效的OOD檢測機制，對於提高模型在實際應用中的安全性和可靠性至關重要。

傳統的OOD偵測方法主要集中在單一模式，特別是影像資料上，而忽略了其它潛在有用的資訊來源，例如文字資料。隨著視覺-語言模型（VLMs）的興起，它們在多模式學習場景中展示了強大的性能，特別是在處理需要同時理解圖像和相關文字描述的任務中表現出色。現有的基於VLMs的OOD檢測方法[3,4,5]僅使用了ID標籤的語意訊息，忽略了VLMs模型強大的零樣本能力，以及VLMs可解釋非常廣闊的語意空間。基於此，我們認為VLMs在OOD檢測中有巨大的未開發潛力，尤其是它們可以綜合利用圖像和文字資訊來改善檢測效果。

這篇文章圍繞著三個問題：

1.非ID標籤的資訊是否對零樣本OOD偵測有幫助？

2.如何挖掘出對零樣本OOD偵測有利的資訊？

3.如何利用挖掘出的資訊進行零樣本OOD偵測？

在這個專案中，我們提出了一種名為NegLabel的創新方法，該方法利用VLMs進行OOD檢測。 NegLabel方法特別引入了「負標籤」機制，這些負標籤與已知ID類別標籤具有顯著的語義差異，透過分析比較影像和ID標籤和負標籤的親和力和性質，NegLabel能夠有效地區分屬於分佈外的樣本，從而顯著增強模型對OOD樣本的辨識能力。

在多個零樣本OOD偵測基準測試中，NegLabel取得了優越的效能表現。在大規模資料集如ImageNet-1k上能夠達到94.21%的AUROC和25.40%的FPR95。相較於基於VLMs的OOD偵測方法，NegLabel不僅不需要額外的訓練過程，而且展現出更優越的表現。此外，NegLabel在不同的VLM架構上都展現了優異的通用性和穩健性。

Ø論文連結：https://arxiv.org/pdf/2403.20078.pdf

Ø程式碼連結：https://github.com/ tmlr-group/NegLabel

接下來將簡單地向大家分享我們近期發表在ICLR 2024 上的分佈外偵測方向的研究結果。

預備知識

方法介紹

NegLabel的核心就是引入了「負標籤」機制，這些負標籤與已知ID類別標籤有顯著的語意差異，透過分析比較影像與ID標籤和負標籤的親和力，NegLabel能夠有效地區分出屬於分佈外的樣本，從而顯著增強模型對OOD樣本的辨識能力。

圖1. NegLabel的總覽圖

#1. 如何選取負標籤？

2. 如何利用負標籤來進行OOD偵測？

3.如何理解負樣本可以促進零樣本OOD偵測？

實驗結果

我們的研究工作提供了多維度的實驗結果以理解我們提出的方法性能及底層機制。

如下表所示，與諸多性能優良的基準方法和先進方法相比，本文提出的方法可以大規模資料集（如ImageNet）上在其基礎上達到更優的分佈外檢測效果。

此外，如下表所示，本文的方法在ID資料發生域遷移時有著更好的穩健性。

在下列兩個表格中，我們對NegLabel的各個模組還有VLMs的結構進行了消融實驗。左表可以看出，NegMining演算法和Grouping策略都可以有效提升OOD偵測的效能。右表展示了我們提出的NegLabel演算法在不同結構的VLMs有著良好的適應性。

我們也對不同輸入影像對於ID標籤和負標籤的親和力進行了視覺化分析，更多詳細的實驗和結果請參考原文。

#參考文獻

[1] Hendrycks, D. and Gimpel, K. A baseline for detecting misclassified and out-of-distribution examples in neural networks. In ICLR, 2017.

[2] Alec Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal,Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Learning transferable visual models from natural language supervision. In ICML, 2021.

[3] Sepideh Esmaeilpour, Bing Liu, Eric Robertson, and Lei Shu. Zero-shot out-of -distribution detection based on the pre-trained model clip. In AAAI, 2022.

[4] Yifei Ming, Ziyang Cai, Jiuxiang Gu, Yiyou Sun, Wei Li, and Yixuan Li. Delving into out-ofdisdbution detection with vision-language representations. In NeurIPS, 2022a.

[5] Hualiang Wang, Yi Li, Huifeng Yao, and Xiaomeng Li. Clipn for zero-shot ood detection: Teaching clip to iaomeng Li. Clipn for zero-shot ood detection: Teaching clip to say no.CV, 2023.

[6] Christiane Fellbaum. WordNet: An Electronic Lexical Database. Bradford Books, 1998. 

#

以上是ICLR 2024 Spotlight | 負標籤挖掘輔助基於CLIP的分佈外偵測任務的詳細內容。更多資訊請關注PHP中文網其他相關文章！