ICLR 2024 Spotlight |. Perlombongan label negatif memudahkan tugas pengesanan luar pengedaran berasaskan CLIP

Memandangkan model pembelajaran mesin semakin digunakan dalam senario dunia terbuka, cara mengenal pasti dan memproses data luar pengedaran (OOD) dengan berkesan telah menjadi bidang penyelidikan yang penting. Kehadiran data luar pengedaran boleh menyebabkan model terlalu yakin dan ramalan yang salah, yang amat berbahaya dalam aplikasi kritikal keselamatan seperti pemanduan autonomi dan diagnostik perubatan. Oleh itu, membangunkan mekanisme pengesanan OOD yang berkesan adalah penting untuk meningkatkan keselamatan dan kebolehpercayaan model dalam aplikasi praktikal.

Kaedah pengesanan OOD tradisional tertumpu terutamanya pada satu corak, terutamanya data imej, sambil mengabaikan sumber maklumat lain yang berpotensi berguna, seperti data teks. Dengan peningkatan model bahasa visual (VLM), mereka telah menunjukkan prestasi yang kukuh dalam senario pembelajaran pelbagai mod, terutamanya dalam tugasan yang memerlukan pemahaman serentak tentang imej dan huraian teks yang berkaitan. Kaedah pengesanan OOD sedia ada berdasarkan VLM [3, 4, 5] hanya menggunakan maklumat semantik teg ID, mengabaikan keupayaan sampel sifar yang berkuasa bagi model VLM dan ruang semantik yang sangat luas yang boleh ditafsirkan oleh VLM. Berdasarkan ini, kami percaya bahawa VLM mempunyai potensi besar yang belum diterokai dalam pengesanan OOD, terutamanya bahawa mereka boleh menggunakan maklumat imej dan teks secara menyeluruh untuk meningkatkan hasil pengesanan.

Artikel ini berkisar tentang tiga soalan:

1 Adakah maklumat tag bukan ID berguna untuk pengesanan OOD sifar?

2. Bagaimana untuk melombong maklumat yang bermanfaat untuk pengesanan OOD sampel sifar?

3. Bagaimana untuk menggunakan maklumat yang dilombong untuk pengesanan OOD sampel sifar?

Dalam projek ini, kami mencadangkan pendekatan inovatif yang dipanggil NegLabel yang menggunakan VLM untuk pengesanan OOD. Kaedah NegLabel secara khusus memperkenalkan mekanisme "label negatif" ini mempunyai perbezaan semantik yang ketara dengan label kategori ID yang diketahui Dengan menganalisis dan membandingkan pertalian dan sifat imej dan label ID dan label negatif, NegLabel boleh membezakan pengedaran kepunyaan dengan berkesan. sampel di luar model, dengan itu meningkatkan keupayaan model untuk mengenal pasti sampel OOD dengan ketara.

NegLabel telah mencapai prestasi unggul dalam berbilang tanda aras pengesanan OOD tangkapan sifar. Ia boleh mencapai 94.21% AUROC dan 25.40% FPR95 pada set data berskala besar seperti ImageNet-1k. Berbanding dengan kaedah pengesanan OOD berdasarkan VLM, NegLabel bukan sahaja tidak memerlukan proses latihan tambahan, tetapi juga menunjukkan prestasi unggul. Di samping itu, NegLabel menunjukkan fleksibiliti dan keteguhan yang sangat baik pada seni bina VLM yang berbeza.

ØPautan kertas: https://arxiv.org/pdf/2403.20078.pdf

ØPautan kod: https://github.com/tmlr-group/NegLabel

Saya akan perkenalkan secara ringkas kepada anda seterusnya Kongsi hasil penyelidikan kami yang diterbitkan baru-baru ini mengenai pengesanan luar pengedaran di ICLR 2024.

Pengetahuan awal

Pengenalan kaedah

Inti NegLabel ialah pengenalan mekanisme "label negatif" ini mempunyai perbezaan semantik yang ketara dengan label kategori ID yang diketahui dengan menganalisis dan membandingkan ID label dan label negatif Dengan pertaliannya, NegLabel boleh membezakan sampel yang tergolong di luar pengedaran, dengan itu meningkatkan keupayaan model untuk mengenal pasti sampel OOD dengan ketara.

Rajah 1. Gambaran keseluruhan NegLabel

1.

2. Bagaimana cara menggunakan label negatif untuk pengesanan OOD?

3. Bagaimana untuk memahami bahawa sampel negatif boleh menggalakkan pengesanan OOD sampel sifar?

Hasil eksperimen

Kerja penyelidikan kami menyediakan hasil percubaan berbilang dimensi untuk memahami prestasi dan mekanisme asas kaedah yang dicadangkan kami.

Seperti yang ditunjukkan dalam jadual di bawah, berbanding dengan banyak kaedah penanda aras dan kaedah lanjutan dengan prestasi cemerlang, kaedah yang dicadangkan dalam artikel ini boleh mencapai hasil pengesanan luar pengedaran yang lebih baik pada set data berskala besar (seperti ImageNet).

Selain itu, seperti yang ditunjukkan dalam jadual di bawah, kaedah dalam artikel ini mempunyai keteguhan yang lebih baik apabila data ID mengalami pemindahan domain.

Dalam dua jadual berikut, kami menjalankan eksperimen ablasi pada setiap modul NegLabel dan struktur VLM. Seperti yang dapat dilihat daripada jadual di sebelah kiri, kedua-dua algoritma NegMining dan strategi Pengumpulan boleh meningkatkan prestasi pengesanan OOD dengan berkesan. Jadual di sebelah kanan menunjukkan bahawa algoritma NegLabel yang kami cadangkan mempunyai kebolehsuaian yang baik kepada VLM struktur yang berbeza.

Kami juga melakukan analisis visual tentang perkaitan imej input yang berbeza untuk teg ID dan teg negatif Untuk percubaan dan keputusan yang lebih terperinci, sila rujuk artikel asal.

references

[1] Hendrycks, D. dan Gimpel, K. Satu garis dasar untuk mengesan contoh-contoh yang tidak disengajakan dan keluar-of-distribusi dalam rangkaian saraf. Radford, Jong Wook Kim, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal,Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark, et al. Mempelajari model visual yang boleh dipindahkan daripada penyeliaan bahasa semula jadi.

[. 3] Sepideh Esmaeilpour, Bing Liu, Eric Robertson, dan Lei Shu Pengesanan di luar pengedaran Zero-shot berdasarkan klip model pra-latihan Dalam AAAI, 2022.

[4] Yifei Ming, Ziyang Cai, Jiuxiang. Gu, Yiyou Sun, Wei Li dan Yixuan Li Menyelidiki pengesanan luar pengedaran dengan perwakilan bahasa penglihatan Dalam NeurIPS, 2022a.

[5] Hualiang Wang, Yi Li, Huifeng Yao dan Xiaomeng Li untuk sifar -shot ood detection: Mengajar klip untuk mengatakan tidak ICCV, 2023.

[6] Christiane Fellbaum: Sebuah Pangkalan Data Leksikal Elektronik, 1998.

Atas ialah kandungan terperinci ICLR 2024 Spotlight |. Perlombongan label negatif memudahkan tugas pengesanan luar pengedaran berasaskan CLIP. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!