찾다
기술 주변기기일체 포함ICLR 2024 Spotlight | 부정 라벨 마이닝으로 CLIP 기반 배포 중단 감지 작업이 용이해졌습니다.

오픈 월드 시나리오에서 기계 학습 모델이 점점 더 많이 사용됨에 따라 OOD(Out-of-Distribution) 데이터를 효과적으로 식별하고 처리하는 방법이 중요한 연구 분야가 되었습니다. 분포를 벗어난 데이터가 있으면 모델의 과신과 부정확한 예측이 발생할 수 있으며, 이는 자율 주행 및 의료 진단과 같이 안전이 중요한 응용 분야에서 특히 위험합니다. 따라서 효과적인 OOD 감지 메커니즘을 개발하는 것은 실제 적용에서 모델의 안전성과 신뢰성을 향상시키는 데 중요합니다.

기존 OOD 감지 방법은 주로 단일 패턴, 특히 이미지 데이터에 초점을 맞추고 텍스트 데이터와 같이 잠재적으로 유용한 다른 정보 소스를 무시합니다. VLM(시각 언어 모델)의 등장으로 다중 모달 학습 시나리오, 특히 이미지와 관련 텍스트 설명을 동시에 이해해야 하는 작업에서 강력한 성능을 보여주었습니다. VLM을 기반으로 한 기존 OOD 감지 방법[3, 4, 5]은 ID 태그의 의미 정보만 사용하며 VLM 모델의 강력한 제로 샘플 기능과 VLM이 해석할 수 있는 매우 광범위한 의미 공간을 무시합니다. 이를 바탕으로 우리는 VLM이 OOD 탐지 분야에서 아직 개발되지 않은 엄청난 잠재력을 갖고 있으며, 특히 이미지와 텍스트 정보를 포괄적으로 활용하여 탐지 결과를 향상시킬 수 있다고 믿습니다.

이 기사는 다음 세 가지 질문을 중심으로 진행됩니다.

1. 비ID 태그 정보가 제로샷 OOD 감지에 도움이 됩니까?

2. 제로 샘플 OOD 탐지에 유용한 정보를 채굴하는 방법은 무엇입니까?

3. 제로 샘플 OOD 탐지를 위해 채굴된 정보를 어떻게 사용하나요?

이 프로젝트에서는 OOD 감지를 위해 VLM을 활용하는 NegLabel이라는 혁신적인 접근 방식을 제안합니다. NegLabel 방법은 특히 "부정적 라벨" 메커니즘을 도입합니다. 이러한 부정적 라벨은 알려진 ID 카테고리 라벨과 의미론적으로 상당한 차이가 있습니다. NegLabel은 이미지와 ID 라벨의 친화력과 특성을 분석하고 비교함으로써 다음에 속하는 분포를 효과적으로 구별할 수 있습니다. 모델 외부의 샘플을 식별함으로써 OOD 샘플을 식별하는 모델의 능력을 크게 향상시킵니다.

NegLabel은 여러 제로샷 OOD 감지 벤치마크에서 우수한 성능을 달성했습니다. ImageNet-1k와 같은 대규모 데이터 세트에서 94.21% AUROC 및 25.40% FPR95를 달성할 수 있습니다. NegLabel은 VLM 기반의 OOD 탐지 방법과 비교하여 추가적인 훈련 과정이 필요하지 않을 뿐만 아니라 우수한 성능을 보여줍니다. 또한 NegLabel은 다양한 VLM 아키텍처에서 탁월한 다양성과 견고성을 보여줍니다.

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

ØPaper 링크: https://arxiv.org/pdf/2403.20078.pdf

Ø코드 링크: https://github.com/tmlr-group/NegLabel

다음에 간략히 소개하겠습니다. 최근 ICLR 2024에서 배포되지 않은 탐지에 대한 연구 결과가 발표되었습니다.

사전 지식

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

방법 소개

NegLabel의 핵심은 이미지를 ID와 분석하고 비교함으로써 알려진 ID 카테고리 라벨과 의미상 상당한 차이가 있다는 것입니다. 라벨 및 음성 라벨 NegLabel은 친화력을 통해 분포를 벗어난 샘플을 효과적으로 구별할 수 있으므로 모델의 OOD 샘플 식별 기능이 크게 향상됩니다.

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

그림 1. NegLabel 개요

1. 네거티브 라벨을 선택하는 방법은 무엇인가요?

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

2. OOD 감지에 부정적인 라벨을 사용하는 방법은 무엇입니까?

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

3. 음성 샘플이 제로 샘플 OOD 감지를 촉진할 수 있다는 것을 어떻게 이해합니까?

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

실험 결과

우리의 연구 작업은 우리가 제안한 방법의 성능과 기본 메커니즘을 이해하기 위한 다차원 실험 결과를 제공합니다.

아래 표에서 볼 수 있듯이, 성능이 뛰어난 많은 벤치마크 방법 및 고급 방법과 비교하여, 이 기사에서 제안하는 방법은 대규모 데이터 세트(예: ImageNet)에서 더 나은 분포 외 탐지 결과를 얻을 수 있습니다.

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

또한 아래 표와 같이 ID 데이터가 도메인 마이그레이션을 수행할 때 이 문서의 방법이 더 강력합니다.

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

다음 두 표에서는 NegLabel의 각 모듈과 VLM의 구조에 대해 Ablation 실험을 진행했습니다. 왼쪽 표에서 볼 수 있듯이 NegMining 알고리즘과 Grouping 전략 모두 OOD 탐지 성능을 효과적으로 향상시킬 수 있습니다. 오른쪽 표는 우리가 제안한 NegLabel 알고리즘이 다양한 구조의 VLM에 대한 적응성이 우수하다는 것을 보여줍니다.

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

ID 태그와 Negative 태그에 대한 다양한 입력 이미지의 친화도에 대한 시각적 분석도 수행했습니다. 더 자세한 실험과 결과는 원본 기사를 참조하세요.

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

ICLR 2024 Spotlight | 负标签挖掘助力基于CLIP的分布外检测任务

References

[1] Hendrycks, D. 및 Gimpel, K. 신경망에서 잘못 분류되고 배포되지 않은 사례를 감지하기 위한 기준선, 2017.

[2] Alec Radford, 김종욱, Chris Hallacy, Aditya Ramesh, Gabriel Goh, Sandhini Agarwal, Girish Sastry, Amanda Askell, Pamela Mishkin, Jack Clark 등 ICML에서 전이 가능한 시각적 모델 학습, 2021.

3] Sepideh Esmaeilpour, Bing Liu, Eric Robertson 및 Lei Shu. 사전 훈련된 모델 클립을 기반으로 한 제로샷 분포 이탈 감지, AAAI, 2022.

[4] Yifei Ming, Ziyang Cai, Jiuxiang Gu, Yiyou Sun, Wei Li 및 Yixuan Li. NeurIPS, 2022a.

[5] Hualiang Wang, Yi Li, Huifeng Yao 및 Xiaomeng Li. -샷 음식 감지: ICCV, 2023.

[6] Christiane Fellbaum: 전자 어휘 데이터베이스, 1998.

위 내용은 ICLR 2024 Spotlight | 부정 라벨 마이닝으로 CLIP 기반 배포 중단 감지 작업이 용이해졌습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

성명
이 기사는 机器之心에서 복제됩니다. 침해가 있는 경우 admin@php.cn으로 문의하시기 바랍니다. 삭제
인간의 개입없이 LLM을 훈련시키는 7 가지 방법인간의 개입없이 LLM을 훈련시키는 7 가지 방법Apr 15, 2025 am 10:38 AM

자율 AI 잠금 해제 : 7 자체 훈련 LLM을위한 7 가지 방법 AI 시스템이 복잡한 개념을 독립적으로 마스터하는 어린이들과 마찬가지로 AI 시스템이 인간의 개입없이 배우고 진화하는 미래를 상상해보십시오. 이것은 공상 과학이 아닙니다. 그것은 자기의 약속입니다

AI 및 NLG로 재무보고 혁신 - 분석 VidhyaAI 및 NLG로 재무보고 혁신 - 분석 VidhyaApr 15, 2025 am 10:35 AM

AI 기반 재무보고 : 자연어 생성을 통한 통찰력 혁명 오늘날의 역동적 인 비즈니스 환경에서, 정확하고시기 적절한 재무 분석은 전략적 의사 결정에 가장 중요합니다. 전통적인 재무보고

이 Google Deepmind 로봇이 2028 년 올림픽에서 플레이할까요?이 Google Deepmind 로봇이 2028 년 올림픽에서 플레이할까요?Apr 15, 2025 am 10:16 AM

Google Deepmind의 탁구 로봇 : 스포츠 및 로봇 공학의 새로운 시대 파리 2024 올림픽은 끝났을 지 모르지만 Google Deepmind 덕분에 스포츠와 로봇 공학의 새로운 시대가 시작되었습니다. 그들의 획기적인 연구 ( "인간 수준의 경쟁 달성

Gemini Flash 1.5 모델을 사용하여 Food Vision WebApp 구축Gemini Flash 1.5 모델을 사용하여 Food Vision WebApp 구축Apr 15, 2025 am 10:15 AM

Gemini Flash의 효율성 및 확장 성 잠금 해제 1.5 : Flask Food Vision WebApp 빠르게 진화하는 AI 환경에서 효율성과 확장 성이 가장 중요합니다. 개발자는 비용과 대기 시간을 최소화하는 고성능 모델을 점점 더 많이 찾습니다.

llamaindex를 사용하여 AI 에이전트 구현llamaindex를 사용하여 AI 에이전트 구현Apr 15, 2025 am 10:11 AM

Llamaindex로 AI 에이전트의 힘을 활용하십시오 : 단계별 가이드 빠른 계산이든 최신 시장 뉴스를 검색하든, 귀하의 요청을 이해하고 완벽하게 실행하는 개인 비서를 상상해보십시오. 이 기사는 탐구합니다

.ipynb 파일을 pdf- 분석 Vidhya로 변환하는 5 가지 방법.ipynb 파일을 pdf- 분석 Vidhya로 변환하는 5 가지 방법Apr 15, 2025 am 10:06 AM

Jupyter Notebook (.ipynb) 파일은 데이터 분석, 과학 컴퓨팅 및 대화식 인코딩에 널리 사용됩니다. 이 노트북은 다른 데이터 과학자와 코드를 개발하고 공유하는 데 적합하지만 때로는 PDF와 같은보다 일반적으로 읽을 수있는 형식으로 변환해야합니다. 이 안내서는 .ipynb 파일을 PDF로 변환하는 다양한 방법과 팁, 모범 사례 및 문제 해결 제안을 안내합니다. 목차 .ipynb를 pdf로 변환하는 이유는 무엇입니까? .ipynb 파일을 PDF로 변환하는 방법 Jupyter Notebook UI 사용 nbconve 사용

LLM 양자화 및 사용 사례에 대한 포괄적 인 안내서LLM 양자화 및 사용 사례에 대한 포괄적 인 안내서Apr 15, 2025 am 10:02 AM

소개 대형 언어 모델 (LLM)은 자연어 처리에 혁명을 일으키고 있지만 엄청난 규모와 계산 요구는 제한 배포를 제한합니다. 모델을 축소하고 계산 비용을 낮추는 기술인 양자화는 중요한 솔루입니다.

파이썬이있는 셀레늄에 대한 포괄적 인 가이드파이썬이있는 셀레늄에 대한 포괄적 인 가이드Apr 15, 2025 am 09:57 AM

소개 이 안내서는 웹 자동화 및 테스트를위한 셀레늄과 파이썬의 강력한 조합을 탐구합니다. Selenium은 브라우저 상호 작용을 자동화하여 대규모 웹 애플리케이션의 테스트 효율성을 크게 향상시킵니다. 이 튜토리얼은 o

See all articles

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

인기 기사

R.E.P.O. 에너지 결정과 그들이하는 일 (노란색 크리스탈)
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 최고의 그래픽 설정
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. 아무도들을 수없는 경우 오디오를 수정하는 방법
4 몇 주 전By尊渡假赌尊渡假赌尊渡假赌
WWE 2K25 : Myrise에서 모든 것을 잠금 해제하는 방법
1 몇 달 전By尊渡假赌尊渡假赌尊渡假赌

뜨거운 도구

VSCode Windows 64비트 다운로드

VSCode Windows 64비트 다운로드

Microsoft에서 출시한 강력한 무료 IDE 편집기

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

SublimeText3 Linux 새 버전

SublimeText3 Linux 새 버전

SublimeText3 Linux 최신 버전

드림위버 CS6

드림위버 CS6

시각적 웹 개발 도구

DVWA

DVWA

DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는