ICML 2024| CLIP 기반 배포 중단 감지 작업에 도움이 되는 대규모 언어 모델

훈련 데이터 세트와 테스트 데이터 세트의 분포가 동일할 때 머신러닝 모델은 우수한 성능을 발휘할 수 있습니다. 그러나 개방형 환경에서는 모델이 OOD(배포 외) 샘플을 자주 접하게 되므로 OOD 샘플로 인해 모델이 예측할 수 없는 방식으로 작동할 수 있으며, 특히 다음과 같은 고위험 시나리오에서는 오류의 결과가 치명적일 수 있습니다. 자율 주행 [1, 2]. 따라서 실제 배포에서 기계 학습 모델의 신뢰성을 보장하려면 OOD 감지가 중요합니다.

대부분의 OOD 감지 방법[1, 3]은 잘 훈련된 ID(In-Distribution) 분류기를 기반으로 OOD 샘플을 효과적으로 감지할 수 있습니다. 그러나 다른 ID 데이터 세트의 경우 OOD 감지를 위해 분류기를 재교육해야 합니다. 게다가 이러한 방법은 시각적 패턴에만 의존하고 시각적 이미지와 텍스트 레이블 간의 연결을 무시합니다. 대규모 시각적 언어 모델(Vision-Manguage 모델, CLIP과 같은 VLM[4])의 출현으로 제로 샷 OOD 감지가 가능해졌습니다[5]. ID 범주 레이블만 사용하여 텍스트 분류기를 구축하면 분류기를 재교육하지 않고도 다양한 ID 데이터 세트에서 OOD 샘플을 감지할 수 있습니다.

기존 CLIP 기반의 배포 외 탐지 방법은 뛰어난 성능을 보여주지만 탐지하기 어려운 배포 외 샘플을 발견할 경우 실패하는 경우가 많습니다. 기존 방법은 ID 카테고리 라벨에만 의존한다고 생각합니다. 텍스트 분류자는 개방형 라벨 공간에서 샘플을 식별하는 CLIP의 고유한 기능을 크게 제한합니다. 그림 1 (a)에서 볼 수 있듯이 ID 카테고리 라벨에만 의존하는 텍스트 분류기를 구성하는 방법은 감지하기 어려운 OOD 샘플을 구별하기가 어렵습니다(ID 데이터 세트: CUB-200-2011, OOD 데이터 세트: Places).

그림 1. 연구 동기의 도식 다이어그램: (a) ID 범주 레이블에만 의존하는 텍스트 분류기를 구축하고, (b) 실제 OOD 레이블을 사용하고, (c) LLM을 사용하여 잠재적인 특이치 노출을 상상합니다.

이 작업에서는 , 우리는 대규모 언어 모델(LLM)의 전문 지식과 추론 기능을 활용하여 잠재적인 이상치 노출을 상상함으로써 OOD 탐지 성능을 향상시키는 EOE(Envisioning Outlier Exposure)라는 분포 외 탐지 방법을 제안합니다. 실제 OOD 데이터에 액세스하지 않고 그림 1 (c)). 우리는 (1) 시각적 유사성을 기반으로 LLM 단서를 설계하여 OOD 감지를 위한 잠재적인 이상값 클래스 레이블을 생성하고, (2) 식별하기 어려운 OOD 샘플을 효과적으로 구별하기 위해 잠재적인 이상값 페널티를 기반으로 하는 새로운 채점 기능을 설계합니다. 실험에 따르면 EOE는 다양한 OOD 작업에서 뛰어난 성능을 달성하고 ImageNet-1K 데이터 세트로 효과적으로 확장할 수 있습니다.

ØPaper 링크: https://arxiv.org/pdf/2406.00806

Ø코드 링크: https://github.com/tmlr-group/EOE

다음으로 논문에 대한 연구 결과를 간략하게 공유하겠습니다. 배포 중단 감지 방향은 최근 ICML 2024에서 발표되었습니다.

사전 지식

방법 소개

EOE는 LLM을 활용하여 잠재적인 이상치 클래스 라벨을 생성함으로써 제로 샷 OOD 감지 성능을 향상시키는 것을 목표로 합니다. 그러나 모델이 배포될 때 발생하는 OOD 범주는 알 수 없으므로 LLM이 필요한 이상값 범주 레이블을 생성하도록 어떻게 안내해야 합니까? 이상값 클래스 레이블을 얻은 후 ID와 OOD 샘플을 더 잘 구별할 수 있는 방법은 무엇입니까? 이러한 문제를 해결하기 위해 시각적 유사성 원칙을 기반으로 설계된 OOD 감지를 위한 LLM 힌트를 제안하고 ID/OOD 샘플을 더 잘 구별하기 위한 새로운 채점 기능을 도입합니다. 우리 접근 방식의 전체 프레임워크는 그림 2에 나와 있습니다.

그림 2. EOE 전체 프레임워크 다이어그램

세분화된 OOD 감지는 개방형 세트 식별이라고도 합니다. 세밀한 OOD 감지에서는 ID와 OOD 샘플이 모두 동일한 기본 카테고리에 속합니다(예: "bird" " 클래스), 하위 클래스(예: "sparrow" 및 "swallow") 간에는 본질적인 시각적 유사성이 있습니다. 따라서 LLM에게 동일한 기본 카테고리 내에서 다른 하위 카테고리를 직접 제공하도록 지시하는 것이 더 적절합니다.

위의 세 가지 유형의 OOD 감지 LLM 프롬프트는 그림 3에 나와 있습니다.

그림 3. 시각적 유사성 원칙을 기반으로 설계된 세 가지 유형의 LLM 프롬프트

그림 4. EOE 의사 코드

우리 방법의 장점은 다음과 같이 요약됩니다.

EOE는 알려지지 않은 OOD 데이터에 대한 사전 지식에 의존하지 않으므로 오픈 월드 시나리오에 특히 적합합니다.

Zero-sample: 각 특정 ID 데이터세트를 별도로 교육할 필요 없이 동일한 사전 교육된 모델을 다양한 작업별 ID 데이터세트에 효과적으로 적용할 수 있습니다. EOE는 ID 클래스 태그만 알고 탁월한 OOD 감지 성능을 달성합니다.

확장성 및 다양성: 잠재 OOD 클래스 레이블도 생성하는 기존 제로 샷 OOD 감지 방법[6]과 비교하여 EOE는 ImageNet-1K와 같은 대규모 데이터 세트에 쉽게 적용할 수 있습니다. 또한 EOE는 Far, Near 및 Fine-grainedOOD 감지를 포함한 다양한 작업에서 다양성을 보여줍니다.

실험 결과

다양한 OOD 작업의 여러 데이터 세트에 대해 실험을 수행했습니다. 표 1은 ImageNet-1K에서 Far OOD 감지 실험 결과를 보여줍니다. 여기서 Ground Truth는 실제 배포에서는 사용할 수 없는 실제 OOD 레이블을 사용할 때의 성능을 나타냅니다. 결과는 EOE가 미세 조정 방법과 유사하며 MCM을 능가한다는 것을 보여줍니다[5].

표 1. Far OOD 실험 결과

Near OOD 및 Fine-grained OOD 작업에 대한 실험 결과도 보고합니다. 표 2와 표 3에서 볼 수 있듯이 두 가지 방법 모두 최고의 탐지 성능을 달성합니다.

표 2. Near OOD 실험 결과

표 3. 세분화된 OOD 실험 결과

우리는 다양한 채점 기능, LLM 프롬프트를 포함하여 EOE의 각 모델에 대해 절제 실험을 수행했습니다. 다양한 길이의 잠재적 OOD 클래스 라벨 수. 실험에 따르면 우리가 설계한 채점 기능과 시각적 유사성 원칙을 기반으로 설계한 LLM 프롬프트가 최적의 성능을 달성했으며, 우리의 방법은 다양한 LLM 및 다양한 길이의 잠재적 OOD 클래스 레이블 수에서 탁월한 성능을 달성했습니다. 동시에 시각적 언어 모델의 구조에 대한 절제 실험도 수행했습니다. 자세한 실험 결과는 원본 기사를 참조하세요.

그림 5. 절제 실험 – ​​다양한 채점 기능, LLM 힌트 및 다양한 LLM

그림 5. 절제 실험 – 생성된 잠재적 OOD 클래스 라벨 수

우리는 EOE 실제로 생성된 이상 클래스 레이블은 실제 OOD 클래스에 도달할 확률이 높지 않습니다. 실제 모델 배포에서 접하게 되는 OOD 데이터는 다양하고 예측 불가능하기 때문입니다. 그러나 시각적 유사성 규칙에 따라 EOE에 의해 생성된 잠재적인 비정상적인 클래스 레이블은 실제 OOD 클래스에 도달하지 않더라도 OOD 검색에서 모델의 성능을 계속 향상시킬 수 있습니다.

위의 주장을 설명하기 위해 T-SNE를 통해 레이블 일치 점수의 소프트맥스 출력에서 ​​파생된 시각화를 보여줍니다. EOE와 비교 방법 MCM 간의 시각화 결과는 그림 6에 나와 있습니다. LLM은 ImageNet-10의 ID 클래스 레이블을 기반으로 시각적 유사성 규칙을 기반으로 잠재적 변칙 레이블 "잠수함"을 생성합니다. OOD 클래스 "steam locomotive"(ImageNet-20의 클래스)를 만날 때 "steam locomotive"는 및 에서 "submarine"과 가장 높은 유사성을 갖습니다. 따라서 EOE는 이를 "잠수함"으로 클러스터링하여 OOD 클래스로 감지합니다. 그러나 잠재적인 이상값 클래스 레이블이 없으면 MCM이 모든 OOD 클래스 레이블을 함께 클러스터링하는 경향이 있음을 알 수 있습니다. 이로 인해 식별하기 어려운 OOD 샘플을 ID 클래스로 식별할 수 있습니다. 요약하면, EOE 프레임워크에서는 1) 동일한 클래스에 속하는 OOD 샘플이 함께 클러스터되는 경향이 있습니다. 2) 동일한 그룹의 샘플은 시각적으로 유사한 가정된 이상치 클래스("증기")로 분류됩니다. vs “잠수함”). 이러한 관찰은 우리의 EOE가 실제 OOD 범주를 건드리지 않고도 OOD 감지를 향상할 수 있으며 의미상 해석하기도 더 쉽다는 것을 나타냅니다. 우리는 이 연구가 OOD 검출 분야의 향후 연구에 새로운 아이디어를 제공할 수 있기를 바랍니다.

그림 6. 시각화 결과

참고자료

[1] Hendrycks, D. 및 Gimpel, K. 신경망에서 잘못 분류되고 배포되지 않은 사례를 감지하기 위한 기준선, 2017.

[2] Yang, J., Zhou, K., Li, Y. 및 Liu, Z. 일반화된 배포 중단 감지: 설문조사 arXiv 사전 인쇄 arXiv:2110.11334, 2021.

[3] Liu , W., Wang, X., Owens, J. 및 Li, Y. NeurIPS에서, 2020.

[4] Radford, A., Kim, J. W., Hallacy , C., Ramesh, A., Goh, G., Agarwal, S., Sastry, G., Askell, A., Mishkin, P., Clark, J., et al. . ICML, 2021.

[5] Ming, Y., Cai, Z., Gu, J., Sun, Y., Li, W. 및 Li, Y. 비전 언어 표현. NeurIPS, 2022.

[6] Esmaeilpour, S., Liu, B., Robertson, E. 및 Shu, L. 사전 훈련된 모델 클립을 기반으로 한 Zeroshot 배포 외 감지 . AAAI, 2022.

연구그룹 소개

홍콩침례대학교의 신뢰할 수 있는 기계 학습 및 추론 연구 그룹(TMLR 그룹)은 수많은 젊은 교수, 박사후 연구원, 박사 과정 학생, 객원 박사로 구성되어 있습니다. 연구조교로 구성되어 있으며, 연구팀은 이학부 컴퓨터과학과에 소속되어 있습니다. 신뢰할 수 있는 표현 학습, 인과 추론을 기반으로 한 신뢰할 수 있는 학습, 신뢰할 수 있는 기본 모델 및 기타 관련 알고리즘, 이론 및 시스템 설계, 자연 과학 응용 분야를 전문으로 하는 연구 그룹입니다. 구체적인 연구 방향 및 관련 결과는 그룹의 웹 사이트에서 확인할 수 있습니다. Github(https://github.com/tmlr-group). 연구팀은 홍콩 연구 보조금 협의회 우수 청년 학자 프로그램, 중국 국립 자연 과학 재단 일반 프로젝트 및 청소년 프로젝트와 같은 정부 연구 기금 및 산업 연구 기금뿐만 아니라 Microsoft, NVIDIA의 과학 연구 기금으로 자금을 지원받습니다. Baidu, Alibaba, Tencent 및 기타 회사. 젊은 교수들과 선배 연구원들이 함께 일하고 있으며, GPU 컴퓨팅 자원은 충분하며, 박사후 연구원, 박사 과정 학생, 연구 조교, 연구 인턴을 장기 채용하고 있습니다. 또한, 최소 3~6개월 동안 자체 자금을 지원하는 방문 박사후 연구원, 박사 과정 학생 및 연구 조교의 지원도 환영하며 원격 액세스가 지원됩니다. 관심 있는 학생은 이메일(bhanml@comp.hkbu.edu.hk)로 이력서와 예비 연구 계획을 보내주시기 바랍니다.

위 내용은 ICML 2024| CLIP 기반 배포 중단 감지 작업에 도움이 되는 대규모 언어 모델의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!