ImageNet 제로 샘플 정확도가 처음으로 80%를 초과했으며 지구상에서 가장 강력한 오픈 소스 CLIP 모델이 업데이트되었습니다.

ImageNet은 오랫동안 역사적 임무를 완수했지만 여전히 컴퓨터 비전 분야의 핵심 데이터 세트입니다.

2016년에도 ImageNet에서 훈련된 분류 모델의 소타 정확도는 오늘날에도 여전히 80% 미만이었습니다. 대규모 사전 훈련된 모델의 제로 샷 일반화만이 80.1%의 정확도를 달성할 수 있습니다.

최근 LAION은 오픈 소스 코드 OpenCLIP 프레임워크를 사용하여 새로운 ViT-G/14 CLIP 모델을 교육했습니다. ImageNet 데이터 세트에서 원본 OpenAI CLIP의 정확도는 75.4%에 불과합니다. , OpenCLIP은 MS COCO에서 80.1%의 제로샷 정확도를 달성하고 74.9%의 제로샷 이미지 검색(Recall@5)을 달성했습니다. 이는 현재 가장 강력한 오픈 소스 CLIP 모델이기도 합니다.

LAION은 대규모 인공 지능 개방형 네트워크(Large scale Artificial Intelligence Open Network)의 약자로서 전 세계 회원으로 구성된 비영리 단체로 대규모 기계 학습 모델, 데이터 세트 및 관련 코드를 제공하는 것을 목표로 합니다. 공개. 그들은 진정한 개방형 AI, 100% 비영리, 100% 무료라고 주장합니다.

관심 있는 친구들은 보유한 CLIP 모델을 업데이트할 수 있습니다!

모델 주소: https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k

OpenCLIP 모델은 각 데이터 세트에 따라 다릅니다. 성능 아래 표에 나와 있습니다.

제로샷 기능

일반적으로 다양한 작업에 대한 컴퓨터 비전(CV) 모델의 소타 성능은 특정 분야의 훈련 데이터를 기반으로 하며 다른 분야나 작업으로 일반화할 수 없습니다. 결과적으로 시각적 세계의 일반적인 속성에 대한 이해가 제한됩니다.

일반화 문제는 많은 양의 훈련 데이터가 부족한 분야에서 특히 중요합니다.

이상적으로 CV 모델은 훈련 세트의 특정 라벨에 너무 집중하기보다는 이미지의 의미적 내용을 학습해야 합니다. 예를 들어, 개 이미지의 경우, 모델은 이미지에 개가 있다는 것을 이해할 수 있어야 하고, 더 나아가 배경에 나무가 있다는 것, 시간이 낮이고 개가 풀밭 위에 있다는 것 등을 이해할 수 있어야 합니다. .

그러나 "분류 훈련"을 사용하여 얻은 현재 결과는 예상과 정반대입니다. 모델은 개의 내부 표현을 동일한 "개 벡터 공간"에 푸시하고 고양이를 동일한 "고양이 벡터"에 푸시하는 방법을 학습합니다. space". All 질문에 대한 대답은 항상 이진수입니다. 즉, 이미지를 클래스 레이블과 정렬할 수 있는지 여부입니다.

새로운 작업에 맞게 분류 모델을 재학습시키는 것도 해결책이지만, 학습 자체에는 분류 데이터 세트를 수집하고 모델을 학습시키는 데 많은 시간과 재정적 투자가 필요합니다.

다행히 OpenAI의 CLIP 모델은 매우 유연한 분류 모델이며 일반적으로 재교육 없이 새로운 분류 작업에 사용할 수 있습니다.

CLIP이 Zero-Shot을 할 수 있는 이유

Contrastive Language-Image Pretraining(CLIP, Contrastive Language-Image Pretraining)은 Transformer를 중심으로 OpenAI가 2021년에 출시한 모델입니다.

CLIP은 텍스트를 임베딩으로 변환하는 Transformer 인코더와 이미지를 인코딩하는 ViT(Visual Transformer)라는 두 가지 모델로 구성됩니다.

CLIP 내의 텍스트와 이미지 모델은 모두 사전 학습 중에 최적화되어 유사한 텍스트와 이미지를 벡터 공간에 정렬합니다. 훈련 과정에서 데이터의 이미지-텍스트 쌍은 벡터 공간에서 서로 더 가깝게 푸시되는 반면, 쌍에 속하지 않는 이미지와 텍스트 벡터는 분리됩니다.

CLIP과 일반 분류 모델에는 몇 가지 차이점이 있습니다.

첫째, OpenAI는 인터넷에서 크롤링된 4억 개의 텍스트-이미지 쌍이 포함된 매우 큰 데이터 세트를 사용하여 훈련되며 그 이점은 다음과 같습니다.

1. CLIP의 훈련에는 "이미지-텍스트 쌍"만 필요하며 특정 클래스 레이블이 필요하지 않으며 이러한 유형의 데이터는 오늘날 소셜 미디어 중심의 온라인 세계에서 매우 풍부합니다.

2. 대규모 데이터 세트는 CLIP이 이미지의 일반적인 텍스트 개념을 이해하는 능력을 의미합니다.

3. 텍스트 디스크립터에는 카테고리 기능뿐만 아니라 이미지 내 다양한 ​​기능이 포함되는 경우가 많아 보다 포괄적인 이미지 및 텍스트 표현이 확립될 수 있습니다.

위의 장점은 CLIP이 Zero-shot을 구축하는 능력의 핵심 요소이기도 합니다. 논문의 저자는 ResNet-101 모델과 ImageNet에서 특별히 훈련된 CLIP 모델을 비교하고 이를 ImageNet에서 파생된 다른 데이터 세트에 적용했습니다. 성능 비교를 위해 아래와 같이 표시됩니다.

ResNet-101은 ImageNet에서 훈련되었지만 유사한 데이터 세트에서의 성능은 동일한 작업에서 CLIP의 성능보다 훨씬 나쁘다는 것을 알 수 있습니다.

ResNet 모델을 다른 분야에 적용할 때 일반적인 방법은 "선형 프로브"입니다. 이는 ResNet 모델의 마지막 몇 레이어에서 학습한 특징을 선형 분류기에 입력한 다음 특정 데이터 세트를 대상으로 미세 조정하는 것을 의미합니다. .

CLIP 논문에서 선형 감지 ResNet-50은 제로샷 CLIP과 비교되었습니다. 결론은 동일한 시나리오에서 여러 작업에서 제로샷 CLIP이 ResNet-50보다 더 나은 성능을 발휘한다는 것입니다.

그러나 더 많은 훈련 샘플이 주어졌을 때 Zero-shot이 선형 감지 성능을 능가하지 않는다는 점은 주목할 가치가 있습니다.

CLIP을 이용한 제로샷 분류

위의 설명에서 알 수 있듯이 이미지 및 텍스트 인코더는 512차원 벡터를 생성하여 입력 이미지와 텍스트 입력을 동일한 벡터 공간에 매핑할 수 있습니다.

제로샷 분류를 위해 CLIP을 사용한다는 것은 카테고리 정보를 텍스트 문장에 넣는 것을 의미합니다.

예를 들어 이미지를 입력하고 해당 카테고리가 자동차, 새 또는 고양이인지 확인하려는 경우 카테고리를 나타내는 세 가지 텍스트 문자열을 만들 수 있습니다.

T1은 자동차를 나타냅니다. 자동차 사진

T2는 새를 나타냅니다 : 새의 사진

T3은 고양이를 나타냅니다 : 고양이의 사진

카테고리 설명을 텍스트 인코더에 입력하면 카테고리를 표현할 수 있는 벡터를 얻을 수 있습니다.

입력이 고양이 사진이라고 가정합니다. ViT 모델을 사용하여 이미지 벡터를 얻은 후 해당 이미지와 카테고리 벡터 사이의 코사인 거리를 계산하여 T3과의 유사도가 가장 높다는 것을 의미합니다. 이는 이미지 카테고리가 고양이에 속한다는 것을 의미합니다.

보시다시피 카테고리 라벨은 단순한 단어가 아니라 템플릿 "{라벨}의 사진" 형식에 따라 문장으로 다시 작성되어 확장 가능합니다. 훈련 없이 제한된 클래스 예측.

실험에서 이 프롬프트 템플릿을 사용하면 ImageNet의 분류 정확도가 1.3% 향상되었습니다. 그러나 실제 사용에서는 프롬프트 템플릿이 항상 성능을 향상시키는 것은 아닙니다.

Python 구현

제로샷 분류를 위해 CLIP을 사용하는 것도 매우 쉽습니다. 저자는 데모로 Hugging Face의 frgfm/imagenette 데이터 세트를 선택했으며, 모두 정수로 저장됩니다. 가치.

분류를 위해 CLIP을 사용하려면 정수 값 레이블을 해당 텍스트 콘텐츠로 변환해야 합니다.

태그와 사진의 유사도를 직접 계산하기 전에 CLIP 모델을 초기화해야 하며, 이는 Hugging Face 변환기를 통해 찾은 CLIP을 사용하여 구현할 수 있습니다.

텍스트 변환기는 텍스트를 직접 읽을 수 없지만 토큰 ID(또는 input_ID)라는 정수 값 집합이 필요합니다. 여기서 각 고유 정수는 단어 또는 하위 단어(예: 토큰)를 나타냅니다.

변환된 텐서를 텍스트 변환기에 입력하여 라벨의 텍스트 삽입을 얻습니다

CLIP에서 출력한 벡터는 아직 정규화되지 않았으며 점 곱셈 후 얻은 유사성은 다음과 같습니다. 부정확하다.

이제 테스트용 데이터 세트에서 이미지를 선택하고 동일한 처리 과정을 거쳐 이미지 벡터를 얻을 수 있습니다.

이미지를 크기(1, 3, 224, 224)의 벡터로 변환한 후 모델에 입력하여 임베딩을 얻습니다.

다음 단계는 이미지 임베딩을 계산하고 데이터 세트의 10개 레이블 텍스트 임베딩 간의 내적 유사성, 가장 높은 점수를 얻은 것이 예측 카테고리입니다.

모델이 제공한 결과는 카세트 플레이어입니다. 전체 데이터 세트를 반복적으로 실행한 후 98.7%의 정확도를 얻을 수 있습니다

, 다중 모드 검색, 대상 탐지, OpenAI의 Dall-E 및 Stable Disfusion과 같은 생성 모델을 통해 CLIP은 컴퓨터 비전에 새로운 문을 엽니다.

위 내용은 ImageNet 제로 샘플 정확도가 처음으로 80%를 초과했으며 지구상에서 가장 강력한 오픈 소스 CLIP 모델이 업데이트되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!