ImageNet 제로 샘플 정확도가 처음으로 80%를 초과했으며 지구상에서 가장 강력한 오픈 소스 CLIP 모델이 업데이트되었습니다.
ImageNet은 오랫동안 역사적 임무를 완수했지만 여전히 컴퓨터 비전 분야의 핵심 데이터 세트입니다.
2016년에도 ImageNet에서 훈련된 분류 모델의 소타 정확도는 오늘날에도 여전히 80% 미만이었습니다. 대규모 사전 훈련된 모델의 제로 샷 일반화만이 80.1%의 정확도를 달성할 수 있습니다.
최근 LAION은 오픈 소스 코드 OpenCLIP 프레임워크를 사용하여 새로운 ViT-G/14 CLIP 모델을 교육했습니다. ImageNet 데이터 세트에서 원본 OpenAI CLIP의 정확도는 75.4%에 불과합니다. , OpenCLIP은 MS COCO에서 80.1%의 제로샷 정확도를 달성하고 74.9%의 제로샷 이미지 검색(Recall@5)을 달성했습니다. 이는 현재 가장 강력한 오픈 소스 CLIP 모델이기도 합니다.
LAION은 대규모 인공 지능 개방형 네트워크(Large scale Artificial Intelligence Open Network)의 약자로서 전 세계 회원으로 구성된 비영리 단체로 대규모 기계 학습 모델, 데이터 세트 및 관련 코드를 제공하는 것을 목표로 합니다. 공개. 그들은 진정한 개방형 AI, 100% 비영리, 100% 무료라고 주장합니다.
관심 있는 친구들은 보유한 CLIP 모델을 업데이트할 수 있습니다!
모델 주소: https://huggingface.co/laion/CLIP-ViT-bigG-14-laion2B-39B-b160k
OpenCLIP 모델은 각 데이터 세트에 따라 다릅니다. 성능 아래 표에 나와 있습니다.
일반적으로 다양한 작업에 대한 컴퓨터 비전(CV) 모델의 소타 성능은 특정 분야의 훈련 데이터를 기반으로 하며 다른 분야나 작업으로 일반화할 수 없습니다. 결과적으로 시각적 세계의 일반적인 속성에 대한 이해가 제한됩니다.
일반화 문제는 많은 양의 훈련 데이터가 부족한 분야에서 특히 중요합니다.
이상적으로 CV 모델은 훈련 세트의 특정 라벨에 너무 집중하기보다는 이미지의 의미적 내용을 학습해야 합니다. 예를 들어, 개 이미지의 경우, 모델은 이미지에 개가 있다는 것을 이해할 수 있어야 하고, 더 나아가 배경에 나무가 있다는 것, 시간이 낮이고 개가 풀밭 위에 있다는 것 등을 이해할 수 있어야 합니다. .
그러나 "분류 훈련"을 사용하여 얻은 현재 결과는 예상과 정반대입니다. 모델은 개의 내부 표현을 동일한 "개 벡터 공간"에 푸시하고 고양이를 동일한 "고양이 벡터"에 푸시하는 방법을 학습합니다. space". All 질문에 대한 대답은 항상 이진수입니다. 즉, 이미지를 클래스 레이블과 정렬할 수 있는지 여부입니다.
새로운 작업에 맞게 분류 모델을 재학습시키는 것도 해결책이지만, 학습 자체에는 분류 데이터 세트를 수집하고 모델을 학습시키는 데 많은 시간과 재정적 투자가 필요합니다.
다행히 OpenAI의 CLIP 모델은 매우 유연한 분류 모델이며 일반적으로 재교육 없이 새로운 분류 작업에 사용할 수 있습니다.
CLIP이 Zero-Shot을 할 수 있는 이유Contrastive Language-Image Pretraining(CLIP, Contrastive Language-Image Pretraining)은 Transformer를 중심으로 OpenAI가 2021년에 출시한 모델입니다. CLIP은 텍스트를 임베딩으로 변환하는 Transformer 인코더와 이미지를 인코딩하는 ViT(Visual Transformer)라는 두 가지 모델로 구성됩니다.CLIP 내의 텍스트와 이미지 모델은 모두 사전 학습 중에 최적화되어 유사한 텍스트와 이미지를 벡터 공간에 정렬합니다. 훈련 과정에서 데이터의 이미지-텍스트 쌍은 벡터 공간에서 서로 더 가깝게 푸시되는 반면, 쌍에 속하지 않는 이미지와 텍스트 벡터는 분리됩니다.
CLIP과 일반 분류 모델에는 몇 가지 차이점이 있습니다.
첫째, OpenAI는 인터넷에서 크롤링된 4억 개의 텍스트-이미지 쌍이 포함된 매우 큰 데이터 세트를 사용하여 훈련되며 그 이점은 다음과 같습니다.
1. CLIP의 훈련에는 "이미지-텍스트 쌍"만 필요하며 특정 클래스 레이블이 필요하지 않으며 이러한 유형의 데이터는 오늘날 소셜 미디어 중심의 온라인 세계에서 매우 풍부합니다.
2. 대규모 데이터 세트는 CLIP이 이미지의 일반적인 텍스트 개념을 이해하는 능력을 의미합니다.
3. 텍스트 디스크립터에는 카테고리 기능뿐만 아니라 이미지 내 다양한 기능이 포함되는 경우가 많아 보다 포괄적인 이미지 및 텍스트 표현이 확립될 수 있습니다.
위의 장점은 CLIP이 Zero-shot을 구축하는 능력의 핵심 요소이기도 합니다. 논문의 저자는 ResNet-101 모델과 ImageNet에서 특별히 훈련된 CLIP 모델을 비교하고 이를 ImageNet에서 파생된 다른 데이터 세트에 적용했습니다. 성능 비교를 위해 아래와 같이 표시됩니다.
ResNet-101은 ImageNet에서 훈련되었지만 유사한 데이터 세트에서의 성능은 동일한 작업에서 CLIP의 성능보다 훨씬 나쁘다는 것을 알 수 있습니다.
ResNet 모델을 다른 분야에 적용할 때 일반적인 방법은 "선형 프로브"입니다. 이는 ResNet 모델의 마지막 몇 레이어에서 학습한 특징을 선형 분류기에 입력한 다음 특정 데이터 세트를 대상으로 미세 조정하는 것을 의미합니다. .
CLIP 논문에서 선형 감지 ResNet-50은 제로샷 CLIP과 비교되었습니다. 결론은 동일한 시나리오에서 여러 작업에서 제로샷 CLIP이 ResNet-50보다 더 나은 성능을 발휘한다는 것입니다.
그러나 더 많은 훈련 샘플이 주어졌을 때 Zero-shot이 선형 감지 성능을 능가하지 않는다는 점은 주목할 가치가 있습니다.
CLIP을 이용한 제로샷 분류
위의 설명에서 알 수 있듯이 이미지 및 텍스트 인코더는 512차원 벡터를 생성하여 입력 이미지와 텍스트 입력을 동일한 벡터 공간에 매핑할 수 있습니다.
제로샷 분류를 위해 CLIP을 사용한다는 것은 카테고리 정보를 텍스트 문장에 넣는 것을 의미합니다.
예를 들어 이미지를 입력하고 해당 카테고리가 자동차, 새 또는 고양이인지 확인하려는 경우 카테고리를 나타내는 세 가지 텍스트 문자열을 만들 수 있습니다.
T1은 자동차를 나타냅니다. 자동차 사진
T2는 새를 나타냅니다 : 새의 사진
T3은 고양이를 나타냅니다 : 고양이의 사진
카테고리 설명을 텍스트 인코더에 입력하면 카테고리를 표현할 수 있는 벡터를 얻을 수 있습니다.
입력이 고양이 사진이라고 가정합니다. ViT 모델을 사용하여 이미지 벡터를 얻은 후 해당 이미지와 카테고리 벡터 사이의 코사인 거리를 계산하여 T3과의 유사도가 가장 높다는 것을 의미합니다. 이는 이미지 카테고리가 고양이에 속한다는 것을 의미합니다.
보시다시피 카테고리 라벨은 단순한 단어가 아니라 템플릿 "{라벨}의 사진" 형식에 따라 문장으로 다시 작성되어 확장 가능합니다. 훈련 없이 제한된 클래스 예측.
실험에서 이 프롬프트 템플릿을 사용하면 ImageNet의 분류 정확도가 1.3% 향상되었습니다. 그러나 실제 사용에서는 프롬프트 템플릿이 항상 성능을 향상시키는 것은 아닙니다.
Python 구현
제로샷 분류를 위해 CLIP을 사용하는 것도 매우 쉽습니다. 저자는 데모로 Hugging Face의 frgfm/imagenette 데이터 세트를 선택했으며, 모두 정수로 저장됩니다. 가치.
분류를 위해 CLIP을 사용하려면 정수 값 레이블을 해당 텍스트 콘텐츠로 변환해야 합니다.
태그와 사진의 유사도를 직접 계산하기 전에 CLIP 모델을 초기화해야 하며, 이는 Hugging Face 변환기를 통해 찾은 CLIP을 사용하여 구현할 수 있습니다.
텍스트 변환기는 텍스트를 직접 읽을 수 없지만 토큰 ID(또는 input_ID)라는 정수 값 집합이 필요합니다. 여기서 각 고유 정수는 단어 또는 하위 단어(예: 토큰)를 나타냅니다.
변환된 텐서를 텍스트 변환기에 입력하여 라벨의 텍스트 삽입을 얻습니다
CLIP에서 출력한 벡터는 아직 정규화되지 않았으며 점 곱셈 후 얻은 유사성은 다음과 같습니다. 부정확하다.
이제 테스트용 데이터 세트에서 이미지를 선택하고 동일한 처리 과정을 거쳐 이미지 벡터를 얻을 수 있습니다.
이미지를 크기(1, 3, 224, 224)의 벡터로 변환한 후 모델에 입력하여 임베딩을 얻습니다.
다음 단계는 이미지 임베딩을 계산하고 데이터 세트의 10개 레이블 텍스트 임베딩 간의 내적 유사성, 가장 높은 점수를 얻은 것이 예측 카테고리입니다.
모델이 제공한 결과는 카세트 플레이어입니다. 전체 데이터 세트를 반복적으로 실행한 후 98.7%의 정확도를 얻을 수 있습니다
, 다중 모드 검색, 대상 탐지, OpenAI의 Dall-E 및 Stable Disfusion과 같은 생성 모델을 통해 CLIP은 컴퓨터 비전에 새로운 문을 엽니다.
위 내용은 ImageNet 제로 샘플 정확도가 처음으로 80%를 초과했으며 지구상에서 가장 강력한 오픈 소스 CLIP 모델이 업데이트되었습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

젬마 범위로 언어 모델의 내부 작업 탐색 AI 언어 모델의 복잡성을 이해하는 것은 중요한 도전입니다. 포괄적 인 툴킷 인 Gemma Scope의 Google 릴리스는 연구원에게 강력한 강력한 방법을 제공합니다.

비즈니스 성공 잠금 해제 : 비즈니스 인텔리전스 분석가가되는 가이드 원시 데이터를 조직의 성장을 이끌어내는 실행 가능한 통찰력으로 바꾸는 것을 상상해보십시오. 이것은 비즈니스 인텔리전스 (BI) 분석가의 힘 - GU에서 중요한 역할입니다.

SQL의 Alter Table 문 : 데이터베이스에 열을 동적으로 추가 데이터 관리에서 SQL의 적응성이 중요합니다. 데이터베이스 구조를 즉시 조정해야합니까? Alter Table 문은 솔루션입니다. 이 안내서는 Colu를 추가합니다

소개 두 전문가가 중요한 프로젝트에 대해 협력하는 번화 한 사무실을 상상해보십시오. 비즈니스 분석가는 회사의 목표, 개선 영역을 식별하며 시장 동향과의 전략적 조정을 보장합니다. 시무

Excel 데이터 계산 및 분석 : 카운트 및 카운트 기능에 대한 자세한 설명 정확한 데이터 계산 및 분석은 특히 큰 데이터 세트로 작업 할 때 Excel에서 중요합니다. Excel은이를 달성하기위한 다양한 기능을 제공하며, 카운트 및 카운타 기능은 다른 조건에서 셀 수를 계산하기위한 핵심 도구입니다. 두 기능 모두 셀을 계산하는 데 사용되지만 설계 목표는 다른 데이터 유형을 대상으로합니다. Count 및 Counta 기능의 특정 세부 사항을 파고 고유 한 기능과 차이점을 강조하고 데이터 분석에 적용하는 방법을 배우겠습니다. 핵심 포인트 개요 수를 이해하고 쿠션하십시오

Chrome 's AI Revolution : 개인화되고 효율적인 탐색 경험 인공 지능 (AI)은 우리의 일상 생활을 빠르게 변화시키고 있으며 Chrome은 웹 브라우징 경기장에서 요금을 주도하고 있습니다. 이 기사는 흥분을 탐구합니다

재구성 영향 : 4 배의 결론 너무 오랫동안 대화는 AI의 영향에 대한 좁은 견해로 인해 주로 이익의 결론에 중점을 두었습니다. 그러나보다 전체적인 접근 방식은 BU의 상호 연결성을 인식합니다.

상황이 그 시점을 꾸준히 움직이고 있습니다. 양자 서비스 제공 업체와 신생 기업에 쏟아지는 투자는 업계의 중요성을 이해하고 있음을 보여줍니다. 그리고 점점 더 많은 실제 사용 사례가 그 가치를 보여주기 위해 떠오르고 있습니다.


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

ZendStudio 13.5.1 맥
강력한 PHP 통합 개발 환경

스튜디오 13.0.1 보내기
강력한 PHP 통합 개발 환경

에디트플러스 중국어 크랙 버전
작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

안전한 시험 브라우저
안전한 시험 브라우저는 온라인 시험을 안전하게 치르기 위한 보안 브라우저 환경입니다. 이 소프트웨어는 모든 컴퓨터를 안전한 워크스테이션으로 바꿔줍니다. 이는 모든 유틸리티에 대한 액세스를 제어하고 학생들이 승인되지 않은 리소스를 사용하는 것을 방지합니다.

드림위버 CS6
시각적 웹 개발 도구
