Siglip 2를 사용한 이미지 검색 기능 향상

Siglip 2 : 향상된 비전 언어 인코딩을 사용하여 이미지 검색 혁신 효율적이고 정확한 이미지 검색은 디지털 자산 관리, 전자 상거래 및 소셜 미디어에 중요합니다. Google Deepmind의 Siglip 2 (언어 이미지 사전 훈련을위한 Sigmoid Loss)는 이미지 유사성 및 검색을 크게 향상 시키도록 설계된 최첨단 다국어 비전 언어 인코더입니다. 혁신적인 아키텍처는 의미 론적 이해를 향상시키고 제로 샷 분류 및 이미지 텍스트 검색으로 탁월하며, 의미있는 시각적 표현을 추출하는 데 이전 모델을 능가합니다. 이것은 자체 감독 학습 및 다양한 데이터를 포함하는 통합 교육 접근법을 통해 달성됩니다. 주요 학습 포인트

클립 모델의 기본 사항과 이미지 검색에서의 역할을 파악합니다. 미묘한 이미지 변형을 차별화 할 때 SoftMax 기반 손실 함수의 한계를 이해합니다. Siglip이 Sigmoid Loss 기능을 사용하여 이러한 한계를 극복하는 방법을 탐색하십시오. 전임자보다 Siglip 2의 주요 개선 사항을 분석하십시오. 사용자의 이미지 쿼리를 사용하여 기능적 이미지 검색 시스템을 구축하십시오. Siglip에 대한 Siglip 2의 성능을 비교하고 평가하십시오.

이 기사는 데이터 과학 블로그의 일부입니다.

목차

• 대조적 인 언어 이미지 사전 훈련 (클립) 클립의 핵심 구성 요소 SoftMax 기능 및 교차 엔트로피 손실
클립의 한계
Siglip 및 Sigmoid Loss Function 클립의 주요 차이
• Siglip 2 : Siglip 에 대한 발전 Siglip 2
• 의 핵심 특징
• Siglip 2를 사용한 이미지 검색 시스템 구성 및 Siglip 를 사용한 비교 분석 실제 검색 테스트 Siglip 2 모델 평가
Siglip 모델 평가

결론 자주 묻는 질문 대조적 인 언어 이미지 사전 훈련 (clip)

2021 년 OpenAi가 소개 한 클립은 컴퓨터 비전과 자연어 처리를 연결하는 획기적인 멀티 모달 모델입니다. 이미지 및 텍스트에 대한 공유 표현 공간을 배우고 제로 샷 이미지 분류 및 이미지 텍스트 검색과 같은 작업을 가능하게합니다. 자세히 알아보기 : 클립 VIT-L14 : 제로 샷 이미지 분류를위한 멀티 모달 경이

클립의 핵심 구성 요소 클립은 텍스트 인코더, 이미지 인코더 및 대조적 학습 메커니즘으로 구성됩니다. 이 메커니즘은 쌍을 일치시키는 유사성을 최대화하고 불일치 한 쌍에 대한 최소화함으로써 이미지 및 텍스트 표현을 정렬합니다. 교육에는 이미지 텍스트 쌍의 대규모 데이터 세트가 포함됩니다

SoftMax 기능 및 교차 엔트로피 손실

클립은 인코더를 사용하여 이미지와 텍스트에 대한 임베딩을 생성합니다. 유사성 점수 (DOT Product)는 이러한 임베딩 사이의 유사성을 측정합니다. SoftMax 함수는 각 이미지 텍스트 쌍에 대한 확률 분포를 생성합니다.

손실 함수는 올바른 페어링의 유사성 점수를 최대화하는 것을 목표로합니다. 그러나 SoftMax 정규화는 문제로 이어질 수 있습니다

클립의 한계

비슷한 쌍의 난이도 :

SoftMax는 매우 유사한 이미지 텍스트 쌍 간의 미묘한 차이를 구별하기 위해 어려움을 겪고 있습니다. 2 차 메모리 복잡성 : 쌍별 유사성 계산은 높은 메모리 요구로 이어집니다.

Siglip 및 Sigmoid Loss 함수

Google의 Siglip은 Sigmoid 기반 손실 기능을 사용하여 Clip의 한계를 해결합니다. 이것은 각 이미지 텍스트 쌍에서 독립적으로 작동하여 효율성과 정확도를 향상시킵니다.

클립의 주요 차이 Siglip 2 : Siglip에 대한 발전

Siglip 2는 제로 샷 분류, 이미지 텍스트 검색 및 시각적 표현 추출에서 Siglip을 훨씬 능가합니다. 주요 기능은 동적 해상도 (NAFLEX) 변형입니다 Siglip 2 의 핵심 특징

Sigmoid & Locca Decoder를 사용한 훈련 : 텍스트 디코더는 접지 된 캡션 및 참조 표현 기능을 향상시킵니다. 개선 된 세밀한 현지 시맨틱 :

글로벌-로컬 손실 및 마스크 예측 손실이 지역 기능 추출을 향상시킵니다.

자기 방지 :

모델 내에서 지식 전달을 향상시킵니다 다른 해상도에 대한 더 나은 적응성 : fixres 및 naflex 변형은 다양한 이미지 해상도와 종횡비를 처리합니다.

Siglip 2를 사용한 이미지 검색 시스템 구성 및 Siglip 를 사용한 비교 분석 구성 (이 섹션에는 원본과 유사하지만 이미지 검색 시스템을 구축하기위한 파이썬 코드와 설명이 포함되어 있지만 간결성에 대한 명확성과 잠재적으로 단순화 된 코드가 포함되어 있습니다. 코드는 자세한 주석이있는 더 작고 관리하기 쉬운 덩어리로 나뉩니다. 실용 검색 테스트
• (이 섹션에는 Siglip 및 Siglip 2 모델을 샘플 이미지로 테스트 한 결과가 포함되어 있으며 검색된 이미지를 보여주고 쿼리 이미지와 유사성을 비교합니다.) 결론
Siglip 2는 비전 언어 모델의 실질적인 발전을 나타내며, 우수한 이미지 검색 기능을 제공합니다. 효율성, 정확성 및 적응성은 다양한 응용 분야에서 귀중한 도구입니다.
• 자주 묻는 질문 (이 섹션은 명확성을 위해 사소한 리 워드로 잠재적으로 동일하게 유지 될 것입니다.)
(참고 : 이미지는 원래 입력에 지정된대로 포함됩니다.)

위 내용은 Siglip 2를 사용한 이미지 검색 기능 향상의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!