비전 기반 텍스트 인식을 사용한 장면 텍스트 인식

장면 텍스트 인식 (STR)은 실제 환경에서 다양한 텍스트 모양으로 인해 연구원들에게 중요한 도전으로 남아 있습니다. 문서에서 텍스트를 인식하는 것은 예를 들어 티셔츠에서 텍스트를 식별하는 것과 다릅니다. ECCV 2022에서 소개 된 장면 텍스트 인식 (MGP-STR) 모델에 대한 다중 부문 예측은 획기적인 접근 방식을 제공합니다. MGP-STR은 VISION 트랜스포머 (VIT)의 견고성을 혁신적인 다중 부문 언어 예측과 결합하여 복잡한 STR 작업을 처리하는 능력을 크게 향상시킵니다. 이로 인해 다양한 실제 시나리오에서 더 높은 정확도와 유용성이 높아져 간단하면서도 강력한 솔루션을 제공합니다.

주요 학습 지점

• Vision Transformers (VIT)를 포함한 MGP-STR의 아키텍처 및 구성 요소를 파악하십시오.
• 다중 부문 예측이 장면 텍스트 인식의 정확성과 적응성을 어떻게 향상시키는 지 이해하십시오.
• 실제 광학 문자 인식 (OCR) 작업에서 MGP-STR의 실제 응용 프로그램을 살펴보십시오.
• 장면 텍스트 인식을 위해 Pytorch와 함께 MGP-STR을 구현하고 사용하는 실제 경험을 얻습니다.

*이 기사는 *** Data Science Blogathon의 일부입니다.

목차

• mgp-str 란 무엇입니까?
• MGP-STR의 응용 및 사용 사례
• MGP-STR로 시작합니다
  • 1 단계 : 의존성 가져 오기
  • 2 단계 : 기본 모델로드
  • 3 단계 : 이미지에서 텍스트 예측을위한 도우미 기능
• 결론
• 자주 묻는 질문

mgp-str 란 무엇입니까?

MGP-STR은 별도의 언어 모델이 필요없이 비전 기반 STR 모델입니다. 다중 부문 예측 (MGP) 전략을 사용하여 언어 정보를 아키텍처에 직접 통합합니다. 이 암시 적 접근 방식을 통해 MGP-STR은 순수한 시각적 모델과 언어 강화 방법을 능가하여 최첨단 STR 결과를 달성 할 수 있습니다.

아키텍처는 두 가지 주요 구성 요소로 구성됩니다.

• 비전 변압기 (VIT)
• A³ 모듈

간단하면서도 효과적인 전략을 통한 문자, 서브 워드 및 단어 수준에서 예측의 융합은 MGP-STR이 시각적 및 언어 적 세부 사항을 모두 포착 할 수 있도록합니다.

MGP-STR의 응용 및 사용 사례

MGP-STR은 주로 텍스트 이미지의 OCR 작업을위한 것입니다. 언어 지식을 암시 적으로 통합하는 독특한 능력은 다양한 텍스트와 왜곡 된 텍스트를 가진 실제 시나리오에서 특히 유용합니다. 예제는 다음과 같습니다.

• 자연 장면 (거리 표지판, 광고판)에서 텍스트를 읽습니다.
• 스캔 한 양식 및 문서에서 텍스트 추출 (필기 또는 인쇄).
• 산업 환경에서 텍스트 분석 (제품 레이블, 바코드).
• 증강 현실 (AR) 응용 프로그램의 텍스트 번역/전사.
• 스캔 된 문서 또는 인쇄물 사진의 정보 추출.
• 접근성 솔루션 지원 (스크린 리더).

주요 기능과 이점

• 독립적 인 언어 모델이 필요하지 않습니다
• 다중 부문 예측
• 최신 성과
• 사용자 친화적입니다

MGP-STR로 시작합니다

이 섹션에서는 샘플 이미지에서 장면 텍스트 인식에 MGP-STR을 사용하는 방법을 보여줍니다. Pytorch, Transformers 라이브러리 및 종속성 (PIL, 요청)이 필요합니다.

1 단계 : 필요한 라이브러리 가져 오기

필수 라이브러리를 가져옵니다 : 모델 처리 용 변압기, 이미지 조작 용 PIL 및 온라인 이미지 가져 오기 요청.

 <code>from transformers import MgpstrProcessor, MgpstrForSceneTextRecognition import requests import base64 from io import BytesIO from PIL import Image from IPython.display import display, Image as IPImage</code>

2 단계 : 미리 훈련 된 모델로드

MGP-STR베이스 모델과 프로세서를 포옹 페이스 트랜스포머를로드하십시오.

 <code>processor = MgpstrProcessor.from_pretrained('alibaba-damo/mgp-str-base') model = MgpstrForSceneTextRecognition.from_pretrained('alibaba-damo/mgp-str-base')</code>

3 단계 : 이미지 처리 및 텍스트 예측 기능

이미지 URL을 입력하고 MGP-STR을 사용하여 처리하고 텍스트 예측을 반환하는 함수를 만듭니다. 이것은 이미지 변환, Base64 인코딩 및 텍스트 디코딩을 처리합니다.

 <code>def predict(url): image = Image.open(requests.get(url, stream=True).raw).convert("RGB") pixel_values = processor(images=image, return_tensors="pt").pixel_values outputs = model(pixel_values) generated_text = processor.batch_decode(outputs.logits)['generated_text'] buffered = BytesIO() image.save(buffered, format="PNG") image_base64 = base64.b64encode(buffered.getvalue()).decode("utf-8") display(IPImage(data=base64.b64decode(image_base64))) print("\n\n") return generated_text</code>

예제 (원본 텍스트의 이미지 URL 사용) :

공간을 절약하기 위해 이미지 URL 및 예측이 포함 된 예제는 여기에서 생략되지만 원본 텍스트와 동일한 구조를 따라 다른 이미지 URL이있는 predict 기능을 호출합니다.

모델의 정확도는 이미지 예제에서 분명합니다. RAM 사용량이 적은 CPU에서 실행되는 효율성이 주목할 만합니다. 이를 통해 도메인 별 작업에 미세 조정에 쉽게 적응할 수 있습니다.

결론

MGP-STRT는 비전과 언어 이해를 효과적으로 결합합니다. 혁신적인 다중 부문 예측은 STR에 대한 포괄적 인 접근 방식을 제공하여 외부 언어 모델없이 정확성과 적응성을 향상시킵니다. 간단하지만 정확한 아키텍처는 OCR 및 STR의 연구원과 개발자에게 귀중한 도구입니다. 오픈 소스 자연은 해당 분야에서 더 많은 발전을 촉진합니다.

자원

• Google Collab : [Link] (실제 링크로 교체)
• arxiv : [link] (실제 링크로 교체)
• github : [link] (실제 링크로 교체)
• Huggingface : [Link] (실제 링크로 교체)

핵심 요점

• MGP-STR은 별도의 언어 모델없이 비전과 언어를 통합합니다.
• 다중 부문 예측은 다양한 도전 과제에서 성능을 향상시킵니다.
• MGP-STR은 간단한 아키텍처로 최첨단 결과를 달성합니다.
• 다양한 OCR 작업에 쉽게 적응할 수 있습니다.

자주 묻는 질문

• Q1 : MGP-STR이란 무엇이며 기존 STR 모델과 어떻게 다릅니 까? A1 : MGP-STR은 언어 예측을 MGP를 사용하여 비전 기반 프레임 워크에 직접 통합하여 전통적인 방법에서 발견되는 별도의 언어 모델이 필요하지 않습니다.

• Q2 : MGP-STR을 훈련시키는 데 어떤 데이터 세트가 사용 되었습니까? A2 : 기본 모델은 Mjsynth 및 SynthText에서 교육을 받았습니다.

• Q3 : MGP-STR이 왜곡 또는 저품질 텍스트 이미지를 처리 ​​할 수 ​​있습니까? A3 : 그렇습니다. 다중 부문 예측 메커니즘으로 인해 그러한 과제를 처리 할 수 ​​있습니다.

• Q4 : MGP-STR은 영어 이외의 언어에 적합합니까? A4 : 영어에 최적화되었지만 적절한 교육 데이터를 사용하여 다른 언어에 적응할 수 있습니다.

• Q5 : A³ 모듈은 MGP-STR의 성능에 어떻게 기여합니까? A5 : A³ 모듈은 VIT 출력을 개선하여 서브 워드 레벨 예측을 가능하게하고 언어 정보를 포함시킵니다.

참고 : 이미지 자리 표시자는 원래 입력에서와 동일하게 유지됩니다. 브래킷 링크를 실제 링크로 바꾸는 것을 잊지 마십시오.

위 내용은 비전 기반 텍스트 인식을 사용한 장면 텍스트 인식의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!