문서에 단어가 많을수록 모델은 더욱 흥분됩니다! KOSMOS-2.5: "텍스트 밀도가 높은 이미지"를 읽기 위한 다중 모드 대형 언어 모델

현재 분명한 추세는 인상적인 언어 출력을 생성할 수 있는 수백억/수천억 개의 매개변수를 사용하여 더 크고 복잡한 모델을 구축하는 것입니다.

그러나 기존의 대규모 언어 모델은 주로 텍스트 정보에 초점을 맞추고 시각적 정보를 이해할 수 없습니다.

MLLM(다중 모드 대형 언어 모델) 분야의 발전은 이러한 한계를 해결하는 것을 목표로 하며, MLLM은 시각적 정보와 텍스트 정보를 단일 Transformer 기반 모델로 융합하여 모델이 학습 및 콘텐츠 생성 두 가지 양식에 모두 적응할 수 있도록 합니다.

MLLM은 자연스러운 이미지 이해, 텍스트 이미지 이해 등 다양한 실제 응용 분야에서 잠재력을 보여줍니다. 이러한 모델은 다중 모드 문제를 처리하기 위한 공통 인터페이스로 언어 모델링을 활용하여 텍스트 및 시각적 입력을 기반으로 응답을 처리하고 생성할 수 있습니다.

그러나 현재 주요 초점은 저해상도 자연 이미지의 MLLM에 있습니다. 텍스트에 대한 밀도가 높음 이미지에 대한 연구는 상대적으로 적습니다. 따라서 텍스트 이미지를 처리하기 위해 대규모 다중 모드 사전 훈련을 최대한 활용하는 것이 MLLM 연구의 중요한 방향이 되었습니다

텍스트 이미지를 훈련 과정에 통합하고 텍스트 및 시각적 정보를 기반으로 모델을 개발함으로써 우리는 고해상도와 관련된 새로운 길을 열 수 있습니다. 텍스트 밀도가 높은 이미지의 다중 모드 응용 프로그램에 대한 새로운 가능성입니다.

Pictures

논문 주소: https://arxiv.org/abs/2309.11419

KOSMOS-2.5는 텍스트 밀도 이미지를 기반으로 한 다중 모드 대규모 언어 모델입니다. KOSMOS에서 개발됨 - 2를 기반으로 개발되었으며 텍스트 밀도가 높은 이미지의 다중 모드 읽기 및 이해 기능을 강조합니다(Multimodal Literate Model).

이 모델의 제안은 텍스트 중심 이미지를 이해하는 데 뛰어난 성능을 강조하고 비전과 텍스트 사이의 격차를 해소합니다.

동시에 이전 코딩에서 작업 패러다임의 진화를 나타냅니다. 디코더-디코더 아키텍처에서 순수 디코더 아키텍처로

KOSMOS-2.5의 목표는 이미지 콘텐츠를 이해하고 구조화된 텍스트 설명을 생성하기 위해 텍스트가 많은 이미지에서 원활한 시각적 및 텍스트 데이터 처리를 가능하게 하는 것입니다.

그림 1: KOSMOS-2.5 개요

KOSMOS-2.5는 그림 1과 같이 다중 모드 모델로, 밀접하게 관련된 두 가지 작업을 처리하기 위해 통합 프레임워크를 사용하는 것을 목표로 합니다.

첫 번째 작업은 공간 인식 텍스트 블록을 생성하는 것, 즉 텍스트 블록의 내용과 좌표 프레임을 동시에 생성하는 것입니다. 다시 작성해야 할 사항은 다음과 같습니다. 첫 번째 작업에는 공간 인식 텍스트 블록을 생성하는 작업, 즉 텍스트 블록과 좌표 상자의 내용을 동시에 생성하는 작업이 포함됩니다.

두 번째 작업에는 Markdown 형식을 사용하여 구조화된 텍스트 출력을 생성하는 작업이 포함됩니다. 다양한 스타일과 구조 캡처

그림 2: KOSMOS-2.5 아키텍처 다이어그램

그림 2에서 볼 수 있듯이 두 작업 모두 공유 Transformer 아키텍처와 작업별 힌트를 사용합니다

KOSMOS-2.5 ViT(Vision Transformer) 기반의 시각적 인코더와 Transformer 아키텍처 기반의 디코더를 결합하고 리샘플링 모듈을 통해 연결됩니다.

그림 3: 사전 훈련 데이터 세트

이 모델을 훈련하기 위해 저자는 그림 3과 같이 324.4M 크기의 거대한 데이터 세트를 준비했습니다.

그림 4: 경계 상자가 있는 텍스트 줄에 대한 훈련 샘플의 예

그림 5: Markdown 형식의 훈련 샘플 예

이 데이터 세트에는 다음을 포함하여 다양한 유형의 텍스트 밀도 이미지가 포함되어 있습니다. 경계 상자와 Markdown 형식의 일반 텍스트가 있는 텍스트 줄 그림 4와 5는 훈련 샘플 예제 시각화입니다.

이 다중 작업 훈련 방법은 KOSMOS-2.5의 전반적인 다중 모드 기능을 향상시킵니다

[그림 6] 엔드투엔드 문서 수준 텍스트 인식 실험

그림 7: 이미지에서 마크다운 형식의 텍스트 생성 실험

그림 6과 그림 7과 같이 KOSMOS- 2.5 엔드투엔드 문서 수준 텍스트 인식과 이미지에서 마크다운 형식 텍스트 생성이라는 두 가지 작업에 대해 평가됩니다.

KOSMOS-2.5는 텍스트 집약적인 이미지 작업 처리에 탁월한 성능을 발휘하며 실험 결과가 이를 입증합니다

그림 8: KOSMOS-2.5의 입력 및 출력 샘플 디스플레이

KOSMOS- 2.5는 이를 보여줍니다. 퓨샷 학습과 제로샷 학습 시나리오 모두에서 유망한 기능을 제공하므로 텍스트가 풍부한 이미지를 처리하는 데 실용적인 응용 프로그램을 위한 다용도 도구가 됩니다. 텍스트가 많은 이미지를 효과적으로 처리하고 퓨샷 학습과 제로샷 학습의 경우 유망한 성능을 보여줄 수 있는 다용도 도구라고 볼 수 있습니다

저자는 교수 미세 조정이 매우 유망하다고 지적합니다. 도구. 전망 방법은 모델의 더 넓은 적용 기능을 달성할 수 있습니다.

더 넓은 연구 분야에서 중요한 방향은 모델 매개변수의 확장성을 더욱 발전시키는 것입니다.

작업의 범위와 복잡성이 계속 확장됨에 따라 더 많은 양의 데이터를 처리할 수 있도록 모델을 확장하는 것이 텍스트 중심 다중 모드 모델 개발에 중요합니다.

궁극적인 목표는 시각적 및 텍스트 데이터를 효과적으로 해석하고 보다 텍스트 집약적인 다중 모드 작업으로 성공적으로 일반화할 수 있는 모델을 개발하는 것입니다.

내용을 다시 작성할 때는 중국어로 다시 작성해야 하며, 원문이 나올 필요는 없습니다

https://arxiv.org/abs/2309.11419

위 내용은 문서에 단어가 많을수록 모델은 더욱 흥분됩니다! KOSMOS-2.5: "텍스트 밀도가 높은 이미지"를 읽기 위한 다중 모드 대형 언어 모델의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!