대규모 언어 모델의 시각적 재능: GPT는 상황별 학습을 통해 시각적 작업도 해결할 수 있습니다.

현재 대형 언어 모델(LLM)은 자연어 처리(NLP) 분야에 변화의 물결을 일으키고 있습니다. 우리는 LLM이 강력한 창발적 역량을 갖고 있으며 복잡한 언어 이해 작업, 생성 작업, 심지어 추론 작업까지 잘 수행한다는 것을 알 수 있습니다. 이는 사람들이 기계 학습의 또 다른 하위 분야인 컴퓨터 비전(CV)에서 LLM의 잠재력을 더 탐구하도록 영감을 줍니다.

LLM의 뛰어난 재능 중 하나는 상황에 맞게 학습하는 능력입니다. 상황별 학습은 LLM의 어떤 매개변수도 업데이트하지 않지만, 다양한 NLP 작업에서 놀라운 결과를 보여줍니다. 그렇다면 GPT는 상황별 학습을 통해 시각적 작업을 해결할 수 있을까요?

최근 Google과 Carnegie Mellon University(CMU)의 연구원들은 이미지(또는 기타 비언어적 양식)를 LLM이 이해할 수 있는 언어로 변환할 수 있다면 이것이 가능해 보인다는 것을 보여주는 논문을 공동으로 발표했습니다.

Pictures

논문 주소: https://arxiv.org/abs/2306.17842

이 논문은 상황별 학습을 통해 시각적 작업을 해결하는 PaLM 또는 GPT의 능력을 밝히고 새로운 방법 SPAE( 시맨틱 피라미드 자동 인코더). 이 새로운 접근 방식을 통해 LLM은 매개변수 업데이트 없이 이미지 생성 작업을 수행할 수 있습니다. 이는 LLM이 이미지 콘텐츠를 생성할 수 있도록 상황별 학습을 사용하는 최초의 성공적인 방법이기도 합니다.

먼저 상황별 학습을 통해 이미지 콘텐츠를 생성하는 LLM의 실험 결과를 살펴보겠습니다.

예를 들어, 주어진 맥락에서 50개의 손글씨 이미지를 제공함으로써 논문은 PaLM 2에게 디지털 이미지를 출력으로 생성해야 하는 복잡한 쿼리에 답하도록 요청합니다. 이미지 입력 ​​없이 사실적인 실제 이미지 생성:

pictures

PaLM 2는 이미지 생성 외에도 상황 학습을 통해 이미지 설명도 수행할 수 있습니다.

이미지도 있습니다. 관련 문제 시각적 Q&A:

Pictures

노이즈를 제거하고 비디오를 생성할 수도 있습니다.

Pictures

방법 개요

실제로 이미지 변환 LLM이 할 수 있는 언어로 이해는 ViT(Visual Transformer) 논문에서 연구된 문제입니다. Google과 CMU의 이 논문에서는 실제 단어를 사용하여 이미지를 표현하는 다음 단계로 나아갑니다.

이 접근 방식은 텍스트로 가득 찬 탑을 쌓고 이미지의 의미와 세부 사항을 포착하는 것과 같습니다. 텍스트로 채워진 이 표현을 사용하면 이미지 설명을 쉽게 생성할 수 있으며 LLM이 이미지 관련 질문에 답하고 이미지 픽셀을 재구성할 수도 있습니다.

구체적으로, 이 연구에서는 훈련된 인코더와 CLIP 모델을 사용하여 이미지를 토큰 공간으로 변환한 다음 LLM을 사용하여 적절한 어휘 토큰을 생성하고 마지막으로 훈련된 디코더를 사용하여 이를 변환할 것을 제안합니다. 다시 픽셀 공간으로 변환됩니다. 이 독창적인 프로세스는 이미지를 LLM이 이해할 수 있는 언어로 변환하여 비전 작업에서 LLM의 생성 능력을 활용할 수 있도록 해줍니다.

실험 및 결과

본 연구에서는 SPAE와 SOTA 방식 Frozen 및 LQAE를 실험적으로 비교하였으며, 그 결과를 아래 표 1에 나타내었다. SPAEGPT는 2%의 토큰만 사용하면서 모든 작업에서 LQAE보다 성능이 뛰어납니다.

Pictures

전체적으로 mini-ImageNet 벤치마크 테스트 결과 SPAE 방식은 이전 SOTA 방식에 비해 성능이 25% 향상되는 것으로 나타났습니다.

Pictures

본 연구에서는 SPAE 설계 방법의 유효성을 검증하기 위해 Ablation 실험을 실시하였고, 실험 결과는 아래 Table 4와 Figure 10에 나타내었다.

Pictures

Pictures

관심 있는 독자는 논문의 원문을 읽고 연구 내용에 대해 자세히 알아볼 수 있습니다.

위 내용은 대규모 언어 모델의 시각적 재능: GPT는 상황별 학습을 통해 시각적 작업도 해결할 수 있습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!