대규모 언어 모델의 공간 추론 능력 자극: 사고 시각화 팁

대형 언어 모델(LLM)은 언어 이해 및 다양한 추론 작업에서 인상적인 성능을 보여줍니다. 그러나 인간 인지의 핵심 측면인 공간 추론에 대해서는 여전히 연구가 부족합니다. 인간은 마음의 눈이라는 과정을 통해 보이지 않는 물체와 행동에 대한 정신적 이미지를 생성하여 보이지 않는 세계를 상상할 수 있는 능력을 가지고 있습니다. 이러한 인지 능력에 영감을 받아 연구자들은 생각의 시각화(VoT)를 제안했습니다. VoT는 추론의 징후를 시각화하여 후속 추론 단계를 안내함으로써 LLM의 공간 추론을 안내하는 것을 목표로 합니다. 연구원들은 2차원 그리드 세계에서 자연어 탐색, 시각적 탐색, 시각적 포장을 포함한 다중 홉 공간 추론 작업에 VoT를 적용했습니다. 실험 결과에 따르면 VoT는 LLM의 공간 추론 능력을 크게 향상시킵니다. 특히 VoT는 이러한 작업에서 기존 다중 모드 대형 언어 모델(MLLM) 보다 성능이 뛰어납니다.

소개

최근 몇 년 동안 대규모 언어 모델(LLM)은 다양한 언어 관련 작업에서 놀라운 성능을 달성했습니다. 수학적 추론, 상식 추론, 상징적 또는 논리적 추론과 같은 기타 추론 작업의 성공에도 불구하고 공간 추론 능력은 아직 충분히 탐구되지 않은 상태입니다.

공간 추론은 인간 인지의 기본 기능으로, 우리가 환경과 상호 작용할 수 있도록 해줍니다. 이는 물체와 물체의 움직임 사이의 공간적 관계에 대한 이해와 추론이 필요한 작업을 용이하게 합니다. 언어 모델의 공간 추론은 공간 정보에 대해 추론하기 위해 언어에 크게 의존하며 인간의 인지 능력은 언어 추론을 훨씬 능가합니다. 인간은 시각적 인식을 통해 작업과 관련된 추상적 표현을 만들 수 있을 뿐만 아니라 마음의 눈을 통해 보이지 않는 장면을 상상할 수도 있습니다. 신경과학, 심리철학, 인지과학 분야에서 mental imagery로 알려진 연구주제입니다. 이러한 인지 기능을 바탕으로 인간은 탐색, 정신적 회전, 정신적 종이 접기, 정신적 시뮬레이션과 같은 정신적 이미지의 조작을 통해 공간적 추론을 촉진합니다. 그림 1은 탐색 작업과 관련된 인간 프로세스를 보여줍니다. 인간은 내비게이션 지침이나 지도 이미지와 같은 다양한 감각 입력을 활용하여 경로에 대한 정신적 이미지를 생성함으로써 공간 인식을 강화하고 의사 결정을 안내합니다. 그런 다음 그들은 마음의 눈을 통해 경로 계획을 시뮬레이션했습니다.

그림 1: 인간은 공간 추론 중에 정신적 이미지를 생성하여 공간 인식을 향상하고 의사 결정을 안내할 수 있습니다. 마찬가지로, LLM(대형 언어 모델)은 내부 정신 이미지를 구축할 수 있습니다. 연구원들은 LLM의 각 중간 단계에서 생각을 시각화하여 공간 추론을 촉진함으로써 LLM의 "마음의 눈"을 이끌어 내기 위해 VoT를 제안했습니다.

이 인지 메커니즘에서 영감을 받아 연구자들은 LLM이 공간적 추론을 위해 마음의 눈에 정신적 이미지를 생성하고 조작하는 능력을 가지고 있다고 추측합니다. 그림 1에 표시된 것처럼 LLM은 잠재적으로 다양한 형식의 공간 정보를 처리하고 이해할 수 있습니다. 그들은 내부 상태를 시각화하고 마음의 눈을 통해 이러한 정신 이미지를 조작하여 공간 추론을 향상시키기 위한 후속 추론 단계를 안내할 수 있습니다. 따라서 연구자들은 이러한 능력을 이끌어내기 위해

생각의 시각화(VoT)를 제안했습니다. 이 방법은 LLM에 시각적 공간 스케치패드를 추가하여 추론 단계를 시각화하고 후속 단계를 안내합니다. VoT는 몇 가지 데모에 의존하거나 텍스트-이미지 시각화를 위해 CLIP을 사용하는 대신 제로 데모 프롬프트를 사용합니다. 이러한 선택은 텍스트 기반 시각 예술에서 다양한 정신적 이미지를 얻는 LLM의 능력에서 비롯됩니다.

공간 추론에서 VoT의 효과를 평가하기 위해 연구원들은

자연어 탐색, 시각적 탐색 및 시각적 포장을 포함하여 LLM의 공간 인식이 필요한 세 가지 작업을 선택했습니다. 이러한 작업을 수행하려면 공간, 방향 및 기하학적 형태 추론을 이해해야 합니다. 인간과 같은 다감각 인식을 시뮬레이션하기 위해 연구원들은 LLM의 시각적 탐색 및 시각적 배치 작업에서 풍부한 입력 형식으로 특수 문자를 사용하여 2D 그리드 세계를 설계했습니다. 이 세 가지 작업에 대해 다양한 모델(GPT-4, GPT-4V)과 프롬프트 기술을 비교했습니다. 연구 결과에 따르면 VoT 프롬프트는 LLM이 추론 단계를 시각화하고 후속 단계를 안내하도록 지속적으로 유도하는 것으로 나타났습니다. 따라서 이 방법은 해당 작업에서 상당한 성능 향상을 달성합니다.

그림 2: 출발점을 나타내는 집 이모티콘과 목적지를 나타내는 사무실 이모티콘이 포함된 다양한 설정의 내비게이션 지도의 예.

공간 추론

공간 추론은 물체 간의 공간적 관계, 물체의 움직임 및 상호 작용을 이해하고 추론하는 능력을 말합니다. 이 기술은 내비게이션, 로봇공학, 자율주행 등 다양한 실제 응용 분야에 중요합니다. 이러한 영역에는 시각적 인식과 공간 차원에 대한 상세한 이해를 기반으로 한 실행 계획이 필요합니다. 텍스트에 포함된 공간 의미를 탐색하기 위해 여러 작업과 데이터 세트가 개발되었지만 연구 노력은 일반적으로 공간 용어가 언어적으로 어떻게 구조화되는지에 중점을 두었습니다. 최근에는 공간 용어를 논리적 형식으로 변환하고 논리적 프로그래밍을 사용하여 이러한 벤치마크에서 상당한 성과와 인상적인 결과를 얻었습니다. 즉, 이러한 작업을 잘 수행한다고 해서 반드시 LLM(대형 언어 모델)이 공간 정보를 실제로 이해하거나 공간 인식에 대한 정확한 측정값을 제공하지 않는다는 의미는 아닙니다. 공간 인식에는 물리적 세계에서 행동을 계획하는 데 필수적인 공간 관계, 방향, 거리 및 기하학을 이해하는 것이 포함됩니다. LLM의 공간 인식 및 공간 추론 능력을 평가하기 위해 연구원들은 자연어 탐색, 시각적 탐색 및 시각적 포장을 포함하여 탐색 및 기하학적 추론 기술을 테스트하는 여러 작업을 선택했습니다.

자연어 탐색

자연어 탐색에는 이전에 방문한 위치를 식별하는 것을 목표로 무작위 보행을 통해 기본 공간 구조를 탐색하는 작업이 포함됩니다. 이 개념은 그래프 구조를 따라 무작위로 걷는 것과 유사한 접근 방식을 사용하여 인간 인지에 대한 이전 연구에서 영감을 받았습니다. 이 프로세스에는 공간 탐색에 중요한 루프 폐쇄에 대한 이해가 필요합니다.

시각적 탐색

시각적 탐색 작업은 LLM에게 합성 2D 그리드 세계를 제공하고 시각적 신호를 사용하여 탐색하도록 도전합니다. 모델은 장애물을 피하면서 출발지에서 목적지까지 4방향(왼쪽, 오른쪽, 위, 아래)으로 이동하기 위한 내비게이션 지침을 생성해야 합니다. 여기에는 두 가지 하위 작업, 즉 경로 계획과 다음 단계 예측이 포함됩니다. 여기에는 다중 홉 공간 추론이 필요하며, 전자가 더 복잡합니다.

시각적 배치

시각적 배치는 고전적인 공간 추론 과제입니다. 제한된 영역 내에서 모양을 이해하고, 구성하고, 추론하는 LLM의 능력을 테스트하기 위해 이 개념을 확장하면 공간 추론 기술의 평가가 향상됩니다. 이 작업에는 채워지지 않은 셀이 있는 직사각형과 4개의 정렬된 사각형으로 구성된 I-도미노 블록과 같은 다양한 도미노 블록이 포함됩니다. 모델은 질문과 답변 퍼즐을 풀기 위해 I-도미노 블록의 방향을 선택하는 등 적절한 도미노 블록 변형을 선택해야 합니다.

그림 3: 마스크된 도미노 블록을 사용한 시각적 배치의 예. 이미지에는 도미노 블록의 회전 및 미러링 변형이 표시되지 않습니다.

Thinking시각적 단서

인간이 내비게이션과 같은 작업에서 공간 정보를 처리하는 방식을 고려할 때 지도와 같은 정신 이미지는 공간 인식을 향상시키거나 의사 결정을 안내하기 위한 움직임을 시뮬레이션하기 위해 생성되는 경우가 많습니다. 연구 목표는 LLM의 공간 인식을 불러일으키고 중간 추론 단계를 시각화하여 실제 상황에 기반한 추론을 가능하게 하는 것입니다.

연구원들은 "각 추론 단계 후 상태를 시각화"라는 VoT(사고 시각화) 프롬프트를 소개합니다. 이 새로운 공간 추론 패러다임은 인터리브 방식으로 추론 기호와 시각화 결과를 생성하는 것을 목표로 합니다.

그림 4: LLM이 인터리브 방식으로 추론 기호와 시각화를 생성하여 시간이 지남에 따라 변화하는 상태를 추적하는 세 가지 작업의 VoT 프롬프트 예입니다.

논문: https://arxiv.org/pdf/2404.03622.pdf

위 내용은 대규모 언어 모델의 공간 추론 능력 자극: 사고 시각화 팁의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!