GPT-4의 인간과 유사한 추론 능력이 대폭 향상되었습니다! 중국과학원은 '사고적 의사소통'을 제안했는데, 유추적 사고는 CoT를 넘어 즉시 적용 가능하다.

요즘에는 GPT-4, PaLM과 같은 거대 신경망 모델이 등장했고, 놀라운 소수 샘플 학습 능력을 보여주었습니다.

간단한 프롬프트만 주어지면 텍스트 추론을 수행하고, 이야기를 쓰고, 질문에 답하고, 프로그램을 작성할 수 있습니다.

중국과학원과 예일대학교의 연구원들은 "사고 전파"라는 새로운 프레임워크를 제안했습니다. , "유추적 사고"를 통해 LLM의 추론 능력을 향상시키는 것을 목표로 합니다

논문 주소: https://arxiv.org/abs/2310.03965

"생각 확산"은 인간의 인지에서 영감을 얻은 것입니다. 우리는 새로운 문제에 직면했을 때 전략을 도출하기 위해 이미 해결한 유사한 문제와 이를 비교하는 경우가 많다는 것입니다.

따라서 이 접근 방식의 핵심은 입력 문제를 해결하기 전에 입력과 관련된 "유사한" 문제를 탐색하는 것입니다.

마지막으로 솔루션을 즉시 사용하거나 유용한 계획을 위한 통찰력을 추출할 수 있습니다.

"사고 커뮤니케이션"은 LLM의 논리적 능력에 내재된 한계에 대한 새로운 아이디어를 제안하여 대형 모델이 "유추"를 사용하여 인간과 같은 문제를 해결할 수 있도록 하는 것으로 예상됩니다.

LLM 다단계 추론, 인간에게 패배

분명히 LLM은 프롬프트에 기반한 기본 추론에 능숙하지만 최적화 및 계획과 같은 복잡한 다단계 문제를 처리하는 데 여전히 어려움을 겪습니다.

반면 인간은 비슷한 경험에서 직관을 이끌어 새로운 문제를 해결합니다.

대형 모델이 이를 달성할 수 없는 것은 본질적인 한계 때문입니다

LLM의 지식은 전적으로 훈련 데이터의 패턴에서 나오며 언어나 개념을 실제로 이해할 수 없기 때문입니다. 따라서 통계 모델로서 복잡한 조합 일반화를 수행하기가 어렵습니다.

LLM은 체계적인 추론 능력이 부족하고 어려운 문제를 해결하기 위해 인간처럼 단계별로 추론할 수 없다는 점이 가장 중요합니다

또한, 대형 모델의 추론은 부분적이고 근시안적이기 때문에, 그래서 LLM이 최선의 해법을 찾기 어렵고, 추론의 일관성을 장기간 유지하기가 어렵습니다

요약하자면, 수학적 증명, 전략 기획, 논리적 추론에 있어서 대형 모델의 문제점은 다음과 같습니다. 주로 두 가지 핵심 요인에 기인할 수 있습니다.

- 이전 경험에서 얻은 통찰력을 재사용할 수 없음.

인간은 실천을 통해 재사용 가능한 지식과 직관을 축적하여 새로운 문제를 해결하는 데 도움을 줍니다. 이와 대조적으로 LLM은 각 문제에 "처음부터" 접근하며 이전 솔루션을 차용하지 않습니다.

다단계 추론의 복합 오류는 다단계 추론 중에 발생하는 오류를 의미합니다.

인간은 자신의 추론 체인을 모니터링하고 필요할 경우 초기 단계를 수정합니다. 그러나 추론 초기 단계에서 LLM이 저지른 실수는 후속 추론을 잘못된 방향으로 이끌기 때문에 증폭될 것입니다. 위의 약점은 LLM이 글로벌 최적화 또는 장기적인 계획이 필요한 복잡한 문제를 처리하는 것을 심각하게 방해합니다. .

연구원들은 이 문제에 대한 새로운 해결책, 즉 사고 전파

TP 프레임워크

유추적 사고를 통해 LLM이 인간처럼 추론할 수 있음을 제안했습니다.

연구자들에서는 처음부터 추론하는 것이 실패하는 것으로 보입니다. 유사한 문제를 해결하면서 얻은 통찰력을 재사용하고, 중간 추론 단계에서 오류가 누적됩니다.

그리고 "Thought Spread"는 입력 문제와 관련된 유사한 문제를 탐색하고 유사한 문제에 대한 솔루션에서 영감을 얻을 수 있습니다.

아래 그림은 '생각전파'(TP)와 기타 대표적인 기술을 비교한 것입니다. 입력 문제 p의 경우 IO, CoT 및 ToT는 모두 처음부터 추론하여 솔루션 s

에 도달해야 합니다. 특히 TP에는 세 단계가 포함됩니다.

1. 비슷한 질문을 하세요. LLM은 입력 질문과 유사한 프롬프트를 통해 유사한 질문 세트를 생성합니다. 이는 모델이 잠재적으로 관련이 있는 이전 경험을 검색하도록 안내합니다.

2. 유사한 문제 해결: LLM이 CoT와 같은 기존 프롬프트 기술을 통해 모든 유사한 문제를 해결하도록 하세요.

3. 요약 솔루션: 두 가지 방법이 있습니다. - 유사한 솔루션을 기반으로 입력 문제에 대한 새로운 솔루션을 직접 추론하고, 유사한 솔루션을 입력 문제 또는 전략과 비교하여 고급 계획을 도출합니다.

이런 방식으로 대규모 모델은 이전 경험과 휴리스틱을 활용할 수 있으며, 초기 추론은 유추적 솔루션과 교차 확인되어 해당 솔루션을 더욱 구체화할 수 있습니다.

언급할 가치가 있습니다. "생각 전파"는 아무 관련이 없습니다. 어떤 신속한 방법을 기반으로든 단일 문제 해결 단계를 수행할 수 있습니다

이 방법의 독특함은 LLM 유추 사고를 자극하여 복잡한 추론 과정을 안내한다는 것입니다

"생각하는 "소통"은 다음과 같습니다. LLM을 인간처럼 만들려면 실제 결과가 스스로 말해야 합니다.

중국과학원과 예일 연구원들은 3가지 과제로 평가했습니다.

- 최단 경로 추론: 글로벌 계획 및 검색이 필요한 그래프에서 노드 간 최적의 경로를 찾아야 합니다. 간단한 그래프에서도 표준 기술은 실패합니다.

- 문예 창작: 일관되고 창의적인 이야기를 만들어내는 것은 무한한 도전입니다. 높은 수준의 개요 프롬프트가 제공되면 LLM은 종종 일관성이나 논리를 잃습니다.

- LLM 에이전트 계획: 텍스트 환경과 상호 작용하는 LLM 에이전트는 장기 전략으로 어려움을 겪고 있습니다. 그들의 계획은 종종 "표류"하거나 주기에 갇히게 됩니다.

최단 경로 추론

최단 경로 추론 작업에서 기존 방법은 해결할 수 없는 문제에 직면합니다.

(a)의 그래프는 매우 간단하지만 추론은 0부터 시작하므로 이러한 방법은 LLM이 최적이 아닌 솔루션(b,c)을 찾거나 중간 노드(d)를 반복적으로 방문하도록 허용합니다. 추론 단계 오류가 누적되고 ToT(b)는 (a)의 문제를 해결하지 못합니다. 유사한 문제에 대한 해법을 바탕으로 TP(c)는 초기 차선해를 개선하여 최종적으로 최적해를 찾는다.

기준과 비교하여 TP의 최단 경로 작업 처리 성능이 12% 크게 향상되어 최적의 효과적인 최단 경로를 생성합니다.

또한 OLR(온라인 재작성) 값이 가장 낮기 때문에 생성된 유효 경로(TP)가 기준선과 비교하여 최적 경로에 가장 가깝습니다.

또한 연구진은 다음과 같은 작업도 수행했습니다. 최단 경로 작업의 복잡성과 성능에 대한 여러 추가 연구가 수행되었습니다

다른 설정에서 레이어 1 TP의 토큰 비용은 ToT와 유사합니다. 그러나 레이어 1 TP는 최적의 최단 경로를 찾는 데 있어 매우 경쟁력 있는 성능을 달성했습니다.

또한 레이어 0 TP(IO)에 비해 레이어 1 TP의 성능 향상도 매우 중요합니다. 그림 5(a)는 레이어 2 TP의 토큰 비용 증가를 보여줍니다.

Creative Writing

아래 표 2는 GPT-3.5와 GPT-4에서 TP와 기준선의 성능을 보여줍니다. 일관성 측면에서 TP는 기준선을 초과합니다. 또한 사용자 연구에서 TP는 창의적인 글쓰기에 대한 인간의 선호도를 13% 증가시켰습니다.

LLM 에이전트 계획

세 번째 작업 평가에서 연구원들은 ALFWorld 게임 제품군을 사용하여 134개 환경에서 LLM 에이전트 계획 작업을 인스턴스화했습니다.

TP는 LLM 에이전트 계획에서 작업 완료율을 15% 높입니다. 이는 유사한 작업을 완료할 때 성공적인 계획을 위한 반사적 TP의 우수성을 보여줍니다.

위의 실험 결과에 따르면 "사고 전파"가 다양한 추론 작업에 적용될 수 있으며 모든 작업에서 잘 수행되는 것으로 나타났습니다.

LLM 추론 향상의 핵심

"생각 "전파" 모델은 복잡한 LLM 추론을 위한 새로운 기술을 제공합니다.

유추적 사고는 인간의 문제 해결 능력의 표시이며, 보다 효율적인 검색 및 오류 수정과 같은 일련의 체계적인 이점을 가져올 수 있습니다.

유사한 상황에서 LLM은 또한 더 나은 극복을 위해 유추적 사고를 촉진할 수 있습니다. 재사용 가능한 지식 부족, 계단식 로컬 오류 등과 같은 자체 약점.

그러나 이러한 결과에는 몇 가지 제한 사항이 있습니다.

유용한 유추 질문을 생성하고 추론 경로를 간단하고 쉽지 않게 유지하세요. 또한 더 긴 체인으로 연결된 유추 추론 경로는 길어지고 따라가기가 어려울 수 있습니다. 동시에 다단계 추론 체인을 제어하고 조정하는 것도 꽤 어려운 작업입니다

그러나 "사고 전파"는 여전히 LLM의 추론 결함을 창의적으로 해결함으로써 우리에게 흥미로운 방법을 제공합니다.

추가 개발을 통해 유추적 사고는 LLM의 추론 능력을 더욱 강력하게 만들 수 있습니다. 이는 또한 대규모 언어 모델에서 인간 추론에 더 가까워진다는 목표를 달성할 수 있는 길을 제시합니다

저자 소개

란허(然)

국가대표 패턴인식 연구자입니다. 중국과학원 자동화 연구소 소속 중국과학원 연구실 교수이자 IAPR 펠로우이자 IEEE 선임 회원이기도 합니다.

그는 이전에 다롄에서 학사 및 석사 학위를 받았습니다. 공과대학 및 2009년 중국과학원 자동화 연구소에서 박사 학위 취득

그의 연구 방향은 생체 인식 알고리즘(얼굴 인식 및 합성, 홍채 인식, 사람 재식별), 표현 학습(약한/자기 활용)입니다. - 사전 훈련된 네트워크 지도 학습 또는 전이 학습), 생성 학습(생성 모델, 이미지 생성, 이미지 번역).

IEEE TPAMI, IEEE TIP, IEEE TIFS, IEEE TNN, IEEE TCSVT 등 유명 국제 저널과 CVPR, ICCV, ECCV, NeurIPS 등 Conference

IEEE TIP, IEEE TBIOM, Pattern Recognition의 편집위원이며, CVPR, ECCV, NeurIPS, ICML 등 국제회의의 지역위원장을 역임하기도 했습니다. ICPR 및 IJCAI

유준치(俞junchi)

Yu Junchi는 중국 과학 아카데미 자동화 연구소의 4년차 박사 과정 학생입니다. 그의 지도교수는 Heran 교수입니다.

그는 이전에 Tencent 인공 지능 연구소에서 Tingyang Xu 박사, Yu 박사와 함께 일했습니다. Rong, Yatao Bian 박사, Junzhou Huang 교수가 함께 연구했습니다. 현재 그는 예일대학교 컴퓨터공학과에서 Rex Ying

교수 밑에서 공부하고 있습니다. 그의 목표는 해석성과 이식성이 뛰어난 신뢰할 수 있는 그래프 학습(TwGL) 방법을 개발하고 이를 응용하는 것입니다. 생화학 분야

위 내용은 GPT-4의 인간과 유사한 추론 능력이 대폭 향상되었습니다! 중국과학원은 '사고적 의사소통'을 제안했는데, 유추적 사고는 CoT를 넘어 즉시 적용 가능하다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!