새 제목: 대형 모델이 느린 이유 발견: 인간 정신 알고리즘의 새로운 방향

AI 연구자들은 종종 인간의 직관을 무시하지만 사실 우리 자신도 그 미묘함을 완전히 이해하지 못합니다. 최근 버지니아 공대와 마이크로소프트 연구팀은 LLM 성능을 보장할 뿐만 아니라 비용도 크게 절감하기 위해 직관적인 능력과 알고리즘 방법을 결합한 AoT(Algorithm of Thinking)를 제안했습니다.

대형 언어 모델 최근 개발 속도가 매우 빠릅니다. , 일반적인 문제 해결, 코드 생성 및 지침 따르기에서 놀라운 능력을 보여주었습니다.

초기 모델이 직접 답변 전략에 의존한 반면, 현재 연구는 문제를 하위 작업으로 분해하여 수행되는 선형 추론 경로로 이동했습니다. 솔루션을 찾거나 외부 메커니즘을 사용하여 컨텍스트를 수정하여 토큰 생성을 변경합니다.

인간의 인지와 유사하게 초기 LLM 전략은 충동적인 의사 결정이 특징인 즉각적인 시스템 1(신속한 반응)을 모방하는 것처럼 보였습니다. 대조적으로, CoT(생각의 사슬) 및 L2M(최소에서 최대까지 프롬프트)과 같은 새로운 방법은 시스템 2(느린 사고)의 내성적 특성을 반영합니다. LLM의 산술 추론 능력은 중간 추론 단계를 통합함으로써 향상될 수 있다는 점은 주목할 가치가 있습니다.

그러나 작업에 더 깊은 계획과 더 넓은 정신 탐구가 필요한 경우 이러한 방법의 한계가 분명해집니다. CoT-SC(CoT 통합 자체 일관성)는 여러 LLM 출력을 사용하여 합의 결과에 도달할 수 있지만 자세한 평가가 부족하면 모델이 잘못된 방향으로 이어질 수 있습니다. 2023년에 등장할 ToT(Tree of Thinking)가 주목할만한 솔루션이다. 하나의 LLM은 아이디어를 생성하는 데 사용되고 다른 LLM은 해당 아이디어의 장점을 평가하는 데 사용되며 이어서 "일시 중지-평가-계속" 주기가 이어집니다. 트리 검색을 기반으로 하는 이 반복 프로세스는 특히 오랫동안 지속되는 작업의 경우 확실히 효과적입니다. 연구원들은 이러한 개발이 인간이 자신의 작업 기억의 한계를 회피하기 위해 도구를 사용하는 방식과 유사하게 LLM을 향상시키기 위해 외부 도구를 사용하는 것이라고 믿습니다.

한편, 향상된 LLM 방법에도 몇 가지 단점이 있습니다. 분명한 문제는 쿼리 수와 계산 요구 사항이 크게 증가한다는 것입니다. GPT-4와 같은 온라인 LLM API에 대한 각 쿼리는 상당한 오버헤드를 발생시키고 지연 시간을 증가시킵니다. 이는 실시간 애플리케이션에 특히 중요합니다. 이러한 쿼리의 누적된 대기 시간은 시나리오의 전반적인 효율성을 감소시킬 수 있습니다. 인프라 측면에서 지속적인 상호 작용은 시스템에 스트레스를 가해 잠재적으로 대역폭을 제한하고 모델 가용성을 감소시킵니다. 또한 환경에 미치는 영향도 무시할 수 없습니다. 빈번한 쿼리는 이미 에너지 집약적인 데이터 센터의 에너지 소비를 증가시키고 탄소 배출량을 더욱 증가시킵니다

연구원의 최적화 목표는 현재 비용을 크게 줄이는 것입니다. 다중 쿼리 추론 방법에 사용되는 쿼리 수는 충분한 성능을 유지합니다. 이러한 최적화를 통해 모델은 세계 지식을 능숙하게 적용해야 하는 작업을 처리하고 사람들이 AI 리소스를 보다 책임감 있고 능숙하게 사용하도록 안내할 수 있습니다.

LLM이 시스템 1에서 시스템 2로 진화하는 과정을 생각해 보면 다음과 같은 핵심을 볼 수 있습니다. 등장한 요인은 바로 알고리즘입니다. 알고리즘은 체계적이며 사람들이 문제 공간을 탐색하고, 전략을 수립하고, 솔루션을 구축할 수 있는 방법을 제공합니다. 많은 주류 문헌에서는 알고리즘을 LLM의 외부 도구로 간주하지만 LLM의 고유한 생성 재발 능력을 고려하면 이 반복 논리를 안내하고 알고리즘을 LLM으로 내부화할 수 있습니까?

Virginia Tech와 Microsoft의 연구팀은 두 가지 측면을 융합하여 LLM 내 추론 능력을 향상시키는 것을 목표로 인간 추론의 정교함과 알고리즘 방법의 체계적 정확성을 결합했습니다.

기존 연구에 따르면, 인간은 복잡한 문제를 해결할 때 본능적으로 과거 경험을 활용하여 단일 세부 사항에만 집중하기보다는 전체론적으로 생각합니다. LLM의 생성 범위는 토큰 제한에 의해서만 제한되며 인간 작업 기억의 장애물을 돌파할 운명인 것 같습니다

이 관찰에 영감을 받아 연구자들은 LLM을 사용하여 유사한 계층적 방식을 달성할 수 있는지 탐구하기 시작했습니다. 실현 불가능한 옵션을 배제하기 위한 이전 중간 단계를 참조하여 모두 LLM의 생성 주기 내에서 수행됩니다. 인간은 직관에 능숙한 반면, 알고리즘은 조직적이고 체계적인 탐색에 능숙합니다. CoT와 같은 현재 기술은 이러한 시너지 효과를 피하고 LLM의 현장 정확성에 너무 중점을 두는 경향이 있습니다. 연구원들은 LLM의 재귀 기능을 활용하여 인간-알고리즘 하이브리드 접근 방식을 구축했습니다. 이 접근 방식은 초기 후보부터 입증된 솔루션까지 탐색의 본질을 포착하는 알고리즘 예제를 사용하여 달성됩니다

이러한 관찰을 바탕으로 연구자들은 생각의 알고리즘(AoT)을 제안했습니다.

다시 작성해야 하는 내용은 다음과 같습니다. 논문: https://arxiv.org/pdf/2308.10379.pdf

더 넓은 범위에서 이 새로운 방법은 상황별 학습의 새로운 패러다임이 탄생할 것으로 기대됩니다. [질문, 답변] 또는 [질문, 답변을 얻기 위한 후속 단계]의 기존 지도 학습 모델을 사용하는 대신 이 새로운 접근 방식은 새로운 모델 [질문, 검색 프로세스, 답변]을 채택합니다. 당연히 LLM이 알고리즘을 사용하도록 지시받을 때 일반적으로 LLM이 해당 알고리즘의 반복적 사고를 단순히 모방할 것으로 기대합니다. 그러나 흥미로운 점은 LLM이 자체적인 "직관"을 주입하여 알고리즘 자체보다 검색을 더 효율적으로 만드는 능력이 있다는 것입니다.

사고 알고리즘

연구원들은 연구 전략의 핵심은 현재 상황별 학습 패러다임의 주요 단점을 인식하는 것이라고 말합니다. CoT는 사고 연결의 일관성을 향상시킬 수 있지만 때때로 문제가 발생하여 잘못된 중간 단계로 이어집니다

이 현상을 설명하기 위해 연구자들은 실험을 설계했습니다. 산술 작업(예: 11 − 2 =)으로 text-davinci-003을 쿼리할 때 연구원은 동일한 출력(예: 15 − 5 = 10, 8 + 2 = 10)을 생성하는 여러 문맥 방정식을 앞에 추가합니다.

조사 결과 결과 정확도가 급락한 것으로 나타났습니다. 이는 단순히 상황에 맞게 올바른 추론을 제공하는 것이 LLM의 기본 산술 기술에 의도치 않게 해를 끼칠 수 있음을 시사합니다.

이러한 편견을 줄이려면 예제를 더 다양하게 만들어 보세요. 실행 가능한 솔루션일 수도 있지만 이로 인해 출력 분포가 약간 변경될 수 있습니다. 단순히 몇 가지 실패한 시도(예: 무작위 검색)를 추가하면 모델이 실제로 문제를 해결하지 않고 다시 시도하도록 부추길 수 있습니다. 알고리즘 동작(실패한 검색 및 후속 복구가 중요하고 이러한 시도로부터 학습하는 경우)의 실제 특성을 이해하는 연구자가 상황별 예를 통합하는 방법은 검색 알고리즘, 특히 깊이 우선 검색(DFS) 및 너비 우선 검색(BFS). 그림 1에 예가 나와 있습니다.

이 문서의 주요 초점은 트리 검색 문제와 유사한 작업 클래스입니다.

이러한 유형의 작업에서는 주요 문제를 세분화하고 각 부분에 대해 실행 가능한 솔루션을 구축해야 합니다. 그런 다음 특정 경로를 채택할지 포기할지 결정하고 더 큰 잠재력을 가진 경로를 재평가하도록 선택해야 합니다

연구원의 접근 방식은 LLM의 반복 기능을 활용하여 통합 생성 스캔 쿼리 질문을 해결하는 것입니다. 각 하위 집합. 하나 또는 두 개의 LLM 상호 작용으로 제한함으로써 접근 방식은 자연스럽게 이전 상황별 후보자의 통찰력을 통합하고 솔루션 영역에 대한 심층적인 탐색이 필요한 복잡한 문제를 해결할 수 있습니다. 연구원들은 또한 토큰 효율성을 향상시키기 위해 LLM에 제공할 마음의 크기와 상황별 예시 유형에 대한 통찰력을 제공합니다. 트리 검색 알고리즘의 주요 구성 요소와 새 프레임워크에서의 표현은 아래에 소개됩니다

1. 문제가 주어졌을 때, 실행 가능한 추론 경로를 설명하는 검색 트리를 구성하는 것은 실제 문제 해결 측면을 살펴보지 않고도 이미 어려운 작업입니다. 모든 분해에서는 하위 작업 간의 상호관계뿐 아니라 각 문제 해결의 용이성도 고려해야 합니다.

간단한 여러 자리 덧셈을 예로 들어 보겠습니다. 컴퓨터가 숫자 값을 이진수로 변환하는 것이 효율적이지만 인간은 일반적으로 십진수를 더 직관적으로 찾습니다. 또한 하위 문제가 동일하더라도 실행 방법이 다를 수 있습니다. 직관은 솔루션에 대한 단계 사이의 지름길을 찾을 수 있으며 직관이 없으면 더 자세한 단계가 필요할 수 있습니다.

올바른 프롬프트(예: 상황별 알고리즘 예)를 생성하려면 이러한 미묘함이 매우 중요하며 LLM이 안정적인 성능을 달성하는 데 필요한 최소 토큰 수를 결정합니다. 이는 LLM의 컨텍스트 제약 조건을 충족할 뿐만 아니라 비슷한 양의 토큰을 사용하여 컨텍스트와 공감하는 문제를 해결하는 LLM의 능력에도 중요합니다.

2. 하위 질문에 대한 해결책을 제안합니다. 현재 주류 방법 중 하나는 LLM 토큰 출력 확률을 직접 샘플링하는 것입니다. 이 방법은 일회성 답변(특정 제한 있음)에 효과적이지만 샘플 시퀀스를 후속 프롬프트에 통합하거나 후속 프롬프트에서 평가해야 하는 경우와 같은 일부 시나리오에도 대처할 수 없습니다. 모델 쿼리를 최소화하기 위해 연구원들은 논스톱 솔루션 생성 프로세스를 사용했습니다. 즉, 생성이 중단되지 않고 주요 하위 문제에 대한 솔루션을 직접적이고 지속적으로 생성합니다.

재작성된 내용: 이 방법에는 많은 장점이 있습니다. 첫째, 생성된 모든 답변은 동일한 공유 컨텍스트에 있으므로 평가를 위해 각 답변에 대해 별도의 모델 쿼리를 생성할 필요가 없습니다. 둘째, 처음에는 반직관적으로 보일 수 있지만 고립된 마커 또는 마커 그룹 확률이 항상 의미 있는 선택으로 이어지지는 않을 수 있습니다. 그림 4는 간단한 회로도를 보여줍니다

3. 위에서 언급했듯이 기존 기술은 추가 힌트를 사용하여 트리 노드의 잠재력을 식별하여 탐색 방향에 대한 결정을 내리는 데 도움을 줍니다. 우리의 관찰에 따르면 LLM은 상황에 맞는 사례에 캡슐화될 수 있는 경우 본질적으로 유망한 후보자를 우선시하는 경향이 있습니다. 이를 통해 복잡한 프롬프트 엔지니어링의 필요성이 줄어들고 직관적이든 지식 중심이든 정교한 경험적 방법을 통합할 수 있습니다. 마찬가지로, 새로운 방법에는 생성된 동일한 결과 내에서 후보 타당성을 즉시 평가할 수 있는 분리된 프롬프트가 포함되어 있지 않습니다.

4. 더 나은 노드로 되돌아갑니다. 다음에 탐색할 노드를 결정하는 것(이전 노드로의 역추적 포함)은 기본적으로 선택한 트리 검색 알고리즘에 따라 다릅니다. 이전 연구에서는 검색 프로세스를 위한 코딩 메커니즘과 같은 외부 방법을 사용했지만 이로 인해 광범위한 매력이 제한되고 추가적인 사용자 정의가 필요합니다. 본 논문에서 제안하는 새로운 디자인은 Pruning을 보완한 DFS 방식을 주로 채택하였다. 목표는 동일한 상위 노드가 있는 하위 노드 간의 근접성을 유지하여 LLM이 원격 기능보다 로컬 기능의 우선 순위를 지정하도록 하는 것입니다. 또한 연구진은 BFS 기반 AoT 방식의 성능 지표도 제안했다. 연구원들은 상황에 맞는 사례에서 통찰력을 수집하는 모델의 고유한 능력을 활용함으로써 추가적인 사용자 정의 메커니즘의 필요성을 제거할 수 있다고 말합니다.

실험

연구원들은 24점 및 5x5 미니 단어 게임에 대한 실험을 진행했습니다. 결과는 AoT 방법이 단일 프롬프트 방법(예: 표준 방법, CoT, CoT-SC)보다 성능이 우수하고 외부 메커니즘(예: ToT)을 사용하는 방법과도 비교할 수 있음을 명확하게 알 수 있습니다. LLM을 이용한 트리 탐색 방법은 CoT/CoT-SC

Mini Word Filling Task에서 AoT와 CoT의 효율성을 보여주는 표 3과 같다. 단어 채우기 성공률은 다양한 프롬프트 기술을 사용하여 이전 방법을 능가합니다

그러나 ToT보다 나쁩니다. 중요한 관찰은 ToT가 사용하는 쿼리 볼륨이 AoT의 쿼리 볼륨을 100배 이상 초과할 정도로 엄청나다는 것입니다. AoT가 ToT보다 열등하게 만드는 또 다른 요인은 알고리즘 예제에 내재된 역추적 기능이 완전히 활성화되지 않는다는 것입니다. 이 능력이 완전히 잠금 해제될 수 있다면 생성 단계가 상당히 길어질 것입니다. 이에 비해 ToT는 역추적을 위해 외부 메모리를 사용할 수 있다는 장점이 있습니다.

Discuss

AoT가 DFS를 모방하여 획기적인 발전을 이룰 수 있을까요?

그림 5에서 볼 수 있듯이 AoT는 DFS 버전보다 전체적으로 더 적은 수의 노드를 사용합니다. DFS는 탐색할 하위 트리를 선택할 때 통합 전략을 채택하는 반면, AoT의 LLM은 고유한 경험적 방법을 통합합니다. 기본 알고리즘의 이러한 증폭은 LLM의 재귀 추론 기능의 장점을 반영합니다

알고리즘의 선택이 AoT 성능에 어떤 영향을 미치나요?

실험에서 발견된 표 5는 단일 쿼리에 대해 세 가지 AoT 변종 모두 CoT보다 우수함을 보여줍니다.

이 결과는 알고리즘과 관계없이 검색하고 잠재적인 오류를 다시 살펴보기 때문에 예상한 대로입니다. 무작위 검색 변형의 무작위 시도를 통해 또는 깊이 우선 검색(DFS) 또는 너비 우선 검색(BFS) 구성의 역추적을 통해. AoT의 DFS 버전과 AoT의 BFS 버전 모두 구조화된 검색의 효율성이 AoT의 무작위 버전보다 우수하다는 점은 주목할 가치가 있으며, 이는 솔루션 검색에서 알고리즘 통찰력의 이점을 강조합니다. 그러나 AoT의 BFS 버전은 AoT의 DFS 버전보다 뒤떨어집니다. 연구원들은 AoT의 BFS 버전의 오류를 추가로 분석함으로써 DFS 버전의 AoT에 비해 BFS 버전의 AoT가 최상의 작업을 식별하기가 더 어렵다는 것을 발견했습니다

AoT의 동작을 조정할 때 다음이 필요합니다. 알고리즘 예시에 주목하세요. 검색 단계 수

는 그림 6에 총 검색 단계 수의 영향을 보여줍니다. 그중 AoT(긴)와 AoT(짧은)는 각각 원래 AoT 생성 결과에 비해 더 길고 짧은 버전을 나타냅니다.

연구 결과에 따르면 검색 단계는 LLM의 검색 속도에 암묵적인 편향을 생성하는 것으로 나타났습니다. . 잘못된 조치를 취하더라도 잠재력이 있는 방향을 탐색하는 것을 강조하는 것이 여전히 중요하다는 점에 유의하는 것이 중요합니다

위 내용은 새 제목: 대형 모델이 느린 이유 발견: 인간 정신 알고리즘의 새로운 방향의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!