두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.

작은 모델이 큰 문제를 해결할 수 있도록 서로 확인해보세요.

우리 모두 알고 있듯이 LLM은 강력하지만 복잡한 추론을 수행하는 능력은 충분히 강력하지 않습니다.

예를 들어 GSM8K 데이터 세트에서 Mistral-7B는 CoT(Chain of Thought)와 같은 기술을 사용해도 36.5%의 정확도만 달성할 수 있습니다. 미세 조정이 실제로 추론 기능을 효과적으로 향상시킬 수 있지만 대부분의 LLM은 GPT-4와 같은 보다 강력한 모델에서 추출되었거나 이러한 강력한 모델에 의해 합성되었을 수도 있는 미세 조정 데이터에 의존합니다.

동시에 연구원들은 추론 능력을 향상시키기 위해 더 나은 교사 LLM을 사용하는 보조적이지만 더 어려운 방법을 적극적으로 개발하고 있습니다.

더 나은 모델 없이 추론 능력을 향상시키기 위한 유망한 패러다임은 LLM 자체에 지식을 활용하는 것입니다. 예를 들어 RAP라는 방법은 자기 보상 피드백을 통해 LLM의 추론 성능을 반복적으로 향상시키는 자기 탐색 솔루션을 채택합니다. 불행하게도 연구 결과에 따르면 이 패러다임에는 두 가지 근본적인 문제가 있는 것으로 나타났습니다.

첫째, LLM은 추론을 수행할 때 솔루션 공간을 효과적으로 탐색하는 데 어려움을 겪는 경우가 많습니다. 이러한 자기 탐색적 접근 방식은 여러 번의 시도 후에도 낮은 품질의 추론 단계로 인해 솔루션 공간에 정체되는 경우가 많습니다.

둘째, 자체 탐색을 통해 고품질의 추론 단계를 찾았더라도 소규모 버전의 대형 언어 모델(SLM)에서는 어떤 추론 단계의 품질이 더 높은지 식별하고 최종 답변이 올바른지 판단하기 어렵습니다. 자기탐색을 효과적으로 지도하기 어렵게 만든다. 연구에 따르면 기본적인 정기 보상을 기반으로 한 자기 탐구는 무작위 추측보다 나을 것이 없는 결과를 낳습니다.

더 문제가 되는 것은 SLM(대형 언어 모델)의 작은 버전은 성능이 떨어지기 때문에 위의 두 가지 문제가 발생하기 쉽다는 것입니다. 예를 들어 GPT-4는 자체 최적화를 통해 출력 결과를 향상시킬 수 있지만 SLM에서는 이를 수행하기 어렵고 출력 결과의 품질을 저하시키는 원인이 될 수도 있습니다. 이는 신경 언어 모델의 대중화와 적용을 심각하게 방해할 것입니다.

이러한 문제에 대응하기 위해 Microsoft Research Asia와 Harvard University의 연구팀은 Self-play MuTuAl Reasoning, 줄여서 rStar를 제안했습니다. 간단히 말하면, 이 방법은 보통의 두 학생에게 시험지의 답안을 서로 확인하게 하고, 궁극적으로 최고의 학자들과도 경쟁할 수 있을 정도로 점수를 향상시키는 것과 비슷합니다. 팀은 rStar가 "미세 조정이나 더 나은 모델 없이도 SLM의 추론 기능을 향상시킨다"고 주장합니다.

• 논문 제목: Mutual Reasoning Makes Small LLMs Stronger Problem-Solvers

• 논문 주소: https://arxiv.org/pdf/2408.06195

• 코드 주소: https://github. com/zhentingqi/rStar (출시 예정)

Method

위의 문제를 해결하기 위해 rStar의 접근 방식은 그림 2와 같이 추론 프로세스를 솔루션 생성과 상호 검증의 두 부분으로 나누는 것입니다. .

첫 번째 퍼즐에서 팀은 다양한 추론 작업 공간을 철저하게 탐구하는 인간과 같은 풍부한 추론 활동 컬렉션을 소개합니다.

두 번째 문제의 경우, 신뢰할 수 없는 자체 평가에 의존하지 않도록 중간 단계를 평가할 수 있는 SLM용 보상 기능을 특별히 설계했습니다.

또한 팀은 MCTS 프로세스를 향상시키기 위해 또 다른 SLM을 판별자로 사용하여 판별자 SLM으로 각 궤적의 정확성을 상호 검증했습니다.

MCTS 롤아웃을 사용하여 추론 궤적을 직접 생성하세요

인간과 유사한 추론 작업의 풍부한 컬렉션입니다. MCTS 생성의 핵심은 트리 탐색의 범위를 정의하는 행동 공간에 있습니다. 대부분의 MCTS 기반 방법은 트리를 구축할 때 단일 작업 유형을 사용합니다. 예를 들어, RAP의 작업은 다음 하위 질문을 묻는 것이고, AlphaMath 및 MindStar의 작업은 다음 추론 단계를 생성하는 것입니다. 그러나 단일 작업 유형에 의존하면 우주 탐사가 제대로 이루어지지 않을 수 있습니다.

이 문제를 해결하기 위해 팀에서는 인간이 추론을 수행하는 방식을 검토했습니다. 사람들은 서로 다른 방식으로 문제를 해결합니다. 어떤 사람들은 문제를 하위 문제로 나누고, 다른 사람들은 문제를 직접 해결하고, 또 다른 사람들은 문제를 다른 관점에서 다시 표현합니다. 게다가 사람들은 현재 상태에 따라 자신의 방법을 조정하고 필요에 따라 다양한 행동을 선택할 것입니다.

인간의 추론 과정에서 영감을 받아 팀은 복잡한 추론 문제를 올바르게 해결하기 위해 SLM의 잠재력을 극대화하기 위해 5가지 유형의 작업이 포함된 더욱 풍부한 데이터 세트를 구축했습니다.

Aktion 1: Schlagen Sie einen Gedankenschritt vor. Für ein bestimmtes Problem führt diese Aktion dazu, dass LLM den nächsten Denkschritt basierend auf den vorhandenen Argumentationsschritten generiert.

Aktion 2: Schlagen Sie die restlichen Schritte vor. Diese Aktion ermöglicht, wie ein Standard-CoT, „schnelles Denken“, um einfache Probleme in nur wenigen Schritten zu lösen. Anhand der generierten Inferenzschritte kann das LLM direkt die verbleibenden Schritte generieren, bis die endgültige Antwort erhalten wird.

Aktion 3: Schlagen Sie die nächste Unterfrage und deren Antwort vor.

Aktion 4: Beantworten Sie diese Unterfrage noch einmal. Da Aktion 3 die entsprechende Unterfrage möglicherweise nicht richtig beantwortet, besteht die Aufgabe dieser Aktion darin, sie erneut zu beantworten.

Aktion 5: Formulieren Sie das Problem/Teilproblem neu. Dieser neue Schritt besteht darin, das Problem auf einfachere Weise neu zu formulieren. Konkret geht es hier darum, dass der LLM alle Bedingungen in der Problemstellung klar auflistet.

Die oben genannten fünf Aktionen definieren einen äußerst vielfältigen Aktionsraum {A1, A2, A3, A4, A5}.

Bei jedem Schritt i wählt MCTS eine Aktion a_i aus diesem Bereich aus. Diese Aktion a_i wird dann verwendet, um das LLM den nächsten Inferenzschritt s_i basierend auf dem aktuellen Zustand (d. h. der zuvor generierten Trajektorie x ⊕ s_1 ⊕ s_2 ⊕ ... ⊕ s_{i−1}) generieren zu lassen. Bitte beachten Sie, dass einige Aktionen in der richtigen Reihenfolge ausgeführt werden müssen. Abbildung 3 zeigt ein Beispiel.

Wie in Tabelle 1 gezeigt, spielt jede Aktion eine wichtige Rolle bei der Verbesserung der endgültigen Inferenzgenauigkeit.

• Belohnungsfunktion

Eine weitere Schlüsselkomponente von MCTS ist die Belohnungsfunktion, die den Wert jeder Aktion bewertet und einen Hinweis für die Erweiterung des Baums liefert. Für SLM hat das Team eine einfache, aber effektive Belohnungsfunktion entwickelt. Ihr von AlphaGo inspirierter Ansatz bewertet jeden Zwischenknoten anhand seines Beitrags zur endgültigen richtigen Antwort. Auf diese Weise erhalten Aktionen, die häufig zu richtigen Antworten führen, höhere Belohnungen und es ist wahrscheinlicher, dass sie in zukünftigen MCTS-Baumerweiterungen ausgewählt werden.

Hier wird der Belohnungswert der nach der Ausführung von Aktion a generierten Knoten s als Q (s, a) definiert. Zunächst wird allen unerforschten Knoten Q (s_i, a_i) = 0 zugewiesen, wodurch eine zufällige Baumerweiterung erreicht wird. Beim Erreichen des ersten Endknotens n_d wird ein Belohnungswert Q (s_d, a_d) basierend darauf berechnet, ob die richtige Antwort gegeben wird.

Dann wird dieser Score an jeden Zwischenknoten entlang der Trajektorie t = x ⊕ s_1 ⊕ s_2 ⊕ ... ⊕ s_d zurückpropagiert. Insbesondere wird für jedes s_i sein Q-Wert wie folgt aktualisiert: Q (s_i, a_i) = Q (s_i, a_i) + Q (s_d, a_d). Um Q(s_d, a_d) für einen Endknoten zu berechnen, ist der hier verwendete Belohnungswert die Wahrscheinlichkeit (Konfidenz) einer selbstkonsistenten Mehrheitsentscheidung.

• Verwenden Sie MCTS Rollout, um Lösungen zu generieren

Im Folgenden wird beschrieben, wie MCTS Argumentationspfade für Kandidaten generiert. Ausgehend vom anfänglichen Wurzelknoten s_0 werden verschiedene Suchvorgänge durchgeführt, darunter Auswahl, Erweiterung, Simulation und Backpropagation. Insbesondere verwendet die Simulation die Standard-Rollout-Strategie. Um eine genauere Belohnungsschätzung zu erhalten, führt das Team mehrere Rollouts durch. Um Exploration und Exploitation in Einklang zu bringen, verwenden sie die bekannte UCT (obere Konfidenzgrenze des Baums), um jeden Knoten auszuwählen. Die mathematische Form dieses Auswahlprozesses lautet:

wobei N (s, a) die Anzahl der Besuche von Knoten s in der vorherigen Iteration ist und N_parent (s) die Anzahl der Besuche des übergeordneten Knotens von s darstellt. Q (s, a) ist der geschätzte Belohnungswert, der während der Backpropagation aktualisiert wird. c ist eine Konstante, die Exploration und Ausbeutung in Einklang bringt.

Sobald die Suche einen Endknoten erreicht (bei dem es sich um einen Endzustand handeln oder eine vordefinierte maximale Baumtiefe d erreichen kann), kann eine Trajektorie von der Wurzel zum Endknoten ermittelt werden. Alle durch die Rollout-Iteration erhaltenen Trajektorien werden als Kandidatenlösungen gesammelt. Als nächstes müssen sie überprüft werden.

Auswahl von Inferenztrajektorien mithilfe von Kohärenz

Basierend auf allen gesammelten Trajektorien schlägt das Team vor, Inferenzkohärenz zur Auswahl von Antworten zu verwenden.

• Inferenzkohärenz durch Diskriminator-SLM erreichen

Wie in Abbildung 2 dargestellt, führte das Team zusätzlich zum Ziel-SLM auch einen Diskriminator-SLM ein, dessen Aufgabe darin besteht, für jeden Kandidaten ein externes, unbeaufsichtigtes Feedback zur Flugbahn bereitzustellen.

Insbesondere maskieren Sie für t = x ⊕ s_1 ⊕ s_2 ⊕ ... ⊕ s_d den Inferenzschritt beginnend bei einem zufällig ausgewählten Schritt i. Dann wird die vorherige Inferenztrajektorie t = x ⊕ s_1 ⊕ s_2 ⊕ ... ⊕ s_{i-1} dem Diskriminator-SLM als Aufforderung zur Verfügung gestellt, damit er die verbleibenden Schritte abschließen kann. Da die vorherigen i-1-Inferenzschritte als Hinweise verwendet werden, wird die Schwierigkeit verringert und es ist wahrscheinlicher, dass der Diskriminator-SLM die richtige Antwort gibt.

Abbildung 4 vergleicht, ob die Antwort der Diskriminator-SLM-Vervollständigung mit der ursprünglichen Flugbahn t übereinstimmt. Wenn beide konsistent sind, wird t als verifizierte Trajektorie betrachtet, die schließlich ausgewählt werden kann.

Die endgültige Flugbahn wird vom Ziel-SLM ausgewählt. Nachdem Sie die Inferenzkohärenz auf alle Kandidatentrajektorien angewendet haben, kehren Sie zum Ziel-SLM zurück und lassen Sie ihn die endgültige Trajektorie aus den verifizierten Trajektorien auswählen. Um den Endwert für jede Flugbahn zu berechnen, multiplizierte das Team seine Belohnung mit dem durch Rollout erhaltenen Vertrauenswert seines Endknotens. Als Lösung wird die Trajektorie mit der höchsten Endpunktzahl ausgewählt.

Experimente

Experimenteller Aufbau

rStar eignet sich für eine Vielzahl von LLM- und Inferenzaufgaben. Das Team bewertete 5 SLMs: Phi3-mini, LLaMA2-7B, Mistral-7B, LLaMA3-8B, LLaMA3-8B-Instruct.

Es werden 5 Denkaufgaben getestet, darunter 4 mathematische Aufgaben (GSM8K, GSM-Hard, MATH, SVAMP) und 1 Aufgabe mit gesundem Menschenverstand (StrategyQA).

Bitte besuchen Sie das Originalpapier für experimentelle Details.

Wichtige Ergebnisse

Das Team bewertete zunächst die Wirksamkeit von rStar anhand eines allgemeinen Inferenz-Benchmarks. Tabelle 2 vergleicht die Genauigkeit von rStar und anderen hochmodernen Methoden für verschiedene SLM- und Inferenzdatensätze. Um die Wirksamkeit des neuen Generators zu demonstrieren, stellt das Team auch die Genauigkeit von rStar (Generator @maj) ohne Diskriminator bereit und verwendet zur Überprüfung der Antwort nur Mehrheitsentscheidungen.

Das Team wies auf drei wichtige Ergebnisse hin:

1. SLMs mit rStar-Technologie sind besser in der Lage, Probleme zu lösen. Im GSM8K-Datensatz beträgt beispielsweise die Genauigkeit von LLaMA2-7B unter Verwendung von CoT mit wenigen Stichproben nur 12,51 %. Mit Hilfe von rStar stieg die Genauigkeit jedoch auf 63,91 %, was nahe an der durch Feinabstimmung erzielten Genauigkeit liegt, wie in Abbildung 1 dargestellt. Ebenso übertraf Mistral mit rStar sogar die optimierte Version von MetaMath um 4,18 %. Eine solche Verbesserung zeigt, dass SLM selbst bereits über starke Denkfähigkeiten verfügt, aber Anleitung benötigt, um die richtigen Antworten zu generieren und auszuwählen.

2.rStar kann die Inferenzgenauigkeit verschiedener SLMs, die für verschiedene Aufgaben bewertet wurden, stabil auf das aktuell beste Niveau verbessern. Im Vergleich dazu sind andere Vergleichsmethoden nicht in der Lage, bei allen vier Benchmarks eine durchgängig gute Leistung zu erzielen. Obwohl SC (Selbstkonsistenz) beispielsweise bei drei mathematischen Aufgaben gut ist, ist es bei der Lösung der logischen Denkaufgabe von StrategyQA nicht effektiv.

3. Auch ohne den neu vorgeschlagenen Diskriminator zur Überprüfung von Inferenztrajektorien funktioniert der neu vorgeschlagene MCTS-Generator immer noch gut bei der Verbesserung der Inferenzgenauigkeit von SLM. Im GSM8K-Datensatz ist beispielsweise die Genauigkeit von rStar (Generator @maj) 2,88 %–16,39 % höher als RAP, 10,60 %–38,37 % höher als ToT und 1,69 %–7,34 % höher als SC.

• Ergebnisse zu einem schwierigeren Mathematikdatensatz

Das Team bewertete rStar auch anhand eines schwierigeren Mathematikdatensatzes. Dafür wählten sie GSM-Hard- und MATH-Datensätze. Der Konvention ähnlicher Studien folgend, verwendeten sie MATH-500, eine Teilmenge repräsentativer Probleme aus dem MATH-Datensatz. Dies geschieht, um die Auswertungsgeschwindigkeit zu verbessern. Wie in den Tabellen 2 und 3 gezeigt, ist rStar in der Lage, die Inferenzgenauigkeit von SLM bei diesen schwierigen mathematischen Datensätzen deutlich zu verbessern.

Ablationsstudie

• Wirksamkeit verschiedener Rollouts

rStar nutzte die Rollout-Strategie, um eine MCTS-Baumerweiterung durchzuführen. Mehr Rollouts generieren mehr potenzielle Lösungsverläufe, erhöhen aber auch die Kosten für die Inferenz. Abbildung 5 vergleicht die Genauigkeit von SC, RAP und rStar bei verschiedenen Rollouts auf GSM8K.

Hier werden zwei wichtige Beobachtungen gemacht:

1. Selbst mit nur 2 Rollouts kann rStar die Inferenzgenauigkeit von SLM erheblich verbessern, was seine Wirksamkeit zeigt

2. Sowohl rStar als auch SC sind von Vorteil. während der RAP nach 4 Rollouts tendenziell gesättigt ist oder sogar abnimmt. Ein Grund dafür ist, dass der Einzeltyp-Aktionsraum von RAP die Effektivität der MCTS-Erkundung einschränkt.

• Wirksamkeit des MCTS-Generators

Das Team verglich die Wirksamkeit des MCTS-Generators mit drei anderen Generatoren. Wie in Tabelle 4 gezeigt, übertrifft der neu vorgeschlagene MCTS-Generator andere Generatoren auf ganzer Linie. Darüber hinaus wird die Wirksamkeit von auf SLM abgestimmten Belohnungsfunktionen demonstriert, da die Selbstbewertung die Genauigkeit neuer Generatoren verringert.

• Wirksamkeit des Diskriminators in einem Bewertungsexperiment.

Das erste Experiment besteht darin, die diskriminierende Methode mit Mehrheitsentscheidungs- und Selbstvalidierungsmethoden zu vergleichen. Die Ergebnisse sind in Tabelle 5 (links) dargestellt und es ist ersichtlich, dass die Vorteile der Diskriminierungsmethode sehr groß sind.

Das zweite Experiment besteht darin, die Auswirkungen verschiedener Diskriminatormodelle zu untersuchen. Die Ergebnisse sind in Tabelle 5 (rechts) dargestellt. Es ist ersichtlich, dass die Auswahl verschiedener Diskriminatormodelle normalerweise keinen Einfluss auf die Wirksamkeit der Inferenzkohärenzmethode zur Überprüfung der Antwort hat. Es ist erwähnenswert, dass sich die Leistung selbst bei Verwendung des leistungsstarken GPT-4 als Diskriminator nur geringfügig verbessert (von 91,13 % auf 92,57 %). Dies zeigt, dass die inferentielle Kohärenzmethode SLM effektiv zur Überprüfung von Antworten nutzen kann.

위 내용은 두 개의 작은 모델이 서로를 검증하고 큰 모델과 직접 비교할 수 있나요? Microsoft의 rStar는 CoT와 미세 조정도 사용하지 않습니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!