suchen
HeimTechnologie-PeripheriegeräteKIVerwendung großer Modelle zur Schaffung eines neuen Paradigmas für das Textzusammenfassungstraining

1. Textaufgabe

Der Hauptinhalt dieses Artikels ist eine Diskussion über Methoden zur generativen Textzusammenfassung, wobei der Schwerpunkt auf dem neuesten Trainingsparadigma unter Verwendung von kontrastivem Lernen und großen Modellen liegt. Es handelt sich hauptsächlich um zwei Artikel: Der eine ist BRIO: Bringing Order to Abstractive Summarization (2022), der kontrastives Lernen verwendet, um Ranking-Aufgaben in generativen Modellen einzuführen, der andere ist On Learning to Summarize with Large Language Models as References (2023) in Based Auf BRIO werden weiterhin große Modelle eingeführt, um hochwertige Trainingsdaten zu generieren.

2. Methoden und Probleme beim Generative-Text-Zusammenfassungstraining

Beim Generative-Text-Zusammenfassungstraining wird im Allgemeinen die maximale Ähnlichkeitsschätzung verwendet. Zuerst wird ein Encoder verwendet, um das Dokument zu codieren, und dann wird ein Decoder verwendet, um jeden Text in der Zusammenfassung rekursiv vorherzusagen. Das passende Ziel ist eine künstlich erstellte zusammenfassende Standardantwort. Das Ziel, an jeder Position Text zu generieren, der der Standardantwort am nächsten kommt, wird durch eine Optimierungsfunktion dargestellt:

Verwendung großer Modelle zur Schaffung eines neuen Paradigmas für das Textzusammenfassungstraining

Das Problem bei diesem Ansatz besteht darin, dass das Training nicht mit den tatsächlichen nachgelagerten Aufgaben übereinstimmt. Für ein Dokument können mehrere Zusammenfassungen generiert werden, die von guter oder schlechter Qualität sein können. MLE verlangt, dass das Ziel der Anpassung die einzige Standardantwort sein darf. Diese Lücke erschwert es Textzusammenfassungsmodellen auch, die Vor- und Nachteile zweier Zusammenfassungen unterschiedlicher Qualität effektiv zu vergleichen. Beispielsweise wurde im BRIO-Artikel ein Experiment durchgeführt, das bei der Beurteilung der relativen Reihenfolge zweier Zusammenfassungen mit unterschiedlichen Qualitäten sehr schlechte Ergebnisse liefert.

Verwendung großer Modelle zur Schaffung eines neuen Paradigmas für das Textzusammenfassungstraining

3. Das generative Modell führt ordnendes kontrastives Lernen ein

Um die im traditionellen generativen Textzusammenfassungsmodell bestehenden Probleme zu lösen, schlug BRIO: Bringing Order to Abstractive Summarization (2022) vor, kontrastive Lernaufgaben weiter einzuführen in das generative Modell. Verbessern Sie die Fähigkeit des Modells, Zusammenfassungen unterschiedlicher Qualität einzustufen.

Verwendung großer Modelle zur Schaffung eines neuen Paradigmas für das Textzusammenfassungstraining

BRIO nutzt Multitasking-Training. Die erste Aufgabe verwendet die gleiche Methode wie herkömmliche generative Modelle, d. h. die Anpassung von Standardantworten durch MLE. Die zweite Aufgabe ist eine kontrastive Lernaufgabe, bei der ein vorab trainiertes Textzusammenfassungsmodell die Strahlsuche verwendet, um zwei verschiedene Ergebnisse zu generieren, und ROUGE verwendet wird, um zu bewerten, welches der beiden generierten Ergebnisse besser ist, und die Standardantwort, um zu bestimmen, welches davon besser ist zwei Sortierung der Abstracts. Die beiden Zusammenfassungsergebnisse werden in den Decoder eingegeben, um die Wahrscheinlichkeiten der beiden Zusammenfassungen zu erhalten. Durch vergleichenden Lernverlust kann das Modell qualitativ hochwertigen Zusammenfassungen höhere Bewertungen verleihen. Die Berechnungsmethode für diesen Teil des vergleichenden Lernverlusts lautet wie folgt:

Verwendung großer Modelle zur Schaffung eines neuen Paradigmas für das Textzusammenfassungstraining

Verwendung großer Modelle zur Schaffung eines neuen Paradigmas für das Textzusammenfassungstraining

4. Textzusammenfassung zur Optimierung großer Modelle

Es wurde festgestellt, dass die Qualität von Zusammenfassungen, die mit großen Modellen wie z GPT ist sogar besser als manuell generierte, daher erfreuen sich solche großen Modelle immer größerer Beliebtheit. In diesem Fall begrenzt die Verwendung künstlich generierter Standardantworten die Obergrenze der Modelleffektivität. Daher schlägt On Learning to Summarize with Large Language Models as References (2023) vor, große Modelle wie GPT zu verwenden, um Trainingsdaten zu generieren, um das Lernen zusammenfassender Modelle zu steuern.

Dieser Artikel schlägt drei Möglichkeiten vor, große Modelle zum Generieren von Trainingsbeispielen zu verwenden.

Die erste besteht darin, die vom großen Modell generierte Zusammenfassung direkt zu verwenden, um die manuell generierte Zusammenfassung zu ersetzen. Dies entspricht der direkten Anpassung der Zusammenfassungsgenerierungsfähigkeit des großen Modells an das Downstream-Modell. Die Trainingsmethode ist immer noch MLE.

Die zweite Methode ist GPTScore, die hauptsächlich ein vorab trainiertes großes Modell verwendet, um die generierte Zusammenfassung zu bewerten, diese Bewertung als Grundlage für die Bewertung der Qualität der Zusammenfassung verwendet und dann eine BRIO-ähnliche Methode für vergleichendes Lerntraining verwendet. GPTScore ist eine in Gptscore: Evaluate as you want (2023) vorgeschlagene Methode zur Bewertung der Qualität von generiertem Text auf der Grundlage eines großen Modells.

Verwendung großer Modelle zur Schaffung eines neuen Paradigmas für das Textzusammenfassungstraining

Die dritte Methode ist GPTRank. Diese Methode ermöglicht es dem großen Modell, jede Zusammenfassung zu sortieren, anstatt sie direkt zu bewerten, und ermöglicht es dem großen Modell, die Sortierlogik zu erklären, um vernünftigere Sortierergebnisse zu erhalten.

Verwendung großer Modelle zur Schaffung eines neuen Paradigmas für das Textzusammenfassungstraining

5. Zusammenfassung

Die Fähigkeit großer Modelle zur Erstellung von Zusammenfassungen wird immer mehr anerkannt. Daher wird die Verwendung großer Modelle als Generator für zusammenfassende Modellanpassungsziele als Ersatz für manuelle Anmerkungsergebnisse zu einem zukünftigen Entwicklungstrend werden. Gleichzeitig ermöglicht die Verwendung von Ranking-Vergleichslernen zum Trainieren der Zusammenfassungsgenerierung, dass das Zusammenfassungsmodell die Qualität der Zusammenfassung wahrnimmt und die ursprüngliche Punktanpassung übertrifft, was auch für die Verbesserung der Wirkung des Zusammenfassungsmodells von entscheidender Bedeutung ist.

Das obige ist der detaillierte Inhalt vonVerwendung großer Modelle zur Schaffung eines neuen Paradigmas für das Textzusammenfassungstraining. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Dieser Artikel ist reproduziert unter:51CTO.COM. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen
Werkzeuganruf in LLMsWerkzeuganruf in LLMsApr 14, 2025 am 11:28 AM

Große Sprachmodelle (LLMs) sind immer beliebter, wobei die Tool-Calling-Funktion ihre Fähigkeiten über die einfache Textgenerierung hinaus erweitert hat. Jetzt können LLMs komplexe Automatisierungsaufgaben wie dynamische UI -Erstellung und autonomes A erledigen

Wie ADHS -Spiele, Gesundheitstools und KI -Chatbots die globale Gesundheit verändernWie ADHS -Spiele, Gesundheitstools und KI -Chatbots die globale Gesundheit verändernApr 14, 2025 am 11:27 AM

Kann ein Videospiel Angst erleichtern, Fokus aufbauen oder ein Kind mit ADHS unterstützen? Da die Herausforderungen im Gesundheitswesen weltweit steigen - insbesondere bei Jugendlichen - wenden sich Innovatoren einem unwahrscheinlichen Tool zu: Videospiele. Jetzt einer der größten Unterhaltungsindus der Welt

UN -Input zu KI: Gewinner, Verlierer und MöglichkeitenUN -Input zu KI: Gewinner, Verlierer und MöglichkeitenApr 14, 2025 am 11:25 AM

„Die Geschichte hat gezeigt, dass der technologische Fortschritt das Wirtschaftswachstum zwar nicht selbstverträglich macht, aber nicht eine gerechte Einkommensverteilung sicherstellt oder integrative menschliche Entwicklung fördert“, schreibt Rebeca Grynspan, Generalsekretärin von UNCTAD, in der Präambel.

Lernverhandlungsfähigkeiten über generative KILernverhandlungsfähigkeiten über generative KIApr 14, 2025 am 11:23 AM

Easy-Peasy, verwenden Sie generative KI als Ihren Verhandlungslehrer und Sparringspartner. Reden wir darüber. Diese Analyse eines innovativen KI -Durchbruch

Ted enthüllt von Openai, Google, Meta geht vor Gericht, Selfie mit mir selbstTed enthüllt von Openai, Google, Meta geht vor Gericht, Selfie mit mir selbstApr 14, 2025 am 11:22 AM

Die TED2025 -Konferenz, die in Vancouver stattfand, beendete gestern, dem 11. April, ihre 36. Ausgabe. Es enthielt 80 Redner aus mehr als 60 Ländern, darunter Sam Altman, Eric Schmidt und Palmer Luckey. Teds Thema "Humanity Ranagined" wurde maßgeschneidert gemacht

Joseph Stiglitz warnt vor der drohenden Ungleichheit inmitten der Monopolmacht der AIJoseph Stiglitz warnt vor der drohenden Ungleichheit inmitten der Monopolmacht der AIApr 14, 2025 am 11:21 AM

Joseph Stiglitz ist der renommierte Ökonom und Empfänger des Nobelpreises in Wirtschaftswissenschaften im Jahr 2001. Stiglitz setzt, dass KI bestehende Ungleichheiten und konsolidierte Macht in den Händen einiger dominanter Unternehmen verschlimmern kann, was letztendlich die Wirtschaft untergräbt

Was ist eine Graphendatenbank?Was ist eine Graphendatenbank?Apr 14, 2025 am 11:19 AM

Grafikdatenbanken: Datenmanagement durch Beziehungen revolutionieren Wenn sich die Daten erweitern und sich ihre Eigenschaften über verschiedene Bereiche hinweg entwickeln, entstehen Diagrammdatenbanken als transformative Lösungen für die Verwaltung miteinander verbundener Daten. Im Gegensatz zu traditioneller

LLM Routing: Strategien, Techniken und Python -ImplementierungLLM Routing: Strategien, Techniken und Python -ImplementierungApr 14, 2025 am 11:14 AM

LLM -Routing von großer Sprachmodell (LLM): Optimierung der Leistung durch intelligente Aufgabenverteilung Die sich schnell entwickelnde Landschaft von LLMs zeigt eine Vielzahl von Modellen mit jeweils einzigartigen Stärken und Schwächen. Einige zeichnen sich über kreative Inhalte aus

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
4 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
1 Monate vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

SublimeText3 Mac-Version

SublimeText3 Mac-Version

Codebearbeitungssoftware auf Gottesniveau (SublimeText3)

Sicherer Prüfungsbrowser

Sicherer Prüfungsbrowser

Safe Exam Browser ist eine sichere Browserumgebung für die sichere Teilnahme an Online-Prüfungen. Diese Software verwandelt jeden Computer in einen sicheren Arbeitsplatz. Es kontrolliert den Zugriff auf alle Dienstprogramme und verhindert, dass Schüler nicht autorisierte Ressourcen nutzen.

MantisBT

MantisBT

Mantis ist ein einfach zu implementierendes webbasiertes Tool zur Fehlerverfolgung, das die Fehlerverfolgung von Produkten unterstützen soll. Es erfordert PHP, MySQL und einen Webserver. Schauen Sie sich unsere Demo- und Hosting-Services an.

SecLists

SecLists

SecLists ist der ultimative Begleiter für Sicherheitstester. Dabei handelt es sich um eine Sammlung verschiedener Arten von Listen, die häufig bei Sicherheitsbewertungen verwendet werden, an einem Ort. SecLists trägt dazu bei, Sicherheitstests effizienter und produktiver zu gestalten, indem es bequem alle Listen bereitstellt, die ein Sicherheitstester benötigen könnte. Zu den Listentypen gehören Benutzernamen, Passwörter, URLs, Fuzzing-Payloads, Muster für vertrauliche Daten, Web-Shells und mehr. Der Tester kann dieses Repository einfach auf einen neuen Testcomputer übertragen und hat dann Zugriff auf alle Arten von Listen, die er benötigt.

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

Leistungsstarke integrierte PHP-Entwicklungsumgebung