Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an

Texteinbettung (Worteinbettung) ist eine grundlegende Technologie im Bereich der Verarbeitung natürlicher Sprache (NLP). Sie kann Text dem semantischen Raum zuordnen und ihn in eine dichte Vektordarstellung umwandeln. Diese Methode wird häufig in verschiedenen NLP-Aufgaben eingesetzt, darunter Informationsabruf (IR), Beantwortung von Fragen, Berechnung der Textähnlichkeit und Empfehlungssysteme. Durch die Texteinbettung können wir die Bedeutung und Beziehung von Texten besser verstehen und dadurch die Effektivität von NLP-Aufgaben verbessern.

Im Bereich des Information Retrieval (IR) werden in der ersten Stufe des Retrievals üblicherweise Texteinbettungen zur Ähnlichkeitsberechnung verwendet. Es funktioniert, indem es einen kleinen Satz Kandidatendokumente in einem großen Korpus abruft und dann feinkörnige Berechnungen durchführt. Einbettungsbasierter Abruf ist auch ein wichtiger Bestandteil der Retrieval-Augmented Generation (RAG). Es ermöglicht großen Sprachmodellen (LLMs), auf dynamisches externes Wissen zuzugreifen, ohne Modellparameter zu ändern. Auf diese Weise kann das IR-System Texteinbettungen und externes Wissen besser nutzen, um die Abrufergebnisse zu verbessern.

Obwohl frühe Lernmethoden zur Texteinbettung wie word2vec und GloVe weit verbreitet sind, schränken ihre statischen Eigenschaften die Fähigkeit ein, umfangreiche Kontextinformationen in natürlicher Sprache zu erfassen. Mit dem Aufkommen vorab trainierter Sprachmodelle haben jedoch einige neue Methoden wie Sentence-BERT und SimCSE erhebliche Fortschritte bei NLI-Datensätzen (Natural Language Inference) erzielt, indem BERT so optimiert wurde, dass es Texteinbettungen lernt. Diese Methoden nutzen die kontextbewussten Fähigkeiten von BERT, um die Semantik und den Kontext von Text besser zu verstehen und dadurch die Qualität und Ausdruckskraft von Texteinbettungen zu verbessern. Durch die Kombination von Vortraining und Feinabstimmung können diese Methoden umfangreichere semantische Informationen aus großen Korpora für die Verarbeitung natürlicher Sprache lernen Schulung genutzt wurde. Sie werden zunächst anhand von Milliarden schwach überwachter Textpaare vorab trainiert und dann anhand mehrerer annotierter Datensätze verfeinert. Diese Strategie kann die Leistung der Texteinbettung effektiv verbessern.

Bestehende mehrstufige Methoden weisen noch zwei Mängel auf:

1 Der Aufbau einer komplexen mehrstufigen Trainingspipeline erfordert viel technische Arbeit, um eine große Anzahl von Korrelationspaaren zu verwalten.

2. Die Feinabstimmung basiert auf manuell erfassten Datensätzen, die häufig durch die Aufgabenvielfalt und die Sprachabdeckung eingeschränkt sind.

Die meisten Methoden verwenden Encoder im BERT-Stil und ignorieren den Trainingsfortschritt besserer LLM und verwandter Techniken.

Das Forschungsteam von Microsoft hat kürzlich eine einfache und effiziente Trainingsmethode zur Texteinbettung vorgeschlagen, um einige der Mängel früherer Methoden zu überwinden. Dieser Ansatz erfordert keine komplexen Pipeline-Designs oder manuell erstellten Datensätze, sondern nutzt LLM, um verschiedene Textdaten zu synthetisieren. Mit diesem Ansatz konnten sie hochwertige Texteinbettungen für Hunderttausende Texteinbettungsaufgaben in fast 100 Sprachen generieren, während der gesamte Trainingsprozess weniger als 1.000 Schritte umfasste.

Link zum Papier: https://arxiv.org/abs/2401.00368

Konkret verwendeten die Forscher eine zweistufige Aufforderungsstrategie, indem sie zuerst den LLM-Brainstorming-Kandidaten-Aufgabenpool aufforderten und dann Aufforderung LLM generiert Daten für eine bestimmte Aufgabe aus dem Pool.

Um verschiedene Anwendungsszenarien abzudecken, entwarfen die Forscher mehrere Eingabeaufforderungsvorlagen für jeden Aufgabentyp und kombinierten die von verschiedenen Vorlagen generierten Daten, um die Vielfalt zu erhöhen.

Experimentelle Ergebnisse belegen, dass Mistral-7B bei der Feinabstimmung „nur synthetischer Daten“ eine sehr wettbewerbsfähige Leistung bei den BEIR- und MTEB-Benchmarks erzielt; wenn die Feinabstimmung sowohl synthetischer als auch annotierter Daten hinzugefügt wird, wird eine Sota-Leistung erreicht.

Verwenden Sie große Modelle, um die Texteinbettung zu verbessern

1. Generierung synthetischer Daten

Die Verwendung modernster großer Sprachmodelle (LLM) wie GPT-4 zur Synthese von Daten gewinnt immer mehr an Bedeutung , was das Modell hinsichtlich Multitasking und Mehrsprachenfähigkeitsvielfalt verbessern kann, wodurch robustere Texteinbettungen trainiert werden können, die bei verschiedenen nachgelagerten Aufgaben (z. B. semantischer Abruf, Textähnlichkeitsberechnung, Clustering) eine gute Leistung erbringen.

Um vielfältige synthetische Daten zu generieren, schlugen die Forscher eine einfache Taxonomie vor, die zunächst Einbettungsaufgaben klassifiziert und dann für jeden Aufgabentyp unterschiedliche Eingabeaufforderungsvorlagen verwendet.

Asymmetrische Aufgaben

Umfasst Aufgaben, bei denen die Abfrage und das Dokument semantisch miteinander verbunden sind, sich aber nicht gegenseitig umschreiben.

Basierend auf der Länge der Abfrage und des Dokuments unterteilten die Forscher die asymmetrischen Aufgaben weiter in vier Unterkategorien: Short-Long-Matching (kurze Abfrage und langes Dokument, ein typisches Szenario in kommerziellen Suchmaschinen), Long-Short-Matching, kurz – Kurzes Spiel und langes langes Spiel.

Für jede Unterkategorie entwarfen die Forscher eine zweistufige Eingabeaufforderungsvorlage, bei der sie LLM zunächst dazu aufforderten, eine Aufgabenliste zu erstellen, und dann ein spezifisches Beispiel für die aufgabendefinierten Bedingungen generierten. Die Ausgabe von GPT-4 war größtenteils kohärent. Die Qualität ist sehr hoch.

In Vorversuchen versuchten die Forscher auch, mit einer einzigen Eingabeaufforderung Aufgabendefinitions- und Abfragedokumentpaare zu generieren, aber die Datenvielfalt war nicht so gut wie bei der oben erwähnten zweistufigen Methode.

Symmetrieaufgaben

umfassen hauptsächlich Abfragen und Dokumente mit ähnlicher Semantik, aber unterschiedlichen Oberflächenformen.

In diesem Artikel werden zwei Anwendungsszenarien untersucht: monolinguale semantische Textähnlichkeit (STS) und Bi-Text-Retrieval. Für jedes Szenario werden zwei verschiedene Eingabeaufforderungsvorlagen entworfen, die seit der Definition der Aufgabe an ihre spezifischen Ziele angepasst werden relativ einfach ist, kann der Brainstorming-Schritt weggelassen werden.

Um die Vielfalt der Eingabeaufforderungswörter weiter zu erhöhen und die Vielfalt der synthetischen Daten zu verbessern, haben die Forscher zu jeder Eingabeaufforderungstafel mehrere Platzhalter hinzugefügt und diese zur Laufzeit zufällig abgetastet. Beispielsweise steht „{query_length}“ für „Sampled from“. die Menge „{weniger als 5 Wörter, 5-10 Wörter, mindestens 10 Wörter}“.

Um mehrsprachige Daten zu generieren, haben Forscher den Wert von „{Sprache}“ aus der Sprachliste von XLM-R entnommen und dabei allen generierten Daten, die nicht dem vordefinierten JSON entsprechen, mehr Gewicht gegeben Das Format wird beim Parsen verworfen; Duplikate werden auch basierend auf der genauen Zeichenfolgenübereinstimmung entfernt.

2. Training

Verwenden Sie bei einem gegebenen Abfrage-Dokument-Paar zunächst die ursprüngliche Abfrage q+, um eine neue Anweisung q_inst zu generieren, wobei „{task_definition}“ ein Platzhalter zum Einbetten einer einsatzigen Beschreibung ist Aufgabensymbol.

Für die generierten synthetischen Daten wird die Ausgabe des Brainstorming-Schritts verwendet; für andere Datensätze, wie z. B. MS-MARCO, erstellen Forscher manuell Aufgabendefinitionen und wenden sie auf alle Abfragen im Datensatz an, ohne die Dateien zu ändern Beliebiges Befehlspräfix am Ende.

Auf diese Weise ist der Dokumentenindex vorgefertigt und die auszuführenden Aufgaben können angepasst werden, indem nur die Abfrageseite geändert wird.

Hängen Sie bei einem vorab trainierten LLM ein [EOS]-Token an das Ende der Abfrage und des Dokuments an und geben Sie es dann in das LLM ein, um die Abfrage- und Dokumenteinbettungen zu erhalten, indem Sie den [EOS]-Vektor der letzten Ebene abrufen.

Dann verwenden Sie den Standard-InfoNCE-Verlust, um den Verlust für Intra-Batch-Negative und Hard-Negative zu berechnen.

wobei ℕ die Menge aller Negative darstellt, zur Berechnung des Matching-Scores zwischen der Abfrage und dem Dokument verwendet wird, t ein Temperatur-Hyperparameter ist, der im Experiment auf 0,02 festgelegt wurde

Experimentergebnisse

Synthetische Datenstatistik

Die Forscher nutzten den Azure OpenAI-Dienst, um 500.000 Beispiele mit 150.000 eindeutigen Anweisungen zu generieren, von denen 25 % von GPT-3.5-Turbo und der Rest von GPT-4 generiert wurden , die insgesamt 180 Millionen Token verbrauchte.

Die Hauptsprache ist Englisch und deckt insgesamt 93 Sprachen ab. Für 75 ressourcenarme Sprachen gibt es durchschnittlich etwa 1.000 Beispiele pro Sprache.

In Bezug auf die Datenqualität stellten die Forscher fest, dass einige der Ergebnisse von GPT-3.5-Turbo nicht strikt den in der Eingabeaufforderungsvorlage angegebenen Richtlinien entsprachen, die Gesamtqualität jedoch dennoch akzeptabel und vorläufig war Experimente haben auch gezeigt, dass die Verwendung dieser Teilmenge von Daten Vorteile bietet.

Modellfeinabstimmung und -bewertung

Die Forscher nutzten den oben genannten Verlust, um den vorab trainierten Mistral-7B für eine Epoche zu optimieren, folgten der Trainingsmethode von RankLLaMA und verwendeten LoRA mit Rang 16 .

Um den GPU-Speicherbedarf weiter zu reduzieren, kommen Technologien wie Gradient Checkpointing, Mixed Precision Training und DeepSpeed ​​​​ZeRO-3 zum Einsatz.

In Bezug auf Trainingsdaten wurden sowohl generierte synthetische Daten als auch 13 öffentliche Datensätze verwendet, was nach der Stichprobe zu etwa 1,8 Millionen Beispielen führte.

Für einen fairen Vergleich mit einigen früheren Arbeiten berichten die Forscher auch über Ergebnisse, wenn die einzige Annotationsüberwachung der MS-MARCO-Kapitelranking-Datensatz ist, und bewerten das Modell auch anhand des MTEB-Benchmarks.

Hauptergebnisse

Wie Sie in der Tabelle unten sehen können, erreichte das im Artikel erhaltene Modell „E5mistral-7B + vollständige Daten“ die höchste durchschnittliche Punktzahl im MTEB-Benchmark, die 2,4 höher ist als das vorherige fortschrittlichstes Modell.

In der Einstellung „nur mit synthetischen Daten“ werden keine annotierten Daten für das Training verwendet, aber die Leistung ist immer noch sehr konkurrenzfähig.

Die Forscher verglichen auch mehrere kommerzielle Texteinbettungsmodelle, aber die mangelnde Transparenz und Dokumentation dieser Modelle verhinderte einen fairen Vergleich.

Aus den Ergebnissen des Abrufleistungsvergleichs auf dem BEIR-Benchmark geht jedoch hervor, dass das trainierte Modell dem aktuellen kommerziellen Modell weit überlegen ist.

Mehrsprachiger Abruf

Um die Mehrsprachigkeit des Modells zu bewerten, führten die Forscher eine Auswertung des MIRACL-Datensatzes durch, der von Menschen kommentierte Abfragen und Relevanzbeurteilungen in 18 Sprachen enthält.

Die Ergebnisse zeigen, dass das Modell mE5-large in ressourcenreichen Sprachen, insbesondere in Englisch, übertrifft und seine Leistung besser ist. Für ressourcenarme Sprachen ist das Modell jedoch immer noch nicht ideal im Vergleich zu mE5-base.

Die Forscher führen dies darauf zurück, dass Mistral-7B vorab hauptsächlich anhand englischer Daten trainiert wurde, eine Methode, mit der prädiktive mehrsprachige Modelle diese Lücke schließen können.

Das obige ist der detaillierte Inhalt vonKeine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!