suchen
HeimTechnologie-PeripheriegeräteKIKeine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an

Texteinbettung (Worteinbettung) ist eine grundlegende Technologie im Bereich der Verarbeitung natürlicher Sprache (NLP). Sie kann Text dem semantischen Raum zuordnen und ihn in eine dichte Vektordarstellung umwandeln. Diese Methode wird häufig in verschiedenen NLP-Aufgaben eingesetzt, darunter Informationsabruf (IR), Beantwortung von Fragen, Berechnung der Textähnlichkeit und Empfehlungssysteme. Durch die Texteinbettung können wir die Bedeutung und Beziehung von Texten besser verstehen und dadurch die Effektivität von NLP-Aufgaben verbessern.

Im Bereich des Information Retrieval (IR) werden in der ersten Stufe des Retrievals üblicherweise Texteinbettungen zur Ähnlichkeitsberechnung verwendet. Es funktioniert, indem es einen kleinen Satz Kandidatendokumente in einem großen Korpus abruft und dann feinkörnige Berechnungen durchführt. Einbettungsbasierter Abruf ist auch ein wichtiger Bestandteil der Retrieval-Augmented Generation (RAG). Es ermöglicht großen Sprachmodellen (LLMs), auf dynamisches externes Wissen zuzugreifen, ohne Modellparameter zu ändern. Auf diese Weise kann das IR-System Texteinbettungen und externes Wissen besser nutzen, um die Abrufergebnisse zu verbessern.

Obwohl frühe Lernmethoden zur Texteinbettung wie word2vec und GloVe weit verbreitet sind, schränken ihre statischen Eigenschaften die Fähigkeit ein, umfangreiche Kontextinformationen in natürlicher Sprache zu erfassen. Mit dem Aufkommen vorab trainierter Sprachmodelle haben jedoch einige neue Methoden wie Sentence-BERT und SimCSE erhebliche Fortschritte bei NLI-Datensätzen (Natural Language Inference) erzielt, indem BERT so optimiert wurde, dass es Texteinbettungen lernt. Diese Methoden nutzen die kontextbewussten Fähigkeiten von BERT, um die Semantik und den Kontext von Text besser zu verstehen und dadurch die Qualität und Ausdruckskraft von Texteinbettungen zu verbessern. Durch die Kombination von Vortraining und Feinabstimmung können diese Methoden umfangreichere semantische Informationen aus großen Korpora für die Verarbeitung natürlicher Sprache lernen Schulung genutzt wurde. Sie werden zunächst anhand von Milliarden schwach überwachter Textpaare vorab trainiert und dann anhand mehrerer annotierter Datensätze verfeinert. Diese Strategie kann die Leistung der Texteinbettung effektiv verbessern.

Bestehende mehrstufige Methoden weisen noch zwei Mängel auf:

1 Der Aufbau einer komplexen mehrstufigen Trainingspipeline erfordert viel technische Arbeit, um eine große Anzahl von Korrelationspaaren zu verwalten.

2. Die Feinabstimmung basiert auf manuell erfassten Datensätzen, die häufig durch die Aufgabenvielfalt und die Sprachabdeckung eingeschränkt sind.

Die meisten Methoden verwenden Encoder im BERT-Stil und ignorieren den Trainingsfortschritt besserer LLM und verwandter Techniken.

Das Forschungsteam von Microsoft hat kürzlich eine einfache und effiziente Trainingsmethode zur Texteinbettung vorgeschlagen, um einige der Mängel früherer Methoden zu überwinden. Dieser Ansatz erfordert keine komplexen Pipeline-Designs oder manuell erstellten Datensätze, sondern nutzt LLM, um verschiedene Textdaten zu synthetisieren. Mit diesem Ansatz konnten sie hochwertige Texteinbettungen für Hunderttausende Texteinbettungsaufgaben in fast 100 Sprachen generieren, während der gesamte Trainingsprozess weniger als 1.000 Schritte umfasste.

Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben anLink zum Papier: https://arxiv.org/abs/2401.00368

Konkret verwendeten die Forscher eine zweistufige Aufforderungsstrategie, indem sie zuerst den LLM-Brainstorming-Kandidaten-Aufgabenpool aufforderten und dann Aufforderung LLM generiert Daten für eine bestimmte Aufgabe aus dem Pool.

Um verschiedene Anwendungsszenarien abzudecken, entwarfen die Forscher mehrere Eingabeaufforderungsvorlagen für jeden Aufgabentyp und kombinierten die von verschiedenen Vorlagen generierten Daten, um die Vielfalt zu erhöhen.

Experimentelle Ergebnisse belegen, dass Mistral-7B bei der Feinabstimmung „nur synthetischer Daten“ eine sehr wettbewerbsfähige Leistung bei den BEIR- und MTEB-Benchmarks erzielt; wenn die Feinabstimmung sowohl synthetischer als auch annotierter Daten hinzugefügt wird, wird eine Sota-Leistung erreicht.

Verwenden Sie große Modelle, um die Texteinbettung zu verbessern

1. Generierung synthetischer Daten

Die Verwendung modernster großer Sprachmodelle (LLM) wie GPT-4 zur Synthese von Daten gewinnt immer mehr an Bedeutung , was das Modell hinsichtlich Multitasking und Mehrsprachenfähigkeitsvielfalt verbessern kann, wodurch robustere Texteinbettungen trainiert werden können, die bei verschiedenen nachgelagerten Aufgaben (z. B. semantischer Abruf, Textähnlichkeitsberechnung, Clustering) eine gute Leistung erbringen.

Um vielfältige synthetische Daten zu generieren, schlugen die Forscher eine einfache Taxonomie vor, die zunächst Einbettungsaufgaben klassifiziert und dann für jeden Aufgabentyp unterschiedliche Eingabeaufforderungsvorlagen verwendet.

Asymmetrische Aufgaben

Umfasst Aufgaben, bei denen die Abfrage und das Dokument semantisch miteinander verbunden sind, sich aber nicht gegenseitig umschreiben.

Basierend auf der Länge der Abfrage und des Dokuments unterteilten die Forscher die asymmetrischen Aufgaben weiter in vier Unterkategorien: Short-Long-Matching (kurze Abfrage und langes Dokument, ein typisches Szenario in kommerziellen Suchmaschinen), Long-Short-Matching, kurz – Kurzes Spiel und langes langes Spiel.

Für jede Unterkategorie entwarfen die Forscher eine zweistufige Eingabeaufforderungsvorlage, bei der sie LLM zunächst dazu aufforderten, eine Aufgabenliste zu erstellen, und dann ein spezifisches Beispiel für die aufgabendefinierten Bedingungen generierten. Die Ausgabe von GPT-4 war größtenteils kohärent. Die Qualität ist sehr hoch.

Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an

In Vorversuchen versuchten die Forscher auch, mit einer einzigen Eingabeaufforderung Aufgabendefinitions- und Abfragedokumentpaare zu generieren, aber die Datenvielfalt war nicht so gut wie bei der oben erwähnten zweistufigen Methode.

Symmetrieaufgaben

umfassen hauptsächlich Abfragen und Dokumente mit ähnlicher Semantik, aber unterschiedlichen Oberflächenformen.

In diesem Artikel werden zwei Anwendungsszenarien untersucht: monolinguale semantische Textähnlichkeit (STS) und Bi-Text-Retrieval. Für jedes Szenario werden zwei verschiedene Eingabeaufforderungsvorlagen entworfen, die seit der Definition der Aufgabe an ihre spezifischen Ziele angepasst werden relativ einfach ist, kann der Brainstorming-Schritt weggelassen werden.

Um die Vielfalt der Eingabeaufforderungswörter weiter zu erhöhen und die Vielfalt der synthetischen Daten zu verbessern, haben die Forscher zu jeder Eingabeaufforderungstafel mehrere Platzhalter hinzugefügt und diese zur Laufzeit zufällig abgetastet. Beispielsweise steht „{query_length}“ für „Sampled from“. die Menge „{weniger als 5 Wörter, 5-10 Wörter, mindestens 10 Wörter}“.

Um mehrsprachige Daten zu generieren, haben Forscher den Wert von „{Sprache}“ aus der Sprachliste von XLM-R entnommen und dabei allen generierten Daten, die nicht dem vordefinierten JSON entsprechen, mehr Gewicht gegeben Das Format wird beim Parsen verworfen; Duplikate werden auch basierend auf der genauen Zeichenfolgenübereinstimmung entfernt.

2. Training

Verwenden Sie bei einem gegebenen Abfrage-Dokument-Paar zunächst die ursprüngliche Abfrage q+, um eine neue Anweisung q_inst zu generieren, wobei „{task_definition}“ ein Platzhalter zum Einbetten einer einsatzigen Beschreibung ist Aufgabensymbol.

Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an

Für die generierten synthetischen Daten wird die Ausgabe des Brainstorming-Schritts verwendet; für andere Datensätze, wie z. B. MS-MARCO, erstellen Forscher manuell Aufgabendefinitionen und wenden sie auf alle Abfragen im Datensatz an, ohne die Dateien zu ändern Beliebiges Befehlspräfix am Ende.

Auf diese Weise ist der Dokumentenindex vorgefertigt und die auszuführenden Aufgaben können angepasst werden, indem nur die Abfrageseite geändert wird.

Hängen Sie bei einem vorab trainierten LLM ein [EOS]-Token an das Ende der Abfrage und des Dokuments an und geben Sie es dann in das LLM ein, um die Abfrage- und Dokumenteinbettungen zu erhalten, indem Sie den [EOS]-Vektor der letzten Ebene abrufen.

Dann verwenden Sie den Standard-InfoNCE-Verlust, um den Verlust für Intra-Batch-Negative und Hard-Negative zu berechnen.

Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an

wobei ℕ die Menge aller Negative darstellt, Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an zur Berechnung des Matching-Scores zwischen der Abfrage und dem Dokument verwendet wird, t ein Temperatur-Hyperparameter ist, der im Experiment auf 0,02 festgelegt wurde

Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an

Experimentergebnisse

Synthetische Datenstatistik

Die Forscher nutzten den Azure OpenAI-Dienst, um 500.000 Beispiele mit 150.000 eindeutigen Anweisungen zu generieren, von denen 25 % von GPT-3.5-Turbo und der Rest von GPT-4 generiert wurden , die insgesamt 180 Millionen Token verbrauchte.

Die Hauptsprache ist Englisch und deckt insgesamt 93 Sprachen ab. Für 75 ressourcenarme Sprachen gibt es durchschnittlich etwa 1.000 Beispiele pro Sprache.

Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an

In Bezug auf die Datenqualität stellten die Forscher fest, dass einige der Ergebnisse von GPT-3.5-Turbo nicht strikt den in der Eingabeaufforderungsvorlage angegebenen Richtlinien entsprachen, die Gesamtqualität jedoch dennoch akzeptabel und vorläufig war Experimente haben auch gezeigt, dass die Verwendung dieser Teilmenge von Daten Vorteile bietet.

Modellfeinabstimmung und -bewertung

Die Forscher nutzten den oben genannten Verlust, um den vorab trainierten Mistral-7B für eine Epoche zu optimieren, folgten der Trainingsmethode von RankLLaMA und verwendeten LoRA mit Rang 16 .

Um den GPU-Speicherbedarf weiter zu reduzieren, kommen Technologien wie Gradient Checkpointing, Mixed Precision Training und DeepSpeed ​​​​ZeRO-3 zum Einsatz.

In Bezug auf Trainingsdaten wurden sowohl generierte synthetische Daten als auch 13 öffentliche Datensätze verwendet, was nach der Stichprobe zu etwa 1,8 Millionen Beispielen führte.

Für einen fairen Vergleich mit einigen früheren Arbeiten berichten die Forscher auch über Ergebnisse, wenn die einzige Annotationsüberwachung der MS-MARCO-Kapitelranking-Datensatz ist, und bewerten das Modell auch anhand des MTEB-Benchmarks.

Hauptergebnisse

Wie Sie in der Tabelle unten sehen können, erreichte das im Artikel erhaltene Modell „E5mistral-7B + vollständige Daten“ die höchste durchschnittliche Punktzahl im MTEB-Benchmark, die 2,4 höher ist als das vorherige fortschrittlichstes Modell.

In der Einstellung „nur mit synthetischen Daten“ werden keine annotierten Daten für das Training verwendet, aber die Leistung ist immer noch sehr konkurrenzfähig.

Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an

Die Forscher verglichen auch mehrere kommerzielle Texteinbettungsmodelle, aber die mangelnde Transparenz und Dokumentation dieser Modelle verhinderte einen fairen Vergleich.

Aus den Ergebnissen des Abrufleistungsvergleichs auf dem BEIR-Benchmark geht jedoch hervor, dass das trainierte Modell dem aktuellen kommerziellen Modell weit überlegen ist.

Keine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an

Mehrsprachiger Abruf

Um die Mehrsprachigkeit des Modells zu bewerten, führten die Forscher eine Auswertung des MIRACL-Datensatzes durch, der von Menschen kommentierte Abfragen und Relevanzbeurteilungen in 18 Sprachen enthält.

Die Ergebnisse zeigen, dass das Modell mE5-large in ressourcenreichen Sprachen, insbesondere in Englisch, übertrifft und seine Leistung besser ist. Für ressourcenarme Sprachen ist das Modell jedoch immer noch nicht ideal im Vergleich zu mE5-base.

Die Forscher führen dies darauf zurück, dass Mistral-7B vorab hauptsächlich anhand englischer Daten trainiert wurde, eine Methode, mit der prädiktive mehrsprachige Modelle diese Lücke schließen können.

Das obige ist der detaillierte Inhalt vonKeine manuelle Anmerkung erforderlich! LLM unterstützt das Lernen der Texteinbettung: Unterstützt problemlos 100 Sprachen und passt sich Hunderttausenden nachgelagerten Aufgaben an. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!

Stellungnahme
Dieser Artikel ist reproduziert unter:51CTO.COM. Bei Verstößen wenden Sie sich bitte an admin@php.cn löschen
Was ist Denkdiagramm in der schnellen IngenieurwesenWas ist Denkdiagramm in der schnellen IngenieurwesenApr 13, 2025 am 11:53 AM

Einführung In prompt Engineering bezieht sich „Graph of Denk“ auf einen neuartigen Ansatz, der die Grafik Theorie verwendet, um die Argumentationsprozess von AI zu strukturieren und zu leiten. Im Gegensatz zu herkömmlichen Methoden, bei denen es sich häufig um lineare handelt

Optimieren Sie die E -Mail -Marketing Ihres Unternehmens mit Genai -AgentenOptimieren Sie die E -Mail -Marketing Ihres Unternehmens mit Genai -AgentenApr 13, 2025 am 11:44 AM

Einführung Glückwunsch! Sie führen ein erfolgreiches Geschäft. Über Ihre Webseiten, Social -Media -Kampagnen, Webinare, Konferenzen, kostenlose Ressourcen und andere Quellen sammeln Sie täglich 5000 E -Mail -IDs. Der nächste offensichtliche Schritt ist

Echtzeit-App-Leistungsüberwachung mit Apache PinotEchtzeit-App-Leistungsüberwachung mit Apache PinotApr 13, 2025 am 11:40 AM

Einführung In der heutigen schnelllebigen Softwareentwicklungsumgebung ist die Gewährleistung einer optimalen Anwendungsleistung von entscheidender Bedeutung. Die Überwachung von Echtzeitmetriken wie Antwortzeiten, Fehlerraten und Ressourcenauslastung kann die Hauptstufe unterstützen

Chatgpt trifft 1 Milliarde Benutzer? 'In nur wenigen Wochen verdoppelt', sagt OpenAI -CEOChatgpt trifft 1 Milliarde Benutzer? 'In nur wenigen Wochen verdoppelt', sagt OpenAI -CEOApr 13, 2025 am 11:23 AM

"Wie viele Benutzer haben Sie?" er stapte. "Ich denke, das letzte Mal, als wir sagten, wächst 500 Millionen wöchentliche Wirkstoffe, und es wächst sehr schnell", antwortete Altman. "Du hast mir gesagt, dass es sich in nur wenigen Wochen verdoppelt hat", fuhr Anderson fort. „Ich habe das Privat gesagt

Pixtral -12b: Mistral AIs erstes multimodales Modell - Analytics VidhyaPixtral -12b: Mistral AIs erstes multimodales Modell - Analytics VidhyaApr 13, 2025 am 11:20 AM

Einführung Mistral hat sein erstes multimodales Modell veröffentlicht, nämlich den Pixtral-12b-2409. Dieses Modell basiert auf dem 12 -Milliarden -Parameter von Mistral, NEMO 12b. Was unterscheidet dieses Modell? Es kann jetzt sowohl Bilder als auch Tex aufnehmen

Agentenrahmen für generative KI -Anwendungen - Analytics VidhyaAgentenrahmen für generative KI -Anwendungen - Analytics VidhyaApr 13, 2025 am 11:13 AM

Stellen Sie sich vor, Sie hätten einen AS-Assistenten mit KI, der nicht nur auf Ihre Abfragen reagiert, sondern auch autonom Informationen sammelt, Aufgaben ausführt und sogar mehrere Arten von Daten ausführt-Text, Bilder und Code. Klingt futuristisch? In diesem a

Anwendungen der Generativen KI im FinanzsektorAnwendungen der Generativen KI im FinanzsektorApr 13, 2025 am 11:12 AM

Einführung Die Finanzbranche ist der Eckpfeiler der Entwicklung eines Landes, da sie das Wirtschaftswachstum fördert, indem sie effiziente Transaktionen und Kreditverfügbarkeit erleichtert. Die Leichtigkeit, mit der Transaktionen auftreten und Krediten auftreten

Leitfaden für Online-Lernen und passiv-aggressive AlgorithmenLeitfaden für Online-Lernen und passiv-aggressive AlgorithmenApr 13, 2025 am 11:09 AM

Einführung Daten werden mit beispielloser Geschwindigkeit aus Quellen wie Social Media, Finanztransaktionen und E-Commerce-Plattformen generiert. Der Umgang mit diesem kontinuierlichen Informationsstrom ist eine Herausforderung, aber sie bietet eine

See all articles

Heiße KI -Werkzeuge

Undresser.AI Undress

Undresser.AI Undress

KI-gestützte App zum Erstellen realistischer Aktfotos

AI Clothes Remover

AI Clothes Remover

Online-KI-Tool zum Entfernen von Kleidung aus Fotos.

Undress AI Tool

Undress AI Tool

Ausziehbilder kostenlos

Clothoff.io

Clothoff.io

KI-Kleiderentferner

AI Hentai Generator

AI Hentai Generator

Erstellen Sie kostenlos Ai Hentai.

Heißer Artikel

R.E.P.O. Energiekristalle erklärten und was sie tun (gelber Kristall)
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Beste grafische Einstellungen
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. So reparieren Sie Audio, wenn Sie niemanden hören können
3 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌
WWE 2K25: Wie man alles in Myrise freischaltet
4 Wochen vorBy尊渡假赌尊渡假赌尊渡假赌

Heiße Werkzeuge

Herunterladen der Mac-Version des Atom-Editors

Herunterladen der Mac-Version des Atom-Editors

Der beliebteste Open-Source-Editor

ZendStudio 13.5.1 Mac

ZendStudio 13.5.1 Mac

Leistungsstarke integrierte PHP-Entwicklungsumgebung

SublimeText3 chinesische Version

SublimeText3 chinesische Version

Chinesische Version, sehr einfach zu bedienen

WebStorm-Mac-Version

WebStorm-Mac-Version

Nützliche JavaScript-Entwicklungstools

VSCode Windows 64-Bit-Download

VSCode Windows 64-Bit-Download

Ein kostenloser und leistungsstarker IDE-Editor von Microsoft