Eine eingehende Analyse von Wissenskonflikten im RAG-Großmodell, gemeinsam veröffentlicht von der Tsinghua West Lake University in Hongkong und Chinesisch

Die AIxiv-Kolumne ist eine Kolumne, in der akademische und technische Inhalte auf dieser Website veröffentlicht werden. In den letzten Jahren sind in der AIxiv-Kolumne dieser Website mehr als 2.000 Berichte eingegangen, die Spitzenlabore großer Universitäten und Unternehmen auf der ganzen Welt abdecken und so den akademischen Austausch und die Verbreitung wirksam fördern. Wenn Sie hervorragende Arbeiten haben, die Sie teilen möchten, können Sie gerne einen Beitrag leisten oder uns für die Berichterstattung kontaktieren. E-Mail für die Einreichung: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

Die Autoren dieses Artikels sind Xu Rongwu, ein Masterstudent im zweiten Jahr, und Qi Zehan, ein Doktorand im ersten Jahr der School of Interdisciplinary Information , Tsinghua-Universität. Sie sind auch die Hauptautoren dieser Rezension.

Mit der rasanten Entwicklung der künstlichen Intelligenz und der Großmodelltechnologie ist Retrieval-Augmented Generation (RAG) zu einem wichtigen Paradigma für groß angelegte Sprachmodelle zur Textgenerierung geworden. Der Vertreter dieser Technologie – Retrieval-Augmented Large Language Model (RALM) – kann die abgerufenen Dokumentinformationen ohne zusätzliche Schulung direkt verwenden. Dieser Vorteil macht es in der Branche sehr beliebt, z als neue Bing-Suchmaschine.

Aber seit 2023 rücken die Probleme des RALM im Umgang mit Wissenskonflikten nach und nach in den Fokus der Forschung. Wissenskonflikte beeinträchtigen nicht nur die Leistung des Modells bei wissensintensiven Aufgaben erheblich, sondern machen es auch anfällig für Fehlinformationen und stellen somit eine Gefahr für die Sicherheit des Modells dar, insbesondere in Unternehmen, die strenge Anforderungen an die sachliche Genauigkeit der Anwendungsszenarien stellen . Wissenskonflikte äußern sich hauptsächlich in der Inkonsistenz zwischen dem parametrisierten Wissen innerhalb des Modells und den externen Kontextinformationen sowie in der internen Inkonsistenz der externen Kontextinformationen. Darüber hinaus beobachteten die Forscher auch Konflikte zwischen parametrisiertem Wissen innerhalb des Modells, also widersprüchliche Phänomene. Dies könnte darauf zurückzuführen sein, dass das Modell bereits in der Vortrainingsphase widersprüchliche Informationen gelernt hat.

Schauen wir uns ein konkretes Beispiel an:

Im obigen Beispiel akzeptiert das große Modell eine sachliche Frage: Welches Team hat die meisten Meisterschaften bei der Weltmeisterschaft gewonnen? Für dieses Problem kann ein RALM Dokumente im Internet und in einer Vektordatenbank abrufen und historische Gesprächsaufzeichnungen hinzufügen, die aus den vorherigen Eingabeaufforderungen des Benutzers bestehen und zusammen Kontextwissen bilden (Kontext, in der Abbildung oben gelb markiert (aus)). Gleichzeitig sah das große Modell während des Vortrainings auch Informationen zur Beantwortung dieser Frage. Diese Informationen stellen sein parametrisches Wissen dar, das auch als „Gedächtnis“ des Modells bezeichnet wird (parametrisches Wissen, Gedächtnis, in der obigen Abbildung blau dargestellt). farblich gekennzeichnet). Gemäß der Informationsquelle der beiden Konfliktparteien können wir sie durch „paarweise (Re-)Kombination“ in die folgenden drei Kategorien einteilen:

• Kontext-Speicher-Konflikt ist der Konflikt zwischen Kontext- und Parameterwissen. Beispiel 1: Das vom Modell durch Webabruf erworbene Wissen ist sofort verfügbar, aber das erlernte Wissen ist „veraltet“. Beispiel 2: Das Modell erhält falsche falsche Informationen, die im Widerspruch zum Parameterwissen stehen.

• Interkontextkonflikt ist der Konflikt innerhalb des Kontextwissens. Beispiel: Durch die Websuche sind die erhaltenen Informationen widersprüchlich, weil sie zu unterschiedlichen Zeitpunkten veröffentlicht wurden oder mit böswilligen Fehlinformationen vermischt sind.

• Intra-Memory-Konflikt ist ein Konflikt innerhalb parametrisierten Wissens. Beispiel: Bei sachlichen Fragen und Antworten wird das Modell dazu angeregt, bei semantisch identischen Eingabeaufforderungen Antworten mit unterschiedlichen Ergebnissen zu produzieren, was zu widersprüchlichen Effekten führt.

Die früheste Literatur zu Wissenskonflikten geht auf den Artikel von Longpre et al. in EMNLP 2021 zurück: Entity-based Knowledge Conflicts in Question Answering. Dieser Artikel konstruiert widersprüchliches Wissen in der Open-Domain-Fragenbeantwortung mithilfe der Methode der Ersetzung benannter Entitäten und bewertet das damalige Sprachmodell. Mit dem Aufkommen groß angelegter Sprachmodelle im Jahr 2023 und der weit verbreiteten Anwendung des RAG-Paradigmas in der Industrie hat das Forschungsinteresse an Wissenskonflikten allmählich zugenommen, da dadurch die Leistung des Modells bei Schlüsselaufgaben, insbesondere die Anforderungen an, erheblich verringert wird Authentizität.

Kürzlich haben Forscher der Tsinghua University, der Cambridge University, der Westlake University und der Chinese University of Hong Kong gemeinsam eine Übersicht veröffentlicht, um eine detaillierte Diskussion über drei verschiedene Arten von Wissenskonflikten unter drei Gesichtspunkten durchzuführen: Ursachen, Erscheinungsformen und Lösungen Leser können diese Herausforderung besser verstehen und darauf reagieren. Unserer Ansicht nach ist Wissenskonflikt sowohl eine Ursache für die nachgelagerte Leistung verschiedener Modelle als auch ein Effekt, der sich aus der natürlichen Komplexität des Wissens selbst und des Lernens von Modellwissen ergibt.

• Papieradresse: https://arxiv.org/abs/2403.08319

• Projektadresse: https://github.com/pillowsofwind/Knowledge-Conflicts-Survey

Diese Rezension:

1. Die erste systematische Zusammenfassung der Forschungsarbeit im Bereich Wissenskonflikte;

2. Umfassende Analyse der Konflikttypen, auf die drei große Modelle stoßen können, insbesondere Diskussion parametrisierter Wissenskonflikte

3 Wir haben nicht nur die Analyse jedes Konflikts besprochen, sondern ihn auch aus der Perspektive seines „Lebenszyklus“ untersucht. Erscheinungsformen und mögliche Lösungsstrategien von Konflikten.

Erforschung von Kontext-Gedächtnis-Konflikten: Ursachen, Erscheinungsformen und Lösungen

Ursachen

Der Kern von Kontext-Gedächtnis-Konflikten liegt im Unterschied zwischen Kontextinformationen und parametrisiertem Wissen. Die Ursachen dieses Konflikts lassen sich hauptsächlich in zwei Aspekte unterteilen: zeitliche Fehlausrichtung und Fehlinformationsverschmutzung.

1. Zeitliche Fehlausrichtung

Zeitliche Fehlausrichtung bedeutet, dass die vom Modell während des Trainingsprozesses verwendeten historischen Daten die aktuelle oder zukünftige Realität nicht genau widerspiegeln können. Dieses Phänomen tritt besonders deutlich bei großen Sprachmodellen zutage, da diese Modelle oft vorab auf großen Mengen statischer Daten trainiert werden, die in der Realität möglicherweise veraltet sind. Beispielsweise ist ein Artikel über die Olympischen Spiele 2020 im Jahr 2024 möglicherweise nicht mehr korrekt, das Modell verlässt sich jedoch möglicherweise immer noch auf diese veralteten Informationen, um Vorhersagen zu treffen und Fragen zu beantworten. Untersuchungen zeigen, dass die Leistung von Sprachmodellen mit der Zeit abnimmt. Die Art und Weise, wie Sprache verwendet wird, kulturelle Veränderungen und Wissensaktualisierungen wirken sich alle auf die Fähigkeit des Modells aus, aktuelle Informationen zu verarbeiten.

2. Fehlinformationsverschmutzung

Informationsverschmutzung bezieht sich auf externe Informationen, die mit falschen oder irreführenden Informationen vermischt sind. Diese ungenauen Daten beeinträchtigen das Urteilsvermögen und die Entscheidungsfähigkeit des Modells. Diese Situation kommt besonders häufig im Internetzeitalter vor, wo das Internet voller falscher Informationen, Gerüchte und absichtlich fabrizierter Fake News aller Art ist. Böswillige Benutzer können das Urteilsvermögen des Models beeinträchtigen, indem sie falsche Informationen im Netzwerk veröffentlichen. Ein böswilliger Angreifer könnte beispielsweise falsche medizinische Informationen in sozialen Medien veröffentlichen, um Models in die Irre zu führen, die sich bei ihrer Beurteilung auf diese Informationen verlassen. Informationsverschmutzung beeinträchtigt nicht nur die Genauigkeit des Modells, sondern untergräbt auch das Vertrauen der Benutzer in das Modell. Untersuchungen zeigen, dass böswillige Desinformation die Genauigkeit automatisierter Faktenprüfungssysteme und Open-Domain-Frage-Antwort-Systeme erheblich schwächen kann.

Leistung

Das Verhalten des Modells zeigt erhebliche Komplexität und Vielfalt, wenn es mit Kontext-Speicher-Konflikten konfrontiert wird. Es gibt zwei Ausdrucksformen:

1. Vertrauen auf parametrisiertes Wissen

Beim Umgang mit Konflikten zwischen Kontext und Gedächtnis neigen einige Modelle dazu, sich zu sehr auf ihr internes Parameterwissen zu verlassen und extern bereitgestellte Kontextinformationen zu ignorieren. Dieses Verhalten wurde in frühen ODQA-Studien (Open Domain Question Answering) nachgewiesen. Longpre et al. (2021) fanden heraus, dass QS-Modelle dazu neigen, sich auf Gedächtniswissen zu verlassen, wenn sie mit Konflikten zwischen Kontextinformationen und ihrem internen Wissen konfrontiert werden.

2. Vertrauen auf Kontextinformationen

Andererseits neigen einige Modelle dazu, externe Beweise zu akzeptieren, wenn sie damit konfrontiert werden, auch wenn die Beweise ihrem internen Gedächtnis widersprechen. Die Experimente von Chen et al. (2022) mit einem QS-Modell zeigten, dass das Modell tendenziell auf kontextuellem Wissen beruht, im Gegensatz zu den Ergebnissen von Longpre et al., die dadurch erklärt wurden, dass Longpre widersprüchliche Informationen zu einfach konstruierte. Kürzlich manipulierten Xie et al. (2023) große Modelle, um „logischere“ Konfliktkontexte zu erzeugen, und stellten fest, dass große Modelle eher dazu neigten, externen Beweisen zu vertrauen, selbst wenn die Beweise ihrem Parameterwissen widersprachen.

Lösungen

Um mit Kontext-Gedächtnis-Konflikten effektiv umzugehen, haben Forscher verschiedene Lösungen vorgeschlagen, die sich hauptsächlich in präventive Maßnahmen vor dem Auftreten des Konflikts (Pre-hoc-Strategien) und Reaktionsmaßnahmen nach dem Auftreten des Konflikts unterteilen . (Post-hoc-Strategien). Im Folgenden sind mehrere Hauptlösungen aufgeführt:

1. Vorbeugende Maßnahmen

• Weiteres Lernen: Reduzieren Sie die Auswirkungen von Zeitfehlern, indem Sie das Modell kontinuierlich vorab trainieren, um neue und aktualisierte Daten zu integrieren. Lazaridou et al. (2021) empfehlen beispielsweise, das interne Wissen des Modells durch kontinuierliches Vortraining zu aktualisieren, um mit den neuesten Informationen Schritt zu halten.

• Wissensbearbeitung: Aktualisieren Sie das Parameterwissen des trainierten Modells direkt, um die neuesten Informationen widerzuspiegeln. Beispielsweise haben De Cao et al. (2021) eine Wissensbearbeitungsmethode vorgeschlagen, die darauf abzielt, das interne Wissen des Modells direkt zu ändern, um fehlerhafte oder veraltete Informationen zu korrigieren. Ein Nachteil der Wissensbearbeitung besteht jedoch darin, dass sie zu internen Konflikten im Modell führen kann, d. h. zu dem später erwähnten speicherinternen Konflikt.

2. Gegenmaßnahmen

• Feinabstimmung: Durch die Einführung von Methoden wie Kontrafakten und irrelevantem Kontext wird die Fähigkeit des Modells zur Kontextkontrolle und Robustheit verbessert. Beispielsweise erhöht die von Li et al. (2022) vorgeschlagene wissensbewusste Feinabstimmungsmethode (KAFT) die Robustheit des Modells angesichts widersprüchlicher Informationen, indem sie kontrafaktische und irrelevante Kontexte in Standard-Trainingsdatensätze einführt.

• Prompting-Technologie (Prompting): Verbessern Sie die Kontextabhängigkeit des Modells durch speziell entwickelte Prompting-Strategien. Zhou et al. (2023) schlugen beispielsweise eine prägnante kontexttreue Eingabeaufforderungstechnik vor, die die Leistung des Modells bei kontextsensitiven Aufgaben erheblich verbesserte.

• Wissens-Plug-in: Speichern Sie aktualisiertes Wissen über Plug-in-Module, um sicherzustellen, dass das Originalmodell nicht beeinträchtigt wird. Beispielsweise verbessert die von Lee et al. (2022) vorgeschlagene Methode zur kontinuierlichen Aktualisierung der Qualitätssicherung die Fähigkeit des Modells zur Wissensaktualisierung durch Wissens-Plug-Ins, ohne seine ursprünglichen Parameter zu beeinträchtigen.

• Dekodierungstechnologie (Dekodierung): Durch die Anpassung der Dekodierungsstrategie wird die Wahrscheinlichkeit verringert, dass das Modell bei Wissenskonflikten Halluzinationen erzeugt. Beispielsweise priorisiert die von Shi et al. (2023) vorgeschlagene Methode der kontextbewussten Dekodierung kontextbezogene Informationen, indem sie den Unterschied in den Ausgabewahrscheinlichkeiten verstärkt, wodurch die Irreführung des Modells bei widersprüchlichen Informationen verringert wird.

Durch die Kombination dieser Präventiv- und Gegenmaßnahmen kann die Genauigkeit und Robustheit des Modells bei der Handhabung von Kontextspeicherkonflikten aus verschiedenen Blickwinkeln verbessert werden, wodurch die Leistung und Benutzererfahrung des Modells in praktischen Anwendungen verbessert wird.

Interkontextkonflikte erkunden: Ursachen, Erscheinungsformen und Lösungen

Ursache

Interkontextkonflikte beziehen sich auf den Widerspruch, der bei der Integration verschiedener externer Informationen auftritt, obwohl diese externen Informationen die Situation bereichern können Dies ist zwar keine Antwort auf das Weltmodell, kann aber auch zu Informationskonflikten zwischen Kontexten führen. Diese Art von Konflikt entsteht hauptsächlich, weil externe Informationen Fehlinformationen (Fehlinformationen) und veraltete Informationen (Veraltete Informationen) enthalten können.

1. Fehlinformationen

Die Retrieval Augmentation Generation (RAG)-Technologie verbessert die Antwortqualität großer Modelle durch die Integration externer Informationen. Beispielsweise können durch KI generierte Fake News oder irreführende Inhalte eingemischt werden, was zu Konflikten zwischen den abgerufenen Informationen führen kann. Wie das Modell mit diesen Konflikten umgeht, ist eine wichtige Herausforderung. Gelingt es nicht, diese Konflikte wirksam zu lösen, kann dies dazu führen, dass vom Modell ungenaue Inhalte generiert werden, was die Verbreitung falscher Informationen verschärft und die Informationen noch weiter verwirrend macht.

2. Veraltete Informationen

Mit der Zeit werden sich die Fakten ändern. Beim Abrufen externer Dateien können große Modelle auf Dokumente stoßen, die sowohl aktuelle als auch veraltete Informationen enthalten. Dieser zeitliche Informationsunterschied kann zu Konflikten zwischen Kontexten führen. Beispielsweise können Widersprüche zwischen den neuesten Entwicklungen und veralteten Informationen zu einem Ereignis die Genauigkeit der Antwort eines Modells beeinträchtigen. Veraltete Informationen machen nicht nur die Antworten des Modells ungenau, sondern können auch dazu führen, dass Benutzer das Vertrauen in das Modell verlieren.

Leistung

Bei kontextübergreifenden Konflikten zeigen große Modelle sowohl aus passiver als auch aus aktiver Sicht spezifische Verhaltensmerkmale:

1. Auswirkungen auf die Leistung

Fehler oder Veralterung von Informationen können die Leistung großer Modelle erheblich beeinträchtigen. Die Forschung von Chen et al. (2022) hat beispielsweise auch darauf hingewiesen, dass Modelle, die auf widersprüchliche Informationen stoßen, eher Informationen vertrauen, die direkt mit dem Problem und dem Parameterwissen innerhalb des Modells zusammenhängen. Pan et al. (2023a) fanden heraus, dass bestehende Sprachmodelle angesichts von Desinformationsangriffen schlecht abschnitten, indem sie gefälschte Wikipedia-Artikel in den echten Wikipedia-Korpus einfügten. Forschungen von Xie et al. (2023) haben außerdem gezeigt, dass große Modelle eine signifikante Präferenz für Beweise haben, die mit dem Modellparametergedächtnis übereinstimmen, insbesondere wenn diese Beweise gemeinsame Entitäten betreffen oder durch umfangreiche Dokumentation gestützt werden.

2. Erkennungsfähigkeit

Die Erkennung widersprüchlicher Informationen im Kontext ist ebenfalls eine wichtige Aufgabe. Li et al. (2023a) analysierten die Fähigkeit von GPT-4, PaLM-2 und Llama 2, widersprüchliche Dokumente in Nachrichten, Geschichten und Wikipedia-Artikeln zu erkennen, und die Ergebnisse zeigten eine niedrige durchschnittliche Erkennungsgenauigkeit. Untersuchungen von Wan et al. (2024) ergaben, dass sich bestehende Modelle bei der Bewertung der Glaubwürdigkeit von Dokumenten häufig stark auf abfragebezogene Dokumentinhalte stützen, aber Stilmerkmale ignorieren, die Menschen für wichtig halten, wie z. B. wissenschaftliche Zitate oder einen neutralen Ton. Jin et al. (2024a) fanden heraus, dass große Modelle Beweise bevorzugen, die am häufigsten im Kontext erscheinen, und eine klare Präferenz für externe Informationen zeigen, die mit ihrem internen Gedächtnis übereinstimmen.

Lösung

Um effektiv mit kontextübergreifenden Konflikten umzugehen, haben Forscher Lösungen aus verschiedenen Perspektiven vorgeschlagen. Diese Lösungen sind hauptsächlich in zwei Aspekte unterteilt: Konfliktbeseitigung und Verbesserung der Robustheit, Lösung interkontextbezogener Konflikte sowohl aus aktiver als auch aus Sicht passive Perspektiven.

1. Konflikte beseitigen

• Spezialisierte Modelle: Trainieren Sie gezielt ein Modell, um bestimmte Arten von Konflikten besser bewältigen zu können. Beispielsweise schlugen Pielka et al. (2022) vor, dem Lernprozess sprachliches Wissen hinzuzufügen und die Erkennung widersprüchlicher Informationen durch die Einführung grammatikalischer und semantischer Merkmale zu verbessern, um die Fähigkeit des Modells, Widersprüche zu erkennen, zu verbessern.

• Allgemeine Modelle: Verwenden Sie allgemeine Modelle, um die Konfliktbeseitigung abzuschließen. Chern et al. (2023) schlugen ein Framework zur Faktenprüfung vor, das mehrere Tools (wie Google Search, Google Scholar usw.) integriert, um sachliche Fehler in Texten zu erkennen. Dieser Ansatz stützt sich nicht nur auf das interne Wissen des Modells, sondern kombiniert auch extern abgerufene Informationen, um eine umfassendere Überprüfung der Fakten zu ermöglichen.

2. Verbesserung der Robustheit

• Trainingsansatz: Verbessern Sie die Robustheit des Modells bei widersprüchlichen Kontexten des Trainingsalgorithmus. Hong et al. (2023) schlugen eine neue Feinabstimmungsmethode vor, um die Robustheit des Modells durch gleichzeitiges Training von Diskriminator und Decoder zu verbessern. Diese Methode kann nicht nur die Stabilität des Modells angesichts widersprüchlicher Informationen verbessern, sondern auch seine Fähigkeit verbessern, mit komplexen Informationen umzugehen.

• Abfrageerweiterung: Verbessern Sie die Robustheit des Modells, indem Sie während der Inferenzphase weiteres externes Wissen einbringen. Weller et al. (2022) schlugen eine Technik zur Abfrageverbesserung vor, die GPT-3 dazu veranlasst, neue Fragen aus der ursprünglichen Abfrage zu extrahieren. Dadurch kann das Modell die Richtigkeit der Antwort aus mehreren Perspektiven überprüfen Reduzieren Sie Fehler aufgrund einer einzigen Informationsquelle. Dieser Ansatz verbessert nicht nur die Fähigkeit des Modells, auf widersprüchliche Informationen zu reagieren, sondern erhöht auch die Genauigkeit und Zuverlässigkeit seiner Antworten.

Interkontextkonflikte sind ein wichtiger Teil von Wissenskonflikten. Wie große Modelle mit widersprüchlichen Informationen umgehen, ist eine entscheidende Aufgabe. Durch die oben genannten Methoden kann die Genauigkeit und Robustheit des Modells beim Umgang mit kontextübergreifenden Konflikten aus verschiedenen Blickwinkeln verbessert werden.

Erforschung von Intra-Memory-Konflikten: Ursachen, Erscheinungsformen und Lösungen

Ursache

Intra-Memory-Konflikt bezieht sich auf das Modell, das inkonsistentes Verhalten zeigt, wenn Eingaben mit derselben Semantik, aber unterschiedlicher Syntax konfrontiert werden. Die Hauptgründe für diesen Konflikt können in die folgenden Aspekte unterteilt werden:

1. Verzerrung in den Trainingskorpora

Die Hauptphase des Wissenserwerbs von LLMs wird während der Vorschulung abgeschlossen, und diese Vorschulungsdaten wurden normalerweise aus der Schule gestrichen Internet. Diese Daten stammen aus einer Vielzahl von Quellen, darunter soziale Medien, Nachrichtenartikel, Enzyklopädien usw., und ihre Qualität ist unterschiedlich und kann ungenaue oder irreführende Informationen enthalten. Diese fehlerhaften Informationen werden vom Modell gespeichert und während der Inferenz verstärkt, was zu widersprüchlichem Wissen innerhalb des Modells führt, was zu mehreren widersprüchlichen Antworten führen kann, wenn das Modell relevante Fragen beantwortet. Gleichzeitig kodieren große Modelle häufig oberflächliche Korrelationen in Trainingsdaten, was dazu führt, dass das Modell Urteile auf der Grundlage oberflächlicher Störkorrelationen trifft. Aufgrund der Abhängigkeit von falschen Korrelationen können Modelle unterschiedliche Antworten geben, wenn sie auf Hinweise mit unterschiedlichen syntaktischen Strukturen, aber identischer Semantik stoßen.

2. Dekodierungsstrategie

Die Ausgabe des großen Modells wird durch Abtasten der Wahrscheinlichkeitsverteilung der möglichen nächsten Wörter erhalten. Verschiedene Stichprobenmethoden (z. B. Greedy Sampling, Top-P-Sampling, Top-K-Sampling usw.) führen zu Zufälligkeit im generierten Inhalt. Wenn beispielsweise Top-k-Sampling verwendet wird, wählt das Modell zufällig das nächste Wort aus den k Kandidatenwörtern mit der höchsten Wahrscheinlichkeit aus. Diese Zufälligkeit erhöht die Unsicherheit der Ausgabe, sodass dieselbe Eingabe zu unterschiedlichen Zeiten erhalten werden kann der Schlussfolgerung. Unterschiedliche Ergebnisse.

3. Wissensbearbeitung

Um das Wissen in großen Modellen effizient zu modifizieren, haben Forscher eine Technologie zur Wissensbearbeitung vorgeschlagen. Diese Techniken zielen darauf ab, kleine Wissensbereiche im Modell effizient zu modifizieren, ohne das gesamte Modell neu zu trainieren. Diese Bearbeitungsmethoden können es jedoch schwierig machen, die Konsistenz des Wissens sicherzustellen. Wenn beispielsweise eine Tatsache (z. B. die spezifischen Details einer wissenschaftlichen Entdeckung) durch Wissensbearbeitung geändert wird, aber nicht gleichzeitig das gesamte damit verbundene Wissen aktualisiert wird, kann dies dazu führen, dass das Modell bei unterschiedlichen Problemen inkonsistente Antworten liefert. Gleichzeitig kann das geänderte Wissen möglicherweise nicht effektiv in verschiedenen Situationen angewendet werden, was dazu führt, dass das Modell bei der Verarbeitung verschiedener Ausdrücke desselben Wissens inkonsistente Antworten liefert.

Leistung

Intra-Memory-Konflikte haben erhebliche Auswirkungen auf die Leistung großer Modelle, was sich hauptsächlich in den folgenden Aspekten widerspiegelt:

1. Selbstinkonsistenz (Selbstinkonsistenz)

Selbstinkonsistenz bedeutet, dass die vom Modell generierten Antworten inkonsistent sind, wenn semantisch äquivalente Fragen mit unterschiedlicher Syntax gestellt werden. Untersuchungen zeigen beispielsweise, dass selbst fortgeschrittene Modelle wie GPT-4 immer noch Inkonsistenzen bei 13 % der Antworten aufweisen, wenn es um Fragen des gesunden Menschenverstands geht. Das bedeutet, dass Benutzer, die dieselbe Frage stellen, sie aber anders formulieren, möglicherweise eine andere Antwort erhalten. Andererseits verlässt sich ein Modell beim Abrufen von Wissen möglicherweise eher auf oberflächliche Assoziationen von Wörtern in den Trainingsdaten als auf ein echtes Verständnis des Wissens. Beispielsweise könnte ein Modell bestimmte Wörter, die häufig gleichzeitig vorkommen, falsch zuordnen, was dazu führt, dass die generierten Antworten von den Erwartungen abweichen. Diese falsche Korrelation verschärft die Selbstinkonsistenz der Modellantworten noch weiter.

2. Latente Darstellung von Wissen

Die mehrschichtige Transformer-Architektur innerhalb des großen Modells führt dazu, dass unterschiedliche Wissensdarstellungen auf verschiedenen Ebenen gespeichert werden. Diese verstreute Wissensdarstellung führt dazu, dass das Modell das gespeicherte Wissen während des Generierungsprozesses nicht genau wiedergeben kann. Beispielsweise können flache Ebenen Informationen auf niedriger Ebene speichern, während tiefe Ebenen semantische Informationen speichern. Diese Streuung mehrschichtiger Darstellungen führt dazu, dass das Modell bei unterschiedlichen Problemen nicht in der Lage ist, unterschiedliche Wissensebenen zu koordinieren, was zu inkonsistenten Antworten führt.

3. Sprachübergreifende Inkonsistenz

Da große Modelle unterschiedliche Wissenssätze in verschiedenen Sprachen verwalten, führt dies zu sprachübergreifenden Konsistenzproblemen. Beispielsweise kann derselbe Sachverhalt in verschiedenen Sprachen unterschiedliche Antworten erhalten. Dieses Phänomen tritt besonders deutlich bei sprachübergreifenden Fragen und Antworten auf. Beispielsweise könnte ein auf Englisch trainiertes Modell eine genaue Antwort auf einen Sachverhalt haben, aber auf Spanisch eine andere Antwort geben.

Lösung

Für interne Gedächtniskonflikte haben Forscher verschiedene Lösungen vorgeschlagen, die sich hauptsächlich in die folgenden Kategorien einteilen lassen:

1. Verbesserung der Konsistenz

• Feinabstimmung): Durch Einführung des Konsistenzverlusts Durch die Kombination dieser Funktion mit dem Trainingsverlust des Standardsprachmodells wird eine Feinabstimmung durchgeführt, um die Wissenskonsistenz des Modells zu verbessern. Beispielsweise verwendeten Li et al. (2023) die vom Modell generierten Antworten, um es zu verifizieren, und wählten Antwortpaare mit höherer Konsistenz zur Feinabstimmung aus, um die Konsistenz der generierten Antworten weiter zu verbessern.

• Plug-in: Verbessern Sie die Konsistenz des Modells durch die Integrationsmethode der Moduleinfügung. Jang und Lukasiewicz (2023) schlugen beispielsweise vor, das Modell mithilfe der Wortbedeutungen im Wörterbuch zu trainieren, um das Verständnis der Symbolbedeutungen zu verbessern. Diese erweiterten Parameter werden dann mit denen des vorhandenen Sprachmodells zusammengeführt, um die Modellkonsistenz zu verbessern.

• Ausgabe-Ensemble: Erhalten Sie die korrekteste Antwort, indem Sie mehrere Ausgaben synthetisieren. Mitchell et al. (2022) schlugen diese Dual-Modell-Architektur vor, um die glaubwürdigste endgültige Antwort auszuwählen und Inkonsistenzen bei der Modellgenerierung zu reduzieren, indem die logische Konsistenz zwischen Antworten bewertet wird.

2. Verbesserung der Faktizität

Verbesserung der Authentizität der Modellantwort, wodurch das Auftreten von Inkonsistenzen im Modell selbst reduziert wird. Beispielsweise schlugen Li et al. (2023) eine Wissenserkennungsmethode vor, die faktische Fehler im Generierungsprozess reduziert, indem sie das in den Modellparametern enthaltene reale Wissen identifiziert und Aktivierungen entlang der mit diesem realen Wissen verbundenen Richtungen während der Inferenzphase anpasst.

Interne Gedächtniskonflikte sind eine wichtige Herausforderung in der LLM-Forschung, und die Lösung dieses Problems erfordert den Beginn mehrerer Phasen wie Training, Generierung und Nachbearbeitung. Obwohl aktuelle Lösungen dieses Problem bis zu einem gewissen Grad entschärfen konnten, gibt es noch viele Herausforderungen, die bewältigt werden müssen.

Diskussion 1: Wie soll das Modell auf Konflikte reagieren?

Idealerweise sollte ein Modell in der Lage sein, Konflikte zu erkennen und bei Wissenskonflikten klare Antworten zu geben. Allerdings hat die Forschung herausgefunden, dass bestehende Modelle bei der Identifizierung des Vorliegens von Konflikten eine bessere Leistung erbringen, es bestehen jedoch immer noch Herausforderungen bei der Identifizierung spezifischer Konfliktpassagen und der Generierung differenzierter Antworten. Andererseits sind einige Forscher der Meinung, dass wir die Aufgabe der „Bewältigung von Konflikten“ nicht vollständig der durch große Modelle repräsentierten KI überlassen, sondern diese Macht stattdessen in die Hände des Menschen legen sollten.

Diskussion 2: Aktuelle Herausforderungen und weitere Forschungsrichtungen

1. Wissenskonflikte in realen Umgebungen:

Die Forschung sollte sich auf Situationen konzentrieren, in denen Wissenskonflikte natürlicherweise in der realen Welt auftreten, beispielsweise direkt aus dem Netzwerk Dokumente in Retrieval Enhanced Language Models (RALMs) abrufen. Künstlich erzeugte Wissenskonflikte sollten minimiert werden, um praktische Anwendungen besser abzubilden.

2. Detailliertere Lösungen:

Es sind detailliertere Lösungen erforderlich, die die Art der Benutzeranfragen, Quellen widersprüchlicher Informationen und Benutzererwartungen berücksichtigen. Lösungen sollten auf verschiedene Arten von Konflikten zugeschnitten sein (z. B. Fehlinformationen, veraltete Informationen oder subjektive Probleme) und dabei die Breite des Problems und mögliche Lösungen berücksichtigen.

3. Nachgelagerte Aufgabenbewertung:

Zukünftige Forschung sollte über allgemeine Frage- und Antwortdatensätze hinausgehen, um die Auswirkungen von Wissenskonflikten auf ein breiteres Spektrum von Anwendungen zu bewerten. Dazu gehören Bereiche, die eine hohe Genauigkeit und Konsistenz erfordern, wie z. B. die Analyse von Rechtsdokumenten, medizinische Diagnostik, Finanzanalyse und Lehrmittel.

4. Wechselwirkungen zwischen Konflikten:

Es ist wichtig, die Wechselwirkungen zwischen verschiedenen Arten von Konflikten zu untersuchen, wie z. B. interne Gedächtniskonflikte und kontextuelle Gedächtniskonflikte. Das Verständnis dieser Beziehungen kann die Mechanismen der Wissensdarstellung und -verarbeitung in großen Modellen aufdecken und zur Entwicklung leistungsfähigerer Modelle führen.

5. Interpretierbarkeit:

Benötigt eine mikroskopischere Untersuchung der internen Mechanismen großer Modelle (wie Aufmerksamkeitsköpfe oder Neuronenaktivierung während eines Konflikts). Dies wird dazu beitragen, zu verstehen, wie Modelle Entscheidungen treffen, wenn sie auf Konflikte stoßen, und Konfliktlösungsmethoden wie Path Patching und Pruning zu entwickeln.

6. Mehrsprachigkeit:

Die Forschung sollte nicht-englische Hinweise und Wissenskonflikte zwischen den Sprachen untersuchen. Dazu gehören Wissenskonflikte in anderen Sprachen als Englisch sowie kontextbezogene Konflikte über mehrere Dokumente in verschiedenen Sprachen hinweg.

7. Multimodalität:

Mit der Entwicklung großer Modelle zur Handhabung mehrerer Formate (Text, Bild, Video, Audio) sollte sich die zukünftige Forschung auf Konflikte in multimodalen Umgebungen konzentrieren. Die Entwicklung fortschrittlicher LLMs, die in der Lage sind, modalübergreifende Überlegungen anzustellen und Konflikte über mehrere Datentypen hinweg zu lösen, ist erforderlich.

Das obige ist der detaillierte Inhalt vonEine eingehende Analyse von Wissenskonflikten im RAG-Großmodell, gemeinsam veröffentlicht von der Tsinghua West Lake University in Hongkong und Chinesisch. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!