Datagemma: Grounding LLMs gegen Halluzinationen - Analytics Vidhya

Einführung

Große Sprachmodelle verändern die Branchen schnell-sie versetzen alles, vom personalisierten Kundendienst über Bankgeschäfte bis hin zu Echtzeit-Sprachübersetzung in der globalen Kommunikation. Sie können Fragen in der natürlichen Sprache beantworten, Informationen zusammenfassen, Essays schreiben, Code generieren und vieles mehr machen, wodurch sie in der heutigen Welt von unschätzbarem Wert werden. Trotz ihrer vielen Vorteile leiden sie unter einem kritischen Fehler, der als „Halluzination“ bekannt ist. Dies sind Fälle, in denen das Modell Informationen generiert, die anscheinend korrekt und realistisch zu sein scheint, aber entweder teilweise oder völlig falsch sind, vom Modell erfunden und in realen Daten keine Grundlage für die Erde fehlen. Um dies anzugehen, hat Google ein offenes Modell entwickelt, ein Tool namens DataGeMma, um LLMs mit realen Daten zu verbinden und ihre Antworten mit vertrauenswürdigen Quellen mithilfe von Googles Data Commons zu fakten.

Lernergebnisse

• Verstehen Sie die Grundlagen von Großsprachmodellen (LLMs) und deren Anwendungen.
• Erforschen Sie die Ursachen und Arten von Halluzinationen in LLMs.
• Erfahren Sie, wie die DataAGemma von Google LLM Halluzinationen mithilfe von Daten mit realer Welt angeht.
• Gewinnen Sie Einblicke in fortschrittliche Techniken wie Retrieval-Interleaved Generation (RIG) und RAGRIEVAL AUDERTED-Generation (RAG).
• Entdecken Sie, wie die Data Commons von Google die LLM -Faktengenauigkeit verbessert.

Dieser Artikel wurde als Teil des Data Science -Blogathons veröffentlicht.

Inhaltsverzeichnis

• Großsprachmodelle verstehen
• Verständnis der Architektur von Gemma
• Was sind Halluzinationen im Kontext von LLMs?
• Was ist DataGemma?
• RIG: Ein hybrider Ansatz zur Minimierung von LLM -Halluzinationen
• Abrufer Augmented Generation zur Minimierung von LLM -Halluzinationen
• Warum ist Datagemma wichtig?
• Häufig gestellte Fragen

Großsprachmodelle verstehen

Großsprachmodelle sind Grundlagenmodelle, die auf riesigen Mengen an Textdaten mit Parametern von Millionen bis zu Milliarden geschult sind und natürliche Sprache verstehen und generieren können. Sie basieren auf einer Transformatorarchitektur, die die Verarbeitung und Erzeugung natürlicher Sprache ermöglicht. Ein LLM-Modell kann für bestimmte Aufgaben in bestimmten Domänen mithilfe benutzerdefinierter Datensätze fein abgestimmt werden. Zum Beispiel kann ein LLM-Modell wie Bert von Cybersicherheitskorpora fein abgestimmt werden, um Bedrohungsinformationen mithilfe von LLMs zu automatisieren

Vergleich von Gemma, Gemini und Bert

Gemma	ZWILLINGE	Bert
Leichtes Modell für Entwickler	Größer und leistungsstärkere, gesprächige KI	Vorausgebildeter Modell für NLP-Aufgaben
Ideal für Anwendungen mit Ressourcenbeschränkungen wie Mobiltelefonen & Edge Computing	Ideal für komplexe Aufgaben ohne Ressourcenbeschränkungen wie groß angelegte Datenanalyse, komplexe KI-Anwendungen.	Ideal für Aufgaben wie Textklassifizierung, Beantwortung von Fragen, Stimmungsanalyse.
Einfach zu bereitstellen in begrenzten Ressourcenumgebungen	Häufig in Cloud -Umgebungen oder Rechenzentren mit reichlichen Ressourcen eingesetzt.	Bereitstellung sowohl lokaler als auch in Cloud-Umgebungen, aber größere Versionen (wie Bert-Large) erfordern erhebliche Rechenressourcen
Erfordert weniger Rechenressourcen	Benötigt oft mehr Rechenressourcen.	Kleinere Modelle wie Bert-Base können auf moderaten Hardware bereitgestellt werden, während größere Modelle wie Bert-Large möglicherweise mehr Ressourcen benötigen, aber immer noch weniger als Gemini.

Verständnis der Architektur von Gemma

Die Architektur von Gemma ist so konzipiert, dass sie nahtlos erweiterte Abruf- und Generationstechniken integriert werden, sodass das System intelligent auf externe Datenquellen zugreifen kann, während genaue, kohärente Antworten erzeugt werden, wodurch sie für verschiedene KI-gesteuerte Anwendungen hochwirksam ist.

Gemma basiert auf der Transformer Decoder Architecture:

Gemma und Gemma 2 (die neueste Version 2024) gehören zur Gemma -Familie von Googles LLM -Modellen. Sie können für maßgeschneiderte Aufgaben fein abgestimmt werden. Zum Beispiel: Codegemma-Modelle sind feine Gemma-Modelle für die Codebetastung.

Was sind Halluzinationen im Kontext von LLMs?

Halluzinationen in LLMs sind Fälle, in denen das Modell zuversichtlich Ausgang generiert, was ungenau, inkonsistent oder erfundene Informationen ist, es uns uns jedoch glaubwürdig erscheint. Das Modell halluziniert Inhalt und dieser Inhalt ist eigentlich nicht wahr. Zum Beispiel: In einem Gerichtsverfahren zitierten zwei Anwälte von ChatGPT bereitgestellte Quellen, die sich als falsch herausstellten.

KI -Halluzinationen können drei Arten sein

• Eingabe widersprüchliche Halluzinationen : Das Modell generiert eine Ausgabe, die von den vom Benutzer im Eingang bereitgestellten Informationen abweicht.
• Kontext widersprüchliche Halluzinationen: Hier erzeugt das Modell einen Ausgang, der den zuvor erzeugten Ausgängen widerspiegelt.
• Faktenkonflikting Halluzinationen: Das Modell erzeugt eine falsche/ungenaue Ausgabe, die dem Wissen oder Fakten realer Welt widerspricht.

Was verursacht Halluzinationen?

• Begrenzte Trainingsdaten : Wenn das Modell nicht gründlich geschult wurde oder nach begrenzten Daten geschult wurde, stößt es bei einer Aufforderung, die sich von den Trainingsdaten unterscheidet, obwohl es die neue Eingabeaufforderung nicht vollständig verstanden hat, möglicherweise Daten basierend auf den vorhandenen Trainingsdaten erzeugt, die zu Ungenauigkeiten führen.
• Überanpassung: Wenn zu viele Funktionen bereitgestellt werden, versucht das Modell, alle Datenpunkte zu erfassen, ohne die zugrunde liegenden Muster zu verstehen und dann eine 100% ige Genauigkeit für Schulungsdaten zu erhalten, aber es wird nicht gut auf neuen Daten verallgemeinert.

Wie Sie sehen können, kann hallukinierter LLM-Inhalt ohne Faktenprüfung schädlich sein. In Anwendungen, bei denen die sachliche Genauigkeit wichtig ist und es keine Fehlinformationen wie medizinische Beratung oder rechtliche Anleitung geben kann, können Halluzinationen zu Fehlinformationen mit potenziell schwerwiegenden Konsequenzen führen. Halluzinationen werden als zuversichtlich wie korrekte Antworten geliefert. Daher kann es für Benutzer schwierig werden, es zu erkennen. Da die Abhängigkeit von KI für genaue Informationen steigt, können Halluzinationen das Vertrauen in KI-Systeme verringern, was es für LLMs schwieriger macht, in Bereichen mit hohen Einsätzen akzeptiert zu werden.

Daher müssen Modellentwickler dieses Problem angehen und sicherstellen, dass in Fällen, in denen Genauigkeit und Fakten beteiligt sind, der LLM eine korrekte, sachliche Ausgabe erzeugen sollte, um die Ausbreitung von Fehlinformationen zu vermeiden. Ein solcher Ansatz zur Bekämpfung der AI -Halluzinationen wurde von Google in Form von DataGemma entwickelt.

Was ist DataGemma?

DataGemma ist ein von Google entwickeltes offenes Modell, das LLMs mit vertrauenswürdigen, sachlichen, realen Daten aus Google von Googles Datacommons verbindet.

Google Data Commons ist ein offenes Repository, das eine Vielzahl öffentlicher Datensätze in ein einheitliches Format kombiniert, das den Zugriff und die Verwendung erleichtert. Es kombiniert Daten aus verschiedenen Quellen, einschließlich Regierungsarbeiten, Forschungsorganisationen und globalen Datenbanken. Der Hauptzweck von Data Commons besteht darin, für verschiedene Datensätze ein gemeinsames Framework bereitzustellen, mit dem Benutzer strukturierte reale Daten in zahlreichen Domänen abfragen und analysieren können, ohne dass teure Datenreinigung oder Integrationsbemühungen erforderlich sind.

Schlüsselmerkmale von Data Commons

• Es enthält Daten zu einer Vielzahl von Themen wie Demografie, Wirtschaft, Umwelt und Gesundheitswesen, die aus Orten wie dem US Census Bureau, der Weltbank, der NOAA und vielem mehr stammen.
• Die Daten werden in ein standardisiertes Schema organisiert, sodass Benutzer Datensätze problemlos abfragen können, ohne die Komplexität verschiedener Datenformate und -strukturen zu bewältigen.
• Entwickler können über APIs auf Datenkommons zugreifen.
• Es ist ein öffentlicher Dienst, der kostenlos zu nutzen ist und für alle zuverlässige Daten für alle zugänglich ist.

Bedeutung von Data Commons

• Forscher können die Data Commons verwenden, um große, strukturierte Datensätze schnell zu sammeln und zu analysieren, ohne die Daten manuell zu beziehen und zu reinigen.
• Große Sprachmodelle (LLMs), wie die Gemma von Google, können Data Commons verwenden, um reale Daten zu verweisen, Halluzinationen zu reduzieren und die sachliche Genauigkeit in ihren Ausgaben zu verbessern.

Link: Erstellen Sie Ihre eigenen Data Commons - Data Commons

RIG: Ein hybrider Ansatz zur Minimierung von LLM -Halluzinationen

Es handelt sich um eine fortschrittliche Technik in der natürlichen Sprachverarbeitung (NLP), die retrievalbasierte und erzeugungsbasierte Methoden kombiniert, um die Qualität und Relevanz von Antworten zu verbessern.

Hier ist eine kurze Erklärung, wie Rig funktioniert:

• Abrufbasierte Methoden: Diese Methoden beinhalten die Suche nach einer großen Datenbank mit bereits bestehenden Antworten oder Dokumenten, um die relevantesten Informationen zu finden. Dieser Ansatz stellt sicher, dass die Antworten genau und auf realen Daten beruhen.
• Erzeugungsbasierte Methoden: Diese Methoden verwenden Modelle, um anhand der Eingabe Antworten von Grund auf neu zu generieren. Dies ermöglicht flexiblere und kreativere Reaktionen, kann jedoch manchmal zu Ungenauigkeiten oder Halluzinationen führen.
• Verschachtelung: Durch die Verschachtung oder Kombination von Abruf- und Erzeugungstechniken nutzt das Rig die Stärken beider Ansätze. Das System ruft relevante Informationen ab und verwendet dann ein generatives Modell, um sie zu verfeinern und zu erweitern, um Genauigkeit und Kreativität zu gewährleisten.

Dies ist nützlich in Anwendungen, bei denen qualitativ hochwertige, kontextbezogene Antworten von entscheidender Bedeutung sind, z.

In DataGemma ist Gemma 2 fein abgestimmt, um zu erkennen, wann genaue Informationen extrahiert werden sollen, während Sie eine Ausgabe erzeugen. Darin ersetzt es die in der Ausgabe generierten Zahlen durch genauere Informationen von Data Commons. Im Grunde prüft das Modell seine Ausgabe im Grunde mit einer vertrauensvolleren Quelle.

Wie Rig wird in DataGemma verwendet?

In DataGemma wird die Generation (RIGRieval Interleaved Generation) genutzt, um die Genauigkeit und Relevanz von Ausgaben zu verbessern, indem die Stärken sowohl des Abrufs als auch der generativen Modelle kombiniert werden, um sicherzustellen, dass generierter Inhalte auf zuverlässigen Daten von vertrauenswürdigen Quellen wie Data Commons beruhen.

• Zunächst gibt der Benutzer eine Abfrage an das LLM -Modell ein. In unserem Fall ist das LLM-Modell DataAGemma, das auf dem GEMMA 2-Modell mit 27B-Parametern basiert, die für Rig abgestimmt sind.
• Das DataAGemma -Modell generiert eine Antwort in Form einer natürlichen Sprachabfrage. Dies ist der Zweck, relevante Daten von der natürlichen Sprachschnittstelle von Data Commons abzurufen.
• Data Commons wird abgefragt und die erforderlichen Daten werden abgerufen.
• Die endgültige Antwort wird dem Benutzer generiert und angezeigt. Die Antwort enthält Daten, die Quellinformationen zusammen mit ihrem Link und einige Metadaten. Dies ersetzt die potenziell ungenauen Zahlen in der ursprünglichen Antwort.

Schritt -für -Schritt -Prozedur auf Google Colab

Lassen Sie uns nun Rig umsetzen, um die Halluzination zu minimieren.

Voraussetzungen:

• A100 GPU
• Hochramreiche Laufzeit
• Umarmen Gesichts -Token

STEP1: Melden Sie sich bei Ihrem Umarmungs -Gesichtskonto an und erstellen Sie ein neues Token

Klicken Sie hier, um das umarmende Gesichtskonto anzumelden.

Neues Token erstellen:

STEP2: Datacommons API -Schlüssel

• Klicken Sie hier, um Ihr Konto zu erstellen.
• Erstellen Sie eine neue App, um Data Commons mit zu integrieren. Registrieren Sie sich für einen API -Schlüssel.

Schritt 3: Aktivieren Sie die Data Commons NL API

Gehen Sie zu Ihrem Colab Notebook Secrets -Abschnitt. Erstellen Sie ein neues Geheimnis und aktivieren Sie den Zugriff auf das Notizbuch.

• Hf_token mit Wert als Umarmung mit Gesichtsmotiv
• DC_API_KEY mit Wert wie Ihr Data Commons -Token

Schritt 4: Installieren Sie die erforderlichen Bibliotheken

Lassen Sie uns die erforderlichen Bibliotheken installieren.

 #Die folgenden erforderlichen Bibliotheken 
!
!

#Laden Sie das finatuned Gemma2 27B -Modell 

Taschenlampe importieren

data_gemma als DG importieren

von Google.Colab importieren userData
Von Transformatoren importieren Autotokenizer, AutomodelforcausAllm, BitsandByTesConfig

# Initialisieren Sie den API -Client von Data Commons
Dc_api_key = userData.get ('dc_api_key')
dc = dg.datacommons (api_key = dc_api_key)


# Werden Sie das FELLETUNED -GEMMA2 -Modell von Suggingface
Hf_token = userData.get ('hf_token')

nf4_config = bitsandbytesconfig (
   load_in_4bit = true,
   Bnb_4bit_quant_type = "nf4",
   bnb_4bit_compute_dtype = t Torch.bfloat16
)

model_name = 'google/datagemma-rig-27b-it' '
tokenizer = autotokenizer.from_pretraed (model_name, token = hf_token)
dataGemma_model = automodelforcausAllm.from_Pretrained (model_name,
                                             Geräte_map = "automatisch",
                                             quantization_config = nf4_config,
                                             fackel_dtype = fackel.bfloat16,
                                             token = hf_token)

# Erstellen Sie den LLM -Modellstub, der im Rig -Fluss verwendet wird
datagemma_model_wrapper = dg.hfbasic (dataGemma_model, tokenizer)

Schritt 5: Wählen oder geben Sie eine Abfrage ein oder geben Sie ein

In diesem Schritt können Benutzer entweder eine vordefinierte Abfrage auswählen oder eine benutzerdefinierte Abfrage eingeben, sodass das System für die weitere Verarbeitung relevante Informationen aus den Datenquellen abrufen kann.

STEP6: Führen Sie die Rig -Technik aus und generieren Sie Ausgabe

In diesem Schritt wird die RIG -Technik ausgeführt, wobei die Abruf- und Erzeugungsmethoden kombiniert werden, um eine präzise und kontextbezogene Ausgabe zu erzeugen, die auf der Eingabeabfrage basiert.

 von ipython.display import markdown
Textwrap importieren

Def display_chat (Eingabeaufforderung, Text):
  formatted_prompt = "<font size="'1'" color="'braun'">? ‍eitung <blockquote>" Eingabeaufforderung "</blockquote> </font>"
  text = text.replace ('•', ' *')
  text = textWrap.indent (text, '>', predicate = lambda _: true)
  formated_text = "<font size="'1'" color="'teal'">? \ n \ n" text "\ n </font>"
  Return Markdown (formated_prompt formated_text)

Def to_markdown (Text):
  text = text.replace ('•', ' *')
  return markdown (textWrap.indent (text, '>', predicate = lambda _: true)))


Ans = dg.Rigflow (llm = datagemma_model_wrapper, data_fetcher = dc, verbose = false) .Query (query = query)
Markdown (textWrap.indent (Ans.answer (), '>', Predicate = lambda _: true))


Display_chat (Abfrage, Ans.answer ())

Ausgabe: (für eine andere Abfrage)

Schlussfolgerung: GEMMA2 generiert nur einen numerischen Wert, während DataGemma zusammen mit seinen Quellinformationen, Quellenverbindungen, einigen Meta -Daten und Schlussfolgerungen für die Abfrage den numerischen Wert generiert.

Quelle: Google Colab Notebook von Google bereitgestellt

Abrufer Augmented Generation zur Minimierung von LLM -Halluzinationen

Abrufener Augmented -Generation ist ein Ansatz in der natürlichen Sprachverarbeitung (NLP) und in Großsprachenmodellen (LLMs), um die sachliche Genauigkeit und Relevanz des generierten Inhalts zu verbessern, indem das Modell während des Erzeugungsprozesses zugänglich ist, um auf externe Wissensquellen zuzugreifen. Es wird relevante Informationen von Data Commons abgerufen, bevor der LLM Text generiert und eine sachliche Grundlage für seine Antwort bietet.

Hier ist eine kurze Erklärung, wie Lag funktioniert:

• Abrufen: Wenn der Benutzer eine Abfrage eingibt, empfängt das Modell es und extrahiert dann die relevanten Daten aus seiner Wissensbasis oder externen Quellen.
• Augmentation: Diese externen Informationen werden dann verwendet, um den Eingabekontext für das Sprachmodell zu „erweitern“ (oder zu verbessern), wodurch kontextbezogene Antworten generiert werden.
• Generierung: Das LLM generiert eine Antwort, die sowohl auf der ursprünglichen Abfrage als auch auf den abgerufenen Informationen basiert.

Wie wird Lappen in DataGemma verwendet?

In DataGemma wird die ARRAVEAL-AUGmented-Generation (RAG) verwendet, um die Reaktionsgenauigkeit zu verbessern, indem relevante Daten aus externen Quellen abgerufen werden, und dann Inhalte zu generieren, die dieses abgerufene Wissen mit AI-generierten Erkenntnissen kombinieren, um hohe Qualität und kontextuell relevante Ausgaben zu gewährleisten.

So funktioniert Lag:

• Zunächst gibt der Benutzer eine Abfrage an das LLM -Modell ein. In unserem Fall ist das LLM-Modell DataAGemma, das auf dem GEMMA 2-Modell mit 27B-Parametern basiert, die für die RAG-Aufgabe fein abgestimmt sind.
• Das DataAGemma -Modell generiert nach der Analyse der Eingabeabfrage in Form einer natürlichen Sprachabfrage eine Antwort. Dies ist der Zweck, relevante Daten von der natürlichen Sprachschnittstelle von Data Commons abzurufen.
• Data Commons wird abgefragt und die erforderlichen Informationen werden abgerufen.
• Die endgültige Antwort wird dem Benutzer generiert und angezeigt. Dies umfasst Datentabellen, die Quellinformationen zusammen mit seinem Link und einige Metadaten. Dies ersetzt die potenziell ungenauen Zahlen in der ursprünglichen Reaktion.
• Diese abgerufenen Informationen werden der ursprünglichen Benutzerabfrage hinzugefügt, wodurch eine erweiterte oder erweiterte Eingabeaufforderung erstellt wird.
• Ein größerer LLM (in unserem Fall, Gemini 1.5 Pro) verwendet diese erweiterte Eingabeaufforderung, einschließlich der abgerufenen Daten, um eine bessere, genauere und sachlichere Reaktion zu generieren.

Schritt -für -Schritt -Prozedur auf Google Colab

Wir werden nun in das Schritt -für -Schritt -Verfahren von RAG nachhallen, um Halluzinationen zu minimieren.

Voraussetzungen:

• A100 GPU
• Hochramreiche Laufzeit
• Umarmen Gesichts -Token
• Data Commons API -Token
• Gemini 1.5 Pro API -Schlüssel

STEP1: Erstellen Sie Gemini API -Schlüssel

Gehen Sie zu Google AI Studio und Erstellen Sie Gemini API -Schlüssel.

Schritt 2: Aktivieren Sie den Zugang zum Notizbuch

Gehen Sie zu Ihrem Abschnitt "Google Colab Notebook" und geben Sie ein Umarmungsgesicht, Data Commons und Gemini 1.5 Pro -API -Schlüssel ein. Aktivieren Sie den Zugang zum Notizbuch.

Schritt 3: Installieren Sie die erforderlichen Bibliotheken

In diesem Schritt installieren Sie die erforderlichen Bibliotheken, die die Implementierung der RIG -Technik ermöglichen und den reibungslosen Betrieb des DataGeMma -Systems sicherstellen.

 #installbibliotheken
!
!

#LOAD FEINSTUNDE GEMMA2 27B MODELLE
Taschenlampe importieren

data_gemma als DG importieren

von Google.Colab importieren userData
Von Transformatoren importieren Autotokenizer, AutomodelforcausAllm, BitsandByTesConfig

# Initialisieren Sie den API -Client von Data Commons
Dc_api_key = userData.get ('dc_api_key')
dc = dg.datacommons (api_key = dc_api_key)

# GEMINI 1.5 Pro Model bekommen
Gemini_api_key = userData.get ('gemini_api_key')
gemini_model = dg.googleaistudio (model = 'gemini-1.5-pro', api_keys = [gemini_api_key]))


# Werden Sie das FELLETUNED -GEMMA2 -Modell von Suggingface
Hf_token = userData.get ('hf_token')

nf4_config = bitsandbytesconfig (
   load_in_4bit = true,
   Bnb_4bit_quant_type = "nf4",
   bnb_4bit_compute_dtype = t Torch.bfloat16
)

model_name = 'google/datagemma-rag-27b-it' '
tokenizer = autotokenizer.from_pretraed (model_name, token = hf_token)
dataGemma_model = automodelforcausAllm.from_Pretrained (model_name,
                                             Geräte_map = "automatisch",
                                             quantization_config = nf4_config,
                                             fackel_dtype = fackel.bfloat16,
                                             token = hf_token)

# Erstellen Sie den LLM -Modellstub, der im Lappenfluss verwendet werden soll
datagemma_model_wrapper = dg.hfbasic (dataGemma_model, tokenizer)

Schritt 4: Wählen oder erstellen Sie Ihre eigene Anfrage

Sie wählen eine benutzerdefinierte Abfrage aus oder erstellen Sie als Eingabe für die RIG -Technik zum Abrufen und Erzeugen der gewünschten Ausgabe.

Schritt 5: Führen Sie Lappen aus und generieren Sie die Ausgabe

Jetzt führen Sie das RAG -System aus, um relevante Daten abzurufen und die endgültige Ausgabe basierend auf der von Ihnen angegebenen Abfrage zu generieren.

 von ipython.display import markdown
Textwrap importieren

Def display_chat (Eingabeaufforderung, Text):
  formatted_prompt = "<font size="'1'" color="'braun'">? ‍eitung <blockquote>" Eingabeaufforderung "</blockquote> </font>"
  text = text.replace ('•', ' *')
  text = textWrap.indent (text, '>', predicate = lambda _: true)
  formated_text = "<font size="'1'" color="'teal'">? \ n \ n" text "\ n </font>"
  Return Markdown (formated_prompt formated_text)

Def to_markdown (Text):
  text = text.replace ('•', ' *')
  return markdown (textWrap.indent (text, '>', predicate = lambda _: true)))

Ans = dg.Ragflow (llm_question = datagemma_model_wrapper, llm_answer = gemini_model, data_fetcher = dc) .query (query = query)
Markdown (textWrap.indent (Ans.answer (), '>', Predicate = lambda _: true))


Display_chat (Abfrage, Ans.answer ())

Ausgabe:

Schlussfolgerung: Wenn eine Abfrage gefragt wird, werden die relevanten Datentabellen, die sich auf die Abfrage beziehen, abgerufen, und dann werden diese Daten verwendet, um die endgültige Antwort mit aussagekräftigen Informationen und Erkenntnissen zu komponieren. Die Abfrageantwort zusammen mit Quellverbindungen, Tabellen und Schlussfolgerungen wird als Ausgabe generiert.

Link: Daten Gemma Lag

Warum ist Datagemma wichtig?

Datagemma Grounds LLM gibt in realen Daten aus und stellt sicher, dass das Modell faktenbasierte Antworten generiert. DATAGEMMA, die die Antworten des Modells mit verifizierten Daten von Googles Data Commons von Google Data Commons überprüft, reduziert die Anzahl der falschen oder erfundenen Antworten. Unter Verwendung der Rig- und RAG -Ansätze haben Forscher von Google eine signifikante Verbesserung der vom Modell generierten Ausgangsgenauigkeit beobachtet, insbesondere in Bezug auf Abfragen, die numerische Ausgaben erfordern.

Sie haben beobachtet, dass Benutzer die Ausgabe bevorzugen, die von Rig und Lag mehr als die Basisausgabe erzeugt wird. Dieser Ansatz kann die KI -Halluzinationen verringern und die Erzeugung von Fehlinformationen verringern. Da Google diese Gemma -Modellvariante offen gemacht hat, kann es von Entwicklern und Forschern verwendet werden, um diesen Ansatz zu untersuchen und es weiter zu verbessern, um das gemeinsame Ziel zu erreichen, LLMs zuverlässiger und vertrauenswürdiger zu machen.

Abschluss

LLMs sind wesentliche Werkzeuge in der gesamten Branche geworden, aber ihre Tendenz, „halluzinieren“ - allgemeine, aber falsche Informationen - ist ein bedeutendes Problem. Das DataAGemma von Google bietet in Kombination mit den riesigen realen Daten von Googles Data Commons eine mögliche Lösung für dieses Problem. Die Techniken in DataGeMma verbessern die Genauigkeit, insbesondere mit numerischen Informationen, durch das Basi der LLM -Ausgaben auf validierten statistischen Daten. Es verringert auch Fehlinformationen. Frühe Ergebnisse zeigen, dass diese Strategie die Glaubwürdigkeit von AI -Antworten erheblich erhöht, wobei die Verbraucher die vom System angegebenen sachlichen Ergebnisse bevorzugen. Da DataGemma ein offenes Modell ist, können Forscher und Entwickler es nutzen und es verbessern, um LLMs näher daran zu bringen, zuverlässige Tools für reale Anwendungen zu werden. Zusammenarbeit kann dazu beitragen, Halluzinationen zu reduzieren und die Vertrauenswürdigkeit zu erhöhen.

Referenzen

• DataGeMma: AI Open Models, die LLMs mit Googles Data Commons verbinden (blog.google)
• KI in der Realität mit ein wenig Hilfe von Data Commons (Research.Google)

Häufig gestellte Fragen

Q 1. Was ist ein Fundamentmodell?

A. Ein Fundamentmodell ist ein großes maschinelles Lernmodell, das auf riesigen Mengen verschiedener Daten geschult ist, sodass es über eine Vielzahl von Aufgaben hinweg verallgemeinert werden kann. LLMs sind eine Art von Grundmodellen, die auf enormen Mengen an Textdaten ausgebildet sind.

F 2. Was ist eine Halluzination von AI?

A. AI -Halluzination bezieht sich auf das Phänomen, bei dem ein KI -Modell Informationen generiert, die genau erscheint, aber falsch oder fabriziert ist. Das Modell erzeugt Antworten, die in realen Daten oder Fakten fehlen.

Q3. Warum halluzinieren LLMs?

A. Wenn sie nicht über genügend Kontext oder relevante Daten verfügen, um eine Abfrage zu beantworten, können sie plausible klingende Informationen herstellen, anstatt Unsicherheit zuzugeben, die auf ähnlichen Daten auf der Grundlage der vorhandenen Wissensbasis zuzugeben.

F 4. Was ist Google Gemma?

A. Google Gemma ist ein leichtes LLM-Modell von Google, das auf der Forschung von Google Gemini basiert. Eine Variante von Gemma ist DataGeMma, ein offenes Modell, das entwickelt wurde, um LLMs mit realen statistischen Daten aus Googles Data Commons zu verbinden.

F 5. Was ist der Unterschied zwischen Rig und Lappen?

A. Rig integriert reale statistische Daten direkt in die Ausgabe des Modells, indem er generierte Antworten gegen externe Datenquellen wie Google Data Commons überprüft. Im Grunde genommen wird die Reaktion erzeugt und dann mit externen Quellen fakten überprüft. In RAG ruft es jedoch relevante Informationen aus externen Datenbanken oder Wissensquellen ab und generiert dann Antworten auf der Grundlage dieser Informationen.

Die in diesem Artikel gezeigten Medien sind nicht im Besitz von Analytics Vidhya und werden nach Ermessen des Autors verwendet.

Das obige ist der detaillierte Inhalt vonDatagemma: Grounding LLMs gegen Halluzinationen - Analytics Vidhya. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!