Datagemma：幻覚に対するLLMの接地 - 分析Vidhya

導入

大規模な言語モデルは、産業を急速に変革しています。Todayは、銀行業務におけるパーソナライズされた顧客サービスからグローバルなコミュニケーションのリアルタイム言語翻訳まで、あらゆるものを動かしています。彼らは自然言語の質問に答え、情報を要約し、エッセイを書き、コードを生成するなど、今日の世界で非常に貴重なツールにすることができます。しかし、彼らの多くの利点にもかかわらず、彼らは「幻覚」として知られる重大な欠陥に苦しんでいます。これらは、モデルが正しいと現実的であると思われる情報を生成しますが、部分的または完全に偽りであり、モデルによって構成され、実際のデータに基づいていない場合のインスタンスです。したがって、これに取り組むために、GoogleはLLMを実際のデータに接続し、Googleのデータコモンズを使用して信頼できるソースで応答をファクトチェックするためのDatagemmaと呼ばれるツールであるオープンモデルを開発しました。

学習成果

• 大規模な言語モデル（LLM）とそのアプリケーションの基本を理解します。
• LLMSの幻覚の原因と種類を探ります。
• GoogleのDatagemmaが実際のデータを使用してLLMの幻覚にどのように取り組むかを学びます。
• 検索インターレーブ生成（RIG）や検索拡張生成（RAG）などの高度な技術についての洞察を得る。
• GoogleのデータコモンズがLLMの事実上の正確性を改善する方法を発見してください。

この記事は、データサイエンスブログソンの一部として公開されました。

目次

• 大きな言語モデルの理解
• ジェマのアーキテクチャの理解
• LLMSのコンテキストでの幻覚とは何ですか？
• datagemmaとは何ですか？
• リグ：LLM幻覚を最小限に抑えるためのハイブリッドアプローチ
• LLMの幻覚を最小化するための検索拡張生成
• Datagemmaが重要なのはなぜですか？
• よくある質問

大きな言語モデルの理解

大規模な言語モデルは、数百万から数十億の範囲のパラメーターを備えた膨大な量のテキストデータで訓練された基礎モデルであり、自然言語を理解して生成することができます。それらは、自然言語の処理と生成を可能にするトランスアーキテクチャの上に構築されています。 LLMモデルは、カスタマイズされたデータセットを使用して、特定のドメインの特定のタスクに微調整できます。たとえば、BERTのようなLLMモデルは、LLMを使用して脅威インテリジェンスを自動化するためにサイバーセキュリティコーパスで微調整できます。

ジェマ、ジェミニ、バートの比較

ジェマ	ジェミニ	バート
開発者向けの軽量モデル	より大きく、より強力な会話AI	NLPタスクの事前に訓練されたモデル
携帯電話やエッジコンピューティングなどのリソースの制約があるアプリケーションに最適	大規模なデータ分析、複雑なAIアプリケーションなどのリソース制約のない複雑なタスクに最適です。	テキスト分類、質問応答、センチメント分析などのタスクに最適です。
限られたリソース環境で簡単に展開できます	多くの場合、クラウド環境または豊富なリソースを備えたデータセンターに展開されます。	オンプレミスまたはクラウド環境の両方を展開しましたが、より大きなバージョン（Bert-Largeなど）には重要な計算リソースが必要です
より少ない計算リソースが必要です	多くの場合、より多くの計算リソースが必要です。	Bert-Baseのような小さなモデルは中程度のハードウェアに展開できますが、Bert-Largeのような大きなモデルはより多くのリソースが必要になる場合がありますが、それでもGeminiよりも少ない場合があります。

ジェマのアーキテクチャの理解

Gemmaのアーキテクチャは、高度な検索および生成技術をシームレスに統合するように設計されており、システムが正確で一貫した応答を生成しながら外部データソースにインテリジェントにアクセスできるようにし、さまざまなAI駆動型アプリケーションに非常に効果的です。

Gemmaは、トランスデコーダーアーキテクチャに基づいています。

Gemma and Gemma 2（2024年にリリースされた最新バージョン）は、GoogleのLLMモデルのGemmaファミリーに属します。カスタマイズされたタスクのために微調整できます。例：CodeGemmaモデルは、コード完了のための微調整されたGEMMAモデルです。

LLMSのコンテキストでの幻覚とは何ですか？

LLMSの幻覚は、モデルが不正確、一貫性がない、または構成された情報を自信を持って生成する場合ですが、私たちは信じられないようです。モデルはコンテンツを幻覚し、そのコンテンツは実際には真実ではありません。たとえば、裁判では、2人の弁護士がChatGptによって提供された情報源を引用しましたが、これは虚偽であることが判明しました。

AIの幻覚には3つのタイプがあります

• 入力競合する幻覚：モデルは、入力でユーザーが提供する情報から逸脱する出力を生成します。
• コンテキストに矛盾する幻覚：ここで、モデルは、以前に生成された出力と矛盾する出力を生成します。
• 事実に陥る幻覚：モデルは、実際の知識や事実と矛盾する偽/不正確な出力を生成します。

幻覚の原因は何ですか？

• 限られたトレーニングデータ：モデルが徹底的にトレーニングされていないか、限られたデータでトレーニングされていない場合、トレーニングデータとは異なるプロンプトに遭遇すると、新しいプロンプトを完全に理解していなくても、不正確につながる既存のトレーニングデータに基づいてデータを生成する可能性があります。
• オーバーフィッティング：機能が多すぎると、モデルは基礎となるパターンを理解せずにすべてのデータポイントをキャプチャしようとし、トレーニングデータの100％の精度を取得しようとしますが、新しいデータには一般化されません。

ご覧のとおり、事実上の正確性が重要であり、医学的アドバイスや法的指導など、誤った情報がないアプリケーションで、幻覚が潜在的に深刻な結果を伴う誤った情報につながる可能性があるアプリケーションで、幻覚LLMコンテンツが有害になる可能性があります。幻覚は正解として自信を持って提供されるため、ユーザーがそれを認識するのが難しくなる可能性があります。また、正確な情報へのAIへの依存が高まっているため、幻覚はAIシステムへの信頼を減らすことができ、LLMがハイステークスドメインで受け入れられることが困難になります。

したがって、モデル開発者はこの問題に取り組み、正確性と事実を伴う場合に、LLMが誤った情報の拡大を回避するために正しい、事実の出力を生成する必要があることを確認する必要があります。 AI幻覚に取り組むためのそのようなアプローチの1つは、GoogleによってDatagemmaの形で開発されました。

datagemmaとは何ですか？

Datagemmaは、GoogleがGoogleのデータコモンから調達した信頼できる、事実上の実世界のデータとLLMを接続するためにGoogleによって開発されたオープンモデルです。

Google Data Commonsは、膨大な量のパブリックデータセットを統一された形式に組み合わせたオープンリポジトリであり、アクセスと使用を容易にします。政府の論文、研究機関、グローバルデータベースなど、さまざまなソースからのデータを組み合わせています。データコモンズの主な目的は、さまざまなデータセットに共通のフレームワークを提供し、ユーザーが高価なデータクリーニングや統合の取り組みを必要とせずに、多数のドメインで構造化された実世界データをクエリして分析できるようにすることです。

データコモンズの主要な機能

• 米国国勢調査局、世界銀行、NOAAなどの場所から調達された人口統計、経済学、環境、ヘルスケアなど、さまざまなトピックに関するデータが含まれています。
• データは標準化されたスキーマに編成されるため、ユーザーは異なるデータ形式や構造の複雑さを処理する必要なく、データセットを簡単に照会できます。
• 開発者は、APIを介してデータコモンズにアクセスできます。
• これは自由に使用できる公共サービスであり、誰もがアクセスできる高品質で信頼できるデータを提供するように設計されています。

データコモンズの重要性

• 研究者は、データコモンズを使用して、データを手動で清掃してクリーニングする必要なく、大きな構造化されたデータセットをすばやく収集および分析できます。
• GoogleのGemmaと同様に、大規模な言語モデル（LLMS）は、データコモンズを使用して実際のデータを参照し、幻覚を減らし、出力の事実上の精度を向上させることができます。

リンク：独自のデータコモンズ - データコモンズを構築します

リグ：LLM幻覚を最小限に抑えるためのハイブリッドアプローチ

これは、回答ベースと生成ベースの方法を組み合わせて、応答の品質と関連性を改善するための自然言語処理（NLP）の高度な手法です。

これがリグの仕組みの簡単な説明です：

• 検索ベースの方法：これらの方法には、既存の応答またはドキュメントの大規模なデータベースを検索して、最も関連性の高い情報を見つけることが含まれます。このアプローチにより、応答が正確で実際のデータに基づいていることが保証されます。
• 生成ベースの方法：これらの方法は、モデルを使用して、入力に基づいてゼロから応答を生成します。これにより、より柔軟で創造的な反応が可能になりますが、不正確さや幻覚につながる場合があります。
• インターリーブ：検索と生成の技術をインターリーブまたは組み合わせることにより、RIGは両方のアプローチの強みを利用します。システムは関連情報を取得し、生成モデルを使用してそれを改良および拡張し、正確性と創造性を確保します。

これは、会話型AI、カスタマーサポート、コンテンツの作成など、高品質でコンテキストに関連する応答が重要であるアプリケーションで役立ちます。

Datagemmaでは、Gemma 2は、出力を生成しながら正確な情報をいつ抽出するかを認識するために微調整されています。これでは、出力で生成された数値をデータコモンズからのより正確な情報に置き換えます。したがって、基本的には、モデルはより信頼できるソースで出力をダブルチェックします。

Datagemmaでリグはどのように使用されますか？

Datagemmaでは、検索モデルと生成モデルの両方の強度を組み合わせることにより、出力の精度と関連性を高めるために、検索介入の生成（RIG）が活用され、生成されたコンテンツがデータコモンなどの信頼できるソースからの信頼できるデータに基づいていることを保証します。

• まず、ユーザーはLLMモデルにクエリを送信します。私たちの場合、LLMモデルはDatagemmaであり、これは27Bパラメーターを備えたGemma 2モデルに基づいており、RIG用に微調整されています。
• Datagemmaモデルは、自然言語クエリの形で応答を生成します。これの目的は、データコモンズの自然言語インターフェイスから関連するデータを取得することです。
• データコモンズが照会され、必要なデータが取得されます。
• 最終的な応答が生成され、ユーザーに表示されます。応答には、データ、ソース情報とリンク、および一部のメタデータが含まれます。これは、元の応答で潜在的に不正確な数値を置き換えます。

Google Colabのステップバイステップ手順

ここで、幻覚を最小限に抑えるためにリグを実装しましょう。

前提条件：

• A100 GPU
• ハイラムランタイム
• 顔のトークンを抱きしめます

ステップ1：抱きしめるフェイスアカウントにログインして、新しいトークンを作成します

ここをクリックして、フェイスアカウントを抱き締めるログインをしてください。

新しいトークンを作成します：

ステップ2：DataCommons APIキー

• アカウントを作成するには、ここをクリックしてください。
• データコモンズを統合する新しいアプリを作成します。 APIキーに登録します。

ステップ3：データコモンズNL APIを有効にします

Colab Notebook Secretsセクションに移動します。新しい秘密を作成し、ノートブックアクセスを有効にします。

• hf_token hugging face tokenとして価値があります
• データコモンズトークンとして値を持つDC_API_KEY

ステップ4：必要なライブラリをインストールします

必要なライブラリをインストールしましょう。

 ＃次の必要なライブラリをインストールします 
！pip install -q git https://github.com/datacommonsorg/llm-tools
！pip install -q bitsandbytesが加速します

＃Finetuned Gemma2 27Bモデルをロードします 

トーチをインポートします

DATA_GEMMAをDGとしてインポートします

Google.ColabからImport userDataから
トランスから輸入オートトケンイザー、Automodelforcausallm、bitsandbytesconfigから

＃データCommons APIクライアントを初期化します
dc_api_key = userdata.get（ 'dc_api_key'）
dc = dg.datacommons（api_key = dc_api_key）


＃HuggingfaceからFinetuned Gemma2モデルを入手してください
hf_token = userdata.get（ 'hf_token'）

nf4_config = bitsandbytesconfig（
   load_in_4bit = true、
   bnb_4bit_quant_type = "nf4"、
   bnb_4bit_compute_dtype = torch.bfloat16
））

model_name = 'Google/datagemma-rig-27b-it'
tokenizer = autotokenizer.from_pretrained（model_name、token = hf_token）
datagemma_model = automodelforcausallm.from_pretrained（model_name、
                                             device_map = "auto"、
                                             Quantization_config = nf4_config、
                                             torch_dtype = torch.bfloat16、
                                             token = hf_token）

＃リグフローで使用するLLMモデルスタブを構築する
datagemma_model_wrapper = dg.hfbasic（datagemma_model、tokenizer）

ステップ5：クエリを選択または入力します

このステップでは、ユーザーは事前に定義されたクエリを選択するか、カスタムクエリを入力して、システムがデータソースから関連情報を取得してさらに処理できるようにすることができます。

ステップ6：リグテクニックを実行し、出力を生成します

このステップでは、リグ手法が実行され、検索方法と生成方法を組み合わせて、入力クエリに基づいて正確でコンテキストに関連する出力を生成します。

 iPython.displayからマークダウンをインポートします
TextWrapをインポートします

dif display_chat（プロンプト、テキスト）：
  formatted_prompt = "<font size="'1'" color="'brown'">？‍♂️ <blockquote>" prompt "</blockquote> </font>"
  text = text.replace（ '•'、 ' *'）
  text = textwrap.indent（text、 '>'、predicate = lambda _：true）
  formatted_text = "<font size="'1'" color="'teal'">？\ n \ n" \ n </font> "
  Return Markdown（formatted_prompt formatted_text）

def to_markdown（テキスト）：
  text = text.replace（ '•'、 ' *'）
  Return Markdown（textwrap.indent（text、 '>'、predicate = lambda _：true））


ans = dg.rigflow（llm = datagemma_model_wrapper、data_fetcher = dc、verbose = false）.query（query = query）
Markdown（textwrap.indent（ans.answer（）、 '>'、predicate = lambda _：true））


display_chat（query、ans.answer（））

出力：（別のクエリ用）

結論： GEMMA2は数値のみを生成しますが、Datagemmaはソース情報、ソースリンク、いくつかのメタデータ、クエリの結論とともに数値値を生成します。

出典：Googleが提供するGoogle Colabノートブック

LLMの幻覚を最小化するための検索拡張生成

検索拡張生成は、自然言語処理（NLP）および大規模な言語モデル（LLM）のアプローチであり、生成プロセス中にモデルが外部の知識ソースにアクセスできるようにすることにより、生成されたコンテンツの事実上の正確性と関連性を改善します。 LLMがテキストを生成する前に、データコモンズから関連情報を取得し、その応答の事実上の基盤を提供します。

これがぼろきれの仕組みの簡単な説明です：

• 検索：ユーザーがクエリを入力すると、モデルはそれを受信し、その知識ベースまたは外部ソースから関連するデータを抽出します。
• 拡張：この外部情報は、言語モデルの入力コンテキストを「拡張」（または強化）するために使用され、よりコンテキストに関連する応答を生成するのに役立ちます。
• 生成： LLMは、元のクエリと取得した情報の両方に基づいて応答を生成します。

datagemmaでぼろきれはどのように使用されていますか？

Datagemmaでは、検索された生成（RAG）が採用され、外部ソースから関連するデータを取得し、この回収された知識をAIに生成された洞察と組み合わせたコンテンツを生成し、高品質でコンテキストに関連する出力を確保することにより、応答の精度を高めます。

ぼろきれの仕組みは次のとおりです。

• まず、ユーザーはLLMモデルにクエリを送信します。私たちの場合、LLMモデルはDatagemmaであり、27bパラメーターを備えたGemma 2モデルに基づいており、RAGタスク用に微調整されています。
• Datagemmaモデルは、自然言語クエリの形で入力クエリを分析した後、応答を生成します。これの目的は、データコモンズの自然言語インターフェイスから関連するデータを取得することです。
• データコモンズが照会され、必要な情報が取得されます。
• 最終的な応答が生成され、ユーザーに表示されます。これには、データテーブル、ソース情報とリンク、および一部のメタデータが含まれます。これは、元の応答で潜在的に不正確な数値を置き換えます。
• この取得された情報が元のユーザークエリに追加され、拡張または拡張プロンプトが作成されます。
• より大きなLLM（私たちの場合、Gemini 1.5 Pro）は、取得したデータを含むこの拡張されたプロンプトを使用して、より良い、より正確で事実上の応答を生成します。

Google Colabのステップバイステップ手順

ここで、幻覚を最小限に抑えるために、RAGの段階的な手順を検討します。

前提条件：

• A100 GPU
• ハイラムランタイム
• 顔のトークンを抱きしめます
• データコモンズAPIトークン
• Gemini 1.5 Pro APIキー

ステップ1：Gemini APIキーを作成します

Google AI Studioにアクセスして、Gemini APIキーを作成します。

ステップ2：ノートブックへのアクセスを有効にします

Google Colab Notebook Secretsセクションに移動し、Hugging Face、Data Commons、Gemini 1.5 Pro APIキーを入力します。ノートブックアクセスを有効にします。

ステップ3：必要なライブラリをインストールします

このステップでは、リグテクニックの実装を可能にし、Datagemmaシステムのスムーズな動作を確保する必要なライブラリをインストールします。

 #installライブラリ
！pip install -q git https://github.com/datacommonsorg/llm-tools
！pip install -q bitsandbytesが加速します

#load微調整されたgemma2 27bモデル
トーチをインポートします

DATA_GEMMAをDGとしてインポートします

Google.ColabからImport userDataから
トランスから輸入オートトケンイザー、Automodelforcausallm、bitsandbytesconfigから

＃データCommons APIクライアントを初期化します
dc_api_key = userdata.get（ 'dc_api_key'）
dc = dg.datacommons（api_key = dc_api_key）

＃GEMINI 1.5 Proモデルを取得します
gemini_api_key = userdata.get（ 'gemini_api_key'）
gemini_model = dg.googleaistudio（model = 'gemini-1.5-pro'、api_keys = [gemini_api_key]）


＃HuggingfaceからFinetuned Gemma2モデルを入手してください
hf_token = userdata.get（ 'hf_token'）

nf4_config = bitsandbytesconfig（
   load_in_4bit = true、
   bnb_4bit_quant_type = "nf4"、
   bnb_4bit_compute_dtype = torch.bfloat16
））

model_name = 'Google/datagemma-rag-27b-it'
tokenizer = autotokenizer.from_pretrained（model_name、token = hf_token）
datagemma_model = automodelforcausallm.from_pretrained（model_name、
                                             device_map = "auto"、
                                             Quantization_config = nf4_config、
                                             torch_dtype = torch.bfloat16、
                                             token = hf_token）

＃ラグフローで使用するLLMモデルスタブを構築する
datagemma_model_wrapper = dg.hfbasic（datagemma_model、tokenizer）

ステップ4：独自のクエリを選択または作成します

目的の出力を取得および生成するためのリグテクニックの入力として機能するカスタムクエリを選択または作成します。

ステップ5：ラグを実行し、出力を生成します

次に、RAGシステムを実行して関連するデータを取得し、提供されたクエリに基づいて最終出力を生成します。

 iPython.displayからマークダウンをインポートします
TextWrapをインポートします

dif display_chat（プロンプト、テキスト）：
  formatted_prompt = "<font size="'1'" color="'brown'">？‍♂️ <blockquote>" prompt "</blockquote> </font>"
  text = text.replace（ '•'、 ' *'）
  text = textwrap.indent（text、 '>'、predicate = lambda _：true）
  formatted_text = "<font size="'1'" color="'teal'">？\ n \ n" \ n </font> "
  Return Markdown（formatted_prompt formatted_text）

def to_markdown（テキスト）：
  text = text.replace（ '•'、 ' *'）
  Return Markdown（textwrap.indent（text、 '>'、predicate = lambda _：true））

ans = dg.ragflow（llm_question = datagemma_model_wrapper、llm_answer = gemini_model、data_fetcher = dc）.query（query = query）
Markdown（textwrap.indent（ans.answer（）、 '>'、predicate = lambda _：true））


display_chat（query、ans.answer（））

出力：

結論：クエリが尋ねられると、クエリに関連する関連するデータテーブルが取得され、このデータは意味のある情報と洞察を含む最終的な応答を作成するために使用されます。ソースリンク、テーブル、および結論とともにクエリ応答が出力として生成されます。

リンク：データジェマラグ

Datagemmaが重要なのはなぜですか？

Datagemmaは、LLMが実際のデータに出力し、モデルが事実ベースの応答を生成することを保証します。 Googleのデータコモンズからの確認されたデータでモデルの応答を事実確認することにより、Datagemmaは、誤った回答または製造された回答の数を減らすのに役立ちます。 Googleの研究者は、RIGとRAGのアプローチを使用して、特に数値出力を必要とするクエリを扱う際に、モデルによって生成される出力の精度が大幅に改善されています。

彼らは、ユーザーがベースライン出力よりもRIGとRAGによって生成される出力を好むことを観察しました。このアプローチはAIの幻覚を減らすことができ、誤った情報の生成を減らすことができます。また、GoogleはこのGemma Modelバリアントオープンモデルを作成しているため、開発者や研究者がこのアプローチを探求し、LLMをより信頼性と信頼できるという共通の目標を達成するためにさらに強化するために使用できます。

結論

LLMは、業界全体で重要なツールになっていますが、「幻覚」する傾向（説得力のあるが誤った情報を生み出す）が重要な問題を示しています。 GoogleのDatagemmaは、Googleのデータコモンズの膨大な現実世界データと組み合わせると、この問題に対する可能な解決策を提供します。 Datagemmaの手法は、検証済みの統計データに基づいてLLM出力を基にすることにより、特に数値情報の精度を改善します。また、誤った情報を減らします。初期の結果は、この戦略がAI応答の信頼性を大幅に高めることを示しており、消費者はシステムによって与えられたより事実上の出力を好むことを示しています。 Datagemmaはオープンモデルであるため、研究者と開発者はそれを利用して改善することができ、LLMは実際のアプリケーションの信頼できるツールに近づきます。コラボレーションは、幻覚を減らし、信頼性を高めるのに役立ちます。

参照

• Datagemma：AI GoogleのデータコモンズにLLMを接続するAIオープンモデル（blog.google）
• Data Commons（Research.Google）から少し助けを借りてAIを実際に接地する

よくある質問

Q 1。基礎モデルとは何ですか？

A.ファンデーションモデルは、多様なデータを大量に訓練する大規模な機械学習モデルであり、幅広いタスクにわたって一般化できるようにします。 LLMは、膨大な量のテキストデータでトレーニングされたファンデーションモデルの一種です。

Q2。AI幻覚とは何ですか？

A. AIの幻覚とは、AIモデルが正確であると思われる情報を生成しますが、間違っているか、製造されている現象を指します。このモデルは、実際のデータまたは事実に基づいていない応答を生成します。

Q3。なぜLLMSは幻覚をするのですか？

A. LLMSは、トレーニングされているデータのパターンに基づいて出力を生成するため、幻覚です。クエリに答えるのに十分なコンテキストまたは関連するデータがない場合、既存の知識ベースにある同様のデータに基づいて、不確実性を認める代わりに、もっともらしいサウンド情報を作成する場合があります。

Q4。GoogleGemmaとは何ですか？

A. Google Gemmaは、Google Geminiの研究に基づいたGoogleの軽量LLMモデルです。 Gemmaのバリアントは、Googleのデータコモンズの実際の統計データとLLMを接続するために開発されたオープンモデルであるDatagemmaです。

Q 5。リグとラグの違いは何ですか？

A. RIGは、Google Data Commonsなどの外部データソースに対して生成された応答をチェックすることにより、実際の統計データをモデルの出力に直接統合します。したがって、基本的に応答が生成され、外部ソースでファクトチェックされます。しかし、RAGでは、外部データベースまたは知識ソースから関連情報を取得し、この情報に基づいて応答を生成します。

この記事に示されているメディアは、Analytics Vidhyaが所有しておらず、著者の裁量で使用されています。

以上がDatagemma：幻覚に対するLLMの接地 - 分析Vidhyaの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。