Datagemma: LLM Grounding Against Hallucinations - Analytics Vidhya

Pengenalan

Model bahasa yang besar dengan cepat mengubah industri-hari ini, mereka menguasai segala-galanya dari perkhidmatan pelanggan yang diperibadikan dalam perbankan ke terjemahan bahasa masa nyata dalam komunikasi global. Mereka boleh menjawab soalan dalam bahasa semula jadi, meringkaskan maklumat, menulis esei, menjana kod, dan banyak lagi, menjadikannya alat yang tidak ternilai di dunia hari ini. Tetapi walaupun banyak kelebihan mereka, mereka mengalami kecacatan kritikal yang dikenali sebagai "halusinasi". Ini adalah contoh apabila model menghasilkan maklumat yang nampaknya betul dan realistik tetapi sama ada sebahagiannya atau benar-benar palsu, yang dibuat oleh model dan tidak mempunyai sebarang asas dalam data dunia nyata. Oleh itu, untuk menangani ini, Google telah membangunkan model terbuka, alat yang dipanggil Datagemma untuk menyambungkan LLM dengan data dunia sebenar dan fakta-fakta respons mereka dengan sumber yang dipercayai menggunakan data Google Commons.

Hasil pembelajaran

• Memahami asas -asas model bahasa besar (LLM) dan aplikasi mereka.
• Terokai sebab -sebab dan jenis halusinasi di LLMS.
• Ketahui bagaimana Datagemma Google menangani halusinasi LLM menggunakan data dunia sebenar.
• Mendapatkan pandangan ke dalam teknik canggih seperti generasi pengambilan semula (rig) dan pengambilan semula generasi tambahan (RAG).
• Ketahui bagaimana Commons data Google meningkatkan ketepatan faktual LLM.

Artikel ini diterbitkan sebagai sebahagian daripada Blogathon Sains Data.

Jadual Kandungan

• Memahami model bahasa besar
• Memahami seni bina Gemma
• Apakah halusinasi dalam konteks LLM?
• Apa itu Datagemma?
• RIG: Pendekatan hibrid untuk meminimumkan halusinasi LLM
• Pengambilan Generasi Tambahan Untuk Meminimumkan Lalai LLM
• Mengapa datagemma penting?
• Soalan yang sering ditanya

Memahami model bahasa besar

Model bahasa yang besar adalah model asas, dilatih pada sejumlah besar data teks dengan parameter dari berjuta -juta hingga berbilion, yang dapat memahami dan menghasilkan bahasa semula jadi. Mereka dibina di atas seni bina pengubah yang membolehkan pemprosesan dan menghasilkan bahasa semula jadi. Model LLM boleh disesuaikan dengan tugas-tugas tertentu dalam domain tertentu dengan menggunakan dataset tersuai. Sebagai contoh, model LLM seperti Bert boleh disesuaikan dengan corpora cybersecurity untuk mengautomasikan kecerdasan ancaman menggunakan LLMS.Some model LLM yang popular adalah GPT-4 oleh Openai, Bert dan Gemini oleh Google, Llama oleh Meta, Claude oleh Anthropic dan lain-lain.

Perbandingan Gemma, Gemini dan Bert

Gemma	Gemini	Bert
Model ringan untuk pemaju	Lebih besar dan lebih kuat, perbualan AI	Model pra-terlatih untuk tugas NLP
Sesuai untuk aplikasi dengan kekangan sumber seperti telefon bimbit & pengkomputeran tepi	Ideal untuk tugas-tugas kompleks tanpa kekangan sumber seperti analisis data berskala besar, aplikasi AI yang kompleks.	Sesuai untuk tugas seperti klasifikasi teks, menjawab soalan, analisis sentimen.
Mudah digunakan dalam persekitaran sumber terhad	Sering digunakan dalam persekitaran awan atau pusat data dengan sumber yang banyak.	Digunakan kedua-dua premis atau persekitaran awan, tetapi versi yang lebih besar (seperti Bert-besar) memerlukan sumber pengiraan yang signifikan
Memerlukan sumber pengiraan yang kurang	Selalunya memerlukan lebih banyak sumber pengiraan.	Model yang lebih kecil seperti Bert-base boleh digunakan pada perkakasan sederhana, manakala model yang lebih besar seperti Bert-Large mungkin memerlukan lebih banyak sumber, tetapi masih kurang daripada Gemini.

Memahami seni bina Gemma

Seni bina Gemma direka untuk mengintegrasikan teknik pengambilan dan generasi lanjutan, yang membolehkan sistem untuk mengakses sumber data luaran secara bijak sambil menghasilkan respons yang tepat dan tepat, menjadikannya sangat berkesan untuk pelbagai aplikasi yang didorong oleh AI.

Gemma didasarkan pada seni bina pengubah pengubah:

Gemma dan Gemma 2 (versi terkini yang dikeluarkan pada tahun 2024) tergolong dalam keluarga Gemma model LLM Google. Mereka boleh disesuaikan dengan tugas yang disesuaikan. Sebagai contoh: Model Codegemma adalah model Gemma yang disempurnakan untuk penyelesaian kod.

Apakah halusinasi dalam konteks LLM?

Hallucinations di LLMS adalah contoh di mana model dengan yakin menghasilkan output yang tidak tepat, tidak konsisten atau membuat maklumat tetapi nampaknya boleh dipercayai kepada kami. Model ini membangkitkan kandungan dan kandungan itu sebenarnya tidak benar. Sebagai contoh: Dalam kes mahkamah, dua peguam memetik sumber yang disediakan oleh Chatgpt yang ternyata palsu.

Halusinasi ai boleh menjadi tiga jenis

• Input halusinasi yang bercanggah : Model ini menghasilkan output yang menyimpang dari maklumat yang disediakan oleh pengguna dalam input.
• Konteks Konteks yang bertentangan: Di sini, model menghasilkan output yang bertentangan dengan output yang dihasilkan sebelum ini.
• Hallucinations-conflicting: Model menghasilkan output palsu/tidak tepat yang bertentangan dengan pengetahuan atau fakta dunia nyata.

Apa yang menyebabkan halusinasi?

• Data Latihan Terhad : Apabila model belum dilatih dengan teliti atau dilatih pada data yang terhad, apabila ia menemui yang cepat berbeza dari data latihan itu, walaupun ia tidak memahami sepenuhnya prompt baru, ia mungkin menghasilkan data berdasarkan data latihan yang ada yang membawa kepada ketidaktepatan.
• Overfitting: Apabila terlalu banyak ciri disediakan, model akan cuba menangkap semua titik data tanpa memahami corak asas dan kemudian mendapatkan ketepatan 100% pada data latihan, tetapi ia tidak akan umum dengan baik pada data baru.

Seperti yang anda dapat lihat, kandungan LLM halusinasi boleh berbahaya jika digunakan tanpa pemeriksaan fakta. Dalam aplikasi di mana ketepatan fakta adalah penting dan tidak ada apa-apa maklumat yang salah, seperti nasihat perubatan atau panduan undang-undang, halusinasi boleh menyebabkan maklumat salah dengan akibat yang berpotensi serius. Halusinasi disampaikan dengan yakin sebagai jawapan yang betul, oleh itu ia boleh menjadi sukar bagi pengguna untuk mengenalinya. Selain itu, kerana pergantungan kepada AI untuk maklumat yang tepat semakin meningkat, halusinasi dapat mengurangkan kepercayaan dalam sistem AI, menjadikannya lebih sukar bagi LLM yang diterima dalam domain tinggi.

Oleh itu, pemaju model perlu menangani masalah ini dan memastikan bahawa dalam kes -kes yang melibatkan ketepatan dan fakta, LLM harus menghasilkan output yang betul dan faktual untuk mengelakkan penyebaran maklumat salah. Satu pendekatan sedemikian untuk menangani halusinasi AI telah dibangunkan oleh Google dalam bentuk datagemma.

Apa itu Datagemma?

Datagemma adalah model terbuka yang dibangunkan oleh Google untuk menyambungkan LLM dengan data yang layak, faktual, dunia nyata yang diperoleh daripada datacommons Google.

Google Data Commons adalah repositori terbuka yang menggabungkan sejumlah besar dataset awam ke dalam format bersatu, menjadikannya lebih mudah untuk mengakses dan menggunakan. Ia menggabungkan data dari pelbagai sumber, termasuk kertas kerajaan, organisasi penyelidikan, dan pangkalan data global. Tujuan utama Commons data adalah untuk menyediakan rangka kerja yang sama untuk pelbagai dataset, yang membolehkan pengguna untuk menanyakan dan menganalisis data dunia nyata berstruktur di pelbagai domain tanpa memerlukan pembersihan data atau usaha integrasi mahal.

Ciri -ciri utama Data Commons

• Ia termasuk data mengenai pelbagai topik seperti demografi, ekonomi, persekitaran, dan penjagaan kesihatan, yang diperoleh dari tempat -tempat seperti Biro Banci AS, Bank Dunia, NOAA, dan banyak lagi.
• Data ini dianjurkan ke dalam skema piawai, jadi pengguna dapat dengan mudah menanyakan dataset tanpa perlu menangani kerumitan format dan struktur data yang berbeza.
• Pemaju boleh mengakses data melalui API.
• Ia adalah perkhidmatan awam yang bebas untuk digunakan, direka untuk membuat data yang berkualiti tinggi dan boleh diakses oleh semua orang.

Kepentingan Commons Data

• Penyelidik boleh menggunakan data komon untuk mengumpulkan dan menganalisis dataset yang besar dan berstruktur tanpa memerlukan sumber dan membersihkan data secara manual.
• Model bahasa yang besar (LLMS), seperti Gemma Google, boleh menggunakan data komon untuk merujuk data dunia sebenar, mengurangkan halusinasi dan meningkatkan ketepatan faktual dalam output mereka.

Pautan: Bina Commons Data Anda Sendiri - Data Commons

RIG: Pendekatan hibrid untuk meminimumkan halusinasi LLM

Ia adalah teknik lanjutan dalam pemprosesan bahasa semulajadi (NLP) yang menggabungkan kaedah berasaskan pengambilan semula dan generasi untuk meningkatkan kualiti dan kaitan respons.

Berikut adalah penjelasan ringkas tentang bagaimana rig berfungsi:

• Kaedah berasaskan pengambilan semula: Kaedah ini melibatkan mencari pangkalan data besar respons atau dokumen yang sedia ada untuk mencari maklumat yang paling relevan. Pendekatan ini memastikan bahawa respons adalah tepat dan berasaskan dalam data sebenar.
• Kaedah berasaskan generasi: Kaedah ini menggunakan model untuk menghasilkan respons dari awal berdasarkan input. Ini membolehkan tindak balas yang lebih fleksibel dan kreatif tetapi kadang -kadang boleh membawa kepada ketidaktepatan atau halusinasi.
• Interleaving: Dengan interleaving atau menggabungkan teknik pengambilan dan penjanaan, RIG menggunakan kekuatan kedua -dua pendekatan. Sistem ini mengambil maklumat yang relevan dan kemudian menggunakan model generatif untuk memperbaiki dan mengembangkannya, memastikan ketepatan dan kreativiti.

Ini berguna dalam aplikasi di mana respons berkualiti tinggi, kontekstual yang berkaitan adalah penting, seperti dalam perbualan AI, sokongan pelanggan, dan penciptaan kandungan.

Dalam Datagemma, Gemma 2 disesuaikan dengan baik untuk mengenali kapan untuk mengekstrak maklumat yang tepat semasa menghasilkan output. Dalam hal ini, ia menggantikan angka yang dihasilkan dalam output, dengan maklumat yang lebih tepat dari data. Oleh itu, pada dasarnya model menggabungkan outputnya dengan sumber yang lebih dipercayai.

Bagaimana rig digunakan dalam datagemma?

Dalam Datagemma, generasi pengambilan semula (RIG) yang dimanfaatkan untuk meningkatkan ketepatan dan kaitan output dengan menggabungkan kekuatan kedua-dua model pengambilan dan generatif, memastikan kandungan yang dihasilkan berasaskan data yang boleh dipercayai dari sumber yang dipercayai seperti data.

• Pertama, pengguna mengemukakan pertanyaan kepada model LLM. Dalam kes kami, model LLM adalah Datagemma, yang berdasarkan model Gemma 2 dengan parameter 27B, disesuaikan dengan rig.
• Model Datagemma menghasilkan tindak balas dalam bentuk pertanyaan bahasa semulajadi. Tujuannya adalah untuk mendapatkan data yang relevan dari antara muka bahasa semulajadi Data Commons.
• Data Commons ditanyakan, dan data yang diperlukan diambil.
• Sambutan akhir dihasilkan dan ditunjukkan kepada pengguna. Sambutan termasuk data, maklumat sumber bersama -sama dengan pautannya, dan beberapa metadata. Ini menggantikan nombor yang berpotensi tidak tepat dalam tindak balas asal.

Prosedur Langkah demi Langkah di Google Colab

Marilah kita melaksanakan rig untuk meminimumkan halusinasi.

Prasyarat:

• A100 GPU
• Runtime High-Ram
• Memeluk token muka

Langkah1: Log masuk ke akaun muka pelukan anda dan buat token baru

Klik di sini untuk log masuk memeluk akaun muka.

Buat token baru:

Langkah2: Kunci API DataCommons

• Klik di sini untuk membuat akaun anda.
• Buat aplikasi baru untuk mengintegrasikan data dengan data. Daftar untuk kunci API.

Langkah3: Dayakan Data Commons NL API

Pergi ke bahagian Rahsia Notebook Colab anda. Buat rahsia baru dan akses notebook.

• Hf_token dengan nilai sebagai token muka pelukan anda
• Dc_api_key dengan nilai sebagai token data anda

Langkah 4: Pasang perpustakaan yang diperlukan

Mari kita pasang perpustakaan yang diperlukan.

 #Simpan perpustakaan yang diperlukan berikut 
! Pip install -q git https://github.com/datacommonsorg/llm-tools
! Pip Install -Q Bitsandbytes mempercepat

#lo muatkan model GEMMA2 27B yang finetuned 

obor import

import data_gemma sebagai dg

dari Google.Colab Import UserData
Dari Transformers Import Autotokenizer, Automelforcausallm, Bitsandbytesconfig

# Inisialisasi Pelanggan API Data Commons
Dc_api_key = userdata.get ('dc_api_key')
dc = dg.datacommons (api_key = dc_api_key)


# Dapatkan model GemMA2 Finetuned dari Huggingface
Hf_token = userdata.get ('hf_token')

nf4_config = bitsandbytesconfig (
   LOAD_IN_4BIT = BENAR,
   bnb_4bit_quant_type = "nf4",
   bnb_4bit_compute_dtype = obor.bfloat16
)

Model_name = 'Google/Datagemma-rig-27b-it'
tokenizer = autotokenizer.from_pretrained (model_name, token = hf_token)
datagemma_model = automodelforcausallm.from_pretrained (model_name,
                                             device_map = "auto",
                                             quantization_config = nf4_config,
                                             obor_dtype = obor.bfloat16,
                                             token = hf_token)

# Bina stub model LLM untuk digunakan dalam aliran rig
datagemma_model_wrapper = dg.hfbasic (datagemma_model, tokenizer)

Langkah5: Pilih atau masukkan pertanyaan

Dalam langkah ini, pengguna boleh memilih pertanyaan yang telah ditetapkan atau memasukkan pertanyaan tersuai, membolehkan sistem untuk mendapatkan maklumat yang relevan dari sumber data untuk pemprosesan selanjutnya.

Langkah 6: Jalankan teknik rig dan menghasilkan output

Dalam langkah ini, teknik rig dilaksanakan, menggabungkan kaedah pengambilan dan generasi untuk menghasilkan output yang tepat dan kontekstual yang relevan berdasarkan pertanyaan input.

 dari ipython.display import markdown
Import Textwrap

def display_chat (prompt, teks):
  formatted_prompt = "<font size="'1'" color="'coklat'">? ‍♂️ <clockquote>" prompt " </clockquote></font>"
  teks = text.replace ('•', ' *')
  teks = textwrap.indent (teks, '>', predikat = lambda _: benar)
  formatted_text = "<font size="'1'" color="'teal'">? \ n \ n" teks "\ n </font>"
  Kembali Markdown (Formatted_prompt Formatted_text)

def to_markdown (teks):
  teks = text.replace ('•', ' *')
  Kembali Markdown (TextWrap.Indent (teks, '>', predikat = lambda _: benar))


ans = dg.rigFlow (llm = datagemma_model_wrapper, data_fetcher = dc, verbose = false) .Query (query = query)
Markdown (textwrap.indent (ans.answer (), '>', predikat = lambda _: benar))


display_chat (pertanyaan, ans.answer ())

Output: (untuk pertanyaan yang berbeza)

Kesimpulan: GEMMA2 hanya menjana nilai berangka manakala Datagemma menghasilkan nilai berangka bersama dengan maklumat sumbernya, pautan sumber, beberapa data meta dan kesimpulan untuk pertanyaan.

Sumber: Notebook Google Colab yang disediakan oleh Google

Pengambilan Generasi Tambahan Untuk Meminimumkan Lalai LLM

Pengambilan semula Generasi Augmented adalah pendekatan dalam pemprosesan bahasa semulajadi (NLP) dan model bahasa yang besar (LLM) untuk meningkatkan ketepatan fakta dan kaitan kandungan yang dihasilkan dengan membenarkan model untuk mengakses sumber pengetahuan luaran semasa proses penjanaan. Ia mengambil maklumat yang relevan dari data Commons sebelum LLM menjana teks, memberikannya dengan asas faktual untuk responsnya.

Inilah penjelasan ringkas tentang cara kerja kain:

• Pengambilan semula: Apabila pengguna memasuki pertanyaan, model menerima dan kemudian mengekstrak data yang relevan dari pangkalan pengetahuan atau sumber luarannya.
• Peningkatan: Maklumat luaran ini kemudiannya digunakan untuk "menambah" (atau meningkatkan) konteks input untuk model bahasa, membantu ia menghasilkan tindak balas yang lebih kontekstual yang relevan.
• Generasi: LLM menghasilkan respons berdasarkan kedua -dua pertanyaan asal dan maklumat yang diambil.

Bagaimana Rag digunakan dalam Datagemma?

Dalam Datagemma, generasi pengambilan semula (RAG) digunakan untuk meningkatkan ketepatan tindak balas dengan mengambil data yang relevan dari sumber luaran dan kemudian menghasilkan kandungan yang menggabungkan pengetahuan yang diambil dengan pandangan AI-generasi, memastikan output yang berkualiti tinggi dan kontekstual yang relevan.

Inilah cara kerja kain:

• Pertama, pengguna mengemukakan pertanyaan kepada model LLM. Dalam kes kami, model LLM adalah Datagemma, yang berdasarkan model GEMMA 2 dengan parameter 27B, disesuaikan untuk tugas RAG.
• Model Datagemma menghasilkan tindak balas, selepas menganalisis pertanyaan input, dalam bentuk pertanyaan bahasa semulajadi. Tujuannya adalah untuk mendapatkan data yang relevan dari antara muka bahasa semulajadi Data Commons.
• Data Commons ditanyakan dan maklumat yang diperlukan diambil.
• Sambutan akhir dihasilkan dan ditunjukkan kepada pengguna. Ini termasuk jadual data, maklumat sumber bersama dengan pautannya, dan beberapa metadata. Ini menggantikan nombor yang berpotensi tidak tepat dalam tindak balas asal.
• Maklumat yang diambil ini ditambah kepada pertanyaan pengguna asal, mewujudkan prompt yang dipertingkatkan atau ditambah.
• LLM yang lebih besar (dalam kes kami, Gemini 1.5 Pro) menggunakan prompt yang dipertingkatkan ini, termasuk data yang diambil, untuk menghasilkan tindak balas yang lebih baik, lebih tepat dan faktual.

Prosedur Langkah demi Langkah di Google Colab

Sekarang kita akan melihat prosedur langkah demi langkah RAG untuk meminimumkan halusinasi.

Prasyarat:

• A100 GPU
• Runtime High-Ram
• Memeluk token muka
• Token API Data Commons
• Kunci API Gemini 1.5 Pro

Langkah1: Buat Kunci API Gemini

Pergi ke Google AI Studio dan membuat kunci API Gemini.

Langkah2: Dayakan Akses Notebook

Pergi ke bahagian Rahsia Notebook Google Colab anda dan masukkan Face Hugging, Data Commons dan Gemini 1.5 Pro API Key. Dayakan Akses Notebook.

Langkah3: Pasang perpustakaan yang diperlukan

Dalam langkah ini, anda akan memasang perpustakaan yang diperlukan yang membolehkan pelaksanaan teknik RIG dan memastikan operasi sistem Datagemma yang lancar.

 #Install perpustakaan
! Pip install -q git https://github.com/datacommonsorg/llm-tools
! Pip Install -Q Bitsandbytes mempercepat

#Load model GEMMA2 27B yang disesuaikan dengan halus
obor import

import data_gemma sebagai dg

dari Google.Colab Import UserData
Dari Transformers Import Autotokenizer, Automelforcausallm, Bitsandbytesconfig

# Inisialisasi Pelanggan API Data Commons
Dc_api_key = userdata.get ('dc_api_key')
dc = dg.datacommons (api_key = dc_api_key)

# Dapatkan Model Pro Gemini 1.5
Gemini_api_key = userData.get ('Gemini_api_key')
gemini_model = dg.googleaistudio (model = 'gemini-1.5-pro', api_keys = [Gemini_api_key]))


# Dapatkan model GemMA2 Finetuned dari Huggingface
Hf_token = userdata.get ('hf_token')

nf4_config = bitsandbytesconfig (
   LOAD_IN_4BIT = BENAR,
   bnb_4bit_quant_type = "nf4",
   bnb_4bit_compute_dtype = obor.bfloat16
)

Model_name = 'Google/Datagemma-rag-27b-it'
tokenizer = autotokenizer.from_pretrained (model_name, token = hf_token)
datagemma_model = automodelforcausallm.from_pretrained (model_name,
                                             device_map = "auto",
                                             quantization_config = nf4_config,
                                             obor_dtype = obor.bfloat16,
                                             token = hf_token)

# Bina stub model LLM untuk digunakan dalam aliran kain
datagemma_model_wrapper = dg.hfbasic (datagemma_model, tokenizer)

Langkah4: Pilih atau buat pertanyaan anda sendiri

Anda akan memilih atau membuat pertanyaan tersuai yang akan berfungsi sebagai input untuk teknik rig untuk mendapatkan dan menghasilkan output yang dikehendaki.

Langkah 5: Jalankan kain dan menjana output

Sekarang anda akan melaksanakan sistem RAG untuk mendapatkan data yang relevan dan menjana output akhir berdasarkan pertanyaan yang anda berikan.

 dari ipython.display import markdown
Import Textwrap

def display_chat (prompt, teks):
  formatted_prompt = "<font size="'1'" color="'coklat'">? ‍♂️ <clockquote>" prompt " </clockquote></font>"
  teks = text.replace ('•', ' *')
  teks = textwrap.indent (teks, '>', predikat = lambda _: benar)
  formatted_text = "<font size="'1'" color="'teal'">? \ n \ n" teks "\ n </font>"
  Kembali Markdown (Formatted_prompt Formatted_text)

def to_markdown (teks):
  teks = text.replace ('•', ' *')
  Kembali Markdown (TextWrap.Indent (teks, '>', predikat = lambda _: benar))

ans = dg.ragflow (llm_question = datagemma_model_wrapper, llm_answer = Gemini_model, data_fetcher = dc) .Query (query = query)
Markdown (textwrap.indent (ans.answer (), '>', predikat = lambda _: benar))


display_chat (pertanyaan, ans.answer ())

Output:

Kesimpulan: Apabila pertanyaan diminta, jadual data yang berkaitan yang berkaitan dengan pertanyaan diambil dan kemudian data ini digunakan untuk menyusun respons akhir dengan maklumat dan pandangan yang bermakna. Tanggapan pertanyaan bersama -sama dengan pautan sumber, jadual, dan kesimpulan dijana sebagai output.

Pautan: Data Gemma Rag

Mengapa datagemma penting?

Datagemma Grounds output LLM dalam data dunia sebenar, memastikan bahawa model menghasilkan respons berasaskan fakta. Dengan fakta-memeriksa respons model dengan data yang disahkan dari data Google, DataGemma membantu mengurangkan bilangan jawapan yang salah atau direka. Menggunakan pendekatan rig dan RAG, penyelidik di Google telah melihat peningkatan yang ketara dalam ketepatan output yang dihasilkan oleh model, terutamanya dalam menangani pertanyaan yang memerlukan output berangka.

Mereka telah melihat bahawa pengguna lebih suka output yang dihasilkan oleh rig dan kain lebih daripada output asas. Pendekatan ini dapat mengurangkan halusinasi AI, ia dapat mengurangkan penjanaan maklumat salah. Selain itu, sejak Google telah menjadikan model terbuka model GEMMA ini, ia boleh digunakan oleh pemaju dan penyelidik untuk meneroka pendekatan ini dan meningkatkan lagi untuk mencapai matlamat bersama untuk menjadikan LLM lebih dipercayai dan boleh dipercayai.

Kesimpulan

LLMs telah menjadi alat penting di seluruh industri, tetapi kecenderungan mereka untuk "halusinasi" -generasi maklumat yang meyakinkan tetapi tidak betul -menimbulkan isu penting. Datagemma Google, apabila digabungkan dengan data dunia sebenar yang luas dari data Google, menyediakan penyelesaian yang mungkin untuk masalah ini. Teknik dalam Datagemma meningkatkan ketepatan, terutamanya dengan maklumat berangka, dengan mendasarkan output LLM pada data statistik yang disahkan. Ia juga mengurangkan maklumat yang salah. Keputusan awal menunjukkan bahawa strategi ini meningkatkan kredibiliti respons AI, dengan pengguna lebih suka output yang lebih faktual yang diberikan oleh sistem. Kerana Datagemma adalah model terbuka, penyelidik dan pemaju boleh menggunakannya dan memperbaikinya, membawa LLM lebih dekat untuk menjadi alat yang boleh dipercayai untuk aplikasi dunia nyata. Kerjasama dapat membantu mengurangkan halusinasi dan meningkatkan kepercayaan.

Rujukan

• DATAGEMMA: Model Terbuka AI menyambungkan LLM ke Commons Data Google (Blog.Google)
• Grounding AI dalam realiti dengan sedikit bantuan dari data Commons (Research.Google)

Soalan yang sering ditanya

Q 1. Apakah model asas?

A. Model Yayasan adalah model pembelajaran mesin yang besar yang terlatih dalam sejumlah besar data yang pelbagai, membolehkannya untuk merentasi pelbagai tugas. LLMS adalah sejenis model asas yang dilatih dalam sejumlah besar data teks.

Q 2. Apakah halusinasi AI?

A. AI halusinasi merujuk kepada fenomena di mana model AI menghasilkan maklumat yang kelihatan tepat tetapi tidak betul atau dibuat. Model ini menghasilkan respons yang kurang mendirikan data atau fakta dunia nyata.

Q3. Mengapa LLMS Hallucinate?

A. llms hallucinate kerana mereka menghasilkan output berdasarkan corak dalam data yang telah dilatih. Apabila mereka tidak mempunyai konteks yang cukup atau data yang relevan untuk menjawab pertanyaan, mereka boleh membuat maklumat yang masuk akal yang munasabah dan bukannya mengakui ketidakpastian, berdasarkan data yang sama yang terdapat di dalamnya asas pengetahuan yang ada.

Q 4. Apa itu Google Gemma?

A. Google Gemma adalah model LLM ringan Google berdasarkan penyelidikan Google Gemini. Variasi Gemma adalah Datagemma yang merupakan model terbuka yang dibangunkan untuk menyambungkan LLM dengan data statistik dunia sebenar dari Commons Data Google.

Q 5. Apakah perbezaan antara rig dan kain?

A. RIG mengintegrasikan data statistik dunia nyata terus ke dalam output model dengan memeriksa respons yang dihasilkan terhadap sumber data luaran, seperti Google Data Commons. Oleh itu, pada dasarnya tindak balas dijana dan kemudian ia diperiksa dengan sumber luaran. Tetapi dalam RAG, ia mengambil maklumat yang relevan dari pangkalan data luaran atau sumber pengetahuan dan kemudian menghasilkan respons berdasarkan maklumat ini.

Media yang ditunjukkan dalam artikel ini tidak dimiliki oleh Analytics Vidhya dan digunakan atas budi bicara penulis.

Atas ialah kandungan terperinci Datagemma: LLM Grounding Against Hallucinations - Analytics Vidhya. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!