Mengapa generasi pengambilan semula masih relevan dalam era model bahasa konteks panjang

mari kita meneroka evolusi generasi pengambilan semula (RAG) dalam konteks model bahasa besar yang semakin kuat (LLMS). Kami akan mengkaji bagaimana kemajuan dalam LLM mempengaruhi keperluan rag.

Sejarah ringkas RAG

RAG bukan konsep baru. Idea untuk menyediakan konteks kepada LLMS untuk akses kepada data semasa mempunyai akar dalam kertas Facebook AI/Meta 2020, "Generasi Pengambilan Pengambilan untuk Tugas NLP yang berintensifkan pengetahuan" -Menghibitkan debut November 2022 CHATGPT. Makalah ini menyerlahkan dua jenis memori untuk LLM:

Memori parametrik:
• pengetahuan yang wujud pada LLM, yang diperoleh semasa latihan pada dataset teks yang luas. Memori bukan parametrik: konteks luaran yang disediakan dalam prompt.
• Kertas asal menggunakan embeddings teks untuk carian semantik untuk mendapatkan dokumen yang relevan, walaupun ini bukan satu -satunya kaedah untuk pengambilan dokumen dalam RAG. Penyelidikan mereka menunjukkan bahawa RAG menghasilkan lebih tepat dan tanggapan faktual berbanding menggunakan LLM sahaja.

kesan chatgpt

Pelancaran November 2022 Chatgpt mendedahkan potensi LLM untuk menjawab pertanyaan, tetapi juga menyerlahkan batasan:

Pengetahuan terhad:

LLMS kekurangan akses kepada maklumat di luar data latihan mereka.

• Hallucinations: llms boleh membuat maklumat daripada mengakui ketidakpastian.
• LLMS hanya bergantung pada data latihan dan input segera. Pertanyaan di luar skop ini sering membawa kepada tindak balas yang direka.

kenaikan dan penghalusan RAG

Walaupun RAG pra-bertarikh chatgpt, penggunaannya yang meluas meningkat dengan ketara pada tahun 2023. Konsep teras adalah mudah: bukannya secara langsung menanyakan LLM, memberikan konteks

yang relevan

dalam prompt dan mengarahkan LLM untuk menjawab berasaskan

semata -mata

pada konteks itu. Prompt berfungsi sebagai titik permulaan LLM untuk penjanaan jawapan.

Pendekatan ini mengurangkan halusinasi, membolehkan akses kepada data terkini, dan memudahkan penggunaan data khusus perniagaan.

batasan awal RAG

Cabaran awal berpusat pada saiz tetingkap konteks terhad. Had Token 4K ChatGPT-3.5 (kira-kira 3000 perkataan Inggeris) mengekang jumlah konteks dan panjang jawapan. Keseimbangan diperlukan untuk mengelakkan konteks yang terlalu panjang (mengehadkan panjang jawapan) atau konteks yang tidak mencukupi (risiko peninggalan maklumat penting).

tetingkap konteks bertindak seperti papan hitam terhad; Lebih banyak ruang untuk arahan meninggalkan kurang untuk jawapannya.

Landskap semasa

Perubahan ketara telah berlaku sejak itu, terutamanya mengenai saiz tetingkap konteks. Model seperti GPT-4O (yang dikeluarkan Mei 2024) mempunyai tetingkap konteks token 128K, manakala Google's Gemini 1.5 (tersedia sejak Februari 2024) menawarkan tingkap token 1 juta besar.

Peranan Peralihan RAG

Peningkatan ini dalam saiz tetingkap konteks telah mencetuskan perdebatan. Ada yang berpendapat bahawa dengan keupayaan untuk memasukkan seluruh buku dalam prompt, keperluan untuk konteks yang dipilih dengan teliti berkurangan. Satu kajian (Julai 2024) bahkan mencadangkan bahawa context panjang yang mendorong mungkin mengatasi kain dalam senario tertentu.

Pengambilan Generasi Augmented atau LLMS Context Long? Kajian yang komprehensif dan pendekatan hibrid

Walau bagaimanapun, kajian yang lebih baru (September 2024) menentang ini, menekankan pentingnya kain dan menunjukkan bahawa batasan sebelumnya berpunca daripada perintah elemen konteks dalam prompt.

dalam mempertahankan kain dalam era model bahasa konteks panjang

Satu lagi kajian yang berkaitan (Julai 2023) menekankan kesan kedudukan maklumat dalam jangka panjang.

hilang di tengah: Bagaimana model bahasa menggunakan konteks panjang

Maklumat

pada permulaan prompt lebih mudah digunakan oleh LLM daripada maklumat di tengah.

Masa Depan Rag

Walaupun kemajuan dalam saiz tetingkap konteks, kain tetap penting, terutamanya disebabkan oleh pertimbangan kos. Ganjaran lebih lama menuntut lebih banyak kuasa pemprosesan. RAG, dengan mengehadkan saiz segera kepada maklumat penting, mengurangkan kos pengiraan dengan ketara. Masa depan RAG mungkin melibatkan penapisan maklumat yang tidak relevan dari dataset besar untuk mengoptimumkan kos dan kualiti jawapan. Penggunaan model yang lebih kecil dan khusus yang disesuaikan dengan tugas -tugas tertentu juga mungkin akan memainkan peranan penting.

Atas ialah kandungan terperinci Mengapa generasi pengambilan semula masih relevan dalam era model bahasa konteks panjang. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!