Menyediakan dan menjalankan Graphrag dengan Neo4j

Pakej Neo4J Graphrag Python menyediakan penyelesaian lengkap untuk mewujudkan aliran kerja akhir-ke-akhir, daripada mengubah data tidak berstruktur ke dalam graf pengetahuan untuk membolehkan pengambilan grafik pengetahuan dan membina saluran paip graphrag penuh. Pakej ini memudahkan mengintegrasikan graf pengetahuan ke dalam aplikasi Genai berasaskan Python (seperti pembantu pengetahuan, API carian, chatbots, atau penjana laporan), meningkatkan ketepatan, kaitan, dan penjelasan generasi pengambilan semula (RAG).

Panduan ini menunjukkan cara menggunakan pakej Graphrag Python, membina saluran paip graphrag, dan meneroka pelbagai kaedah pengambilan graf pengetahuan untuk menyesuaikan aplikasi GueLy anda.

Jadual Kandungan:

• Graphrag: Meningkatkan Genai dengan Graf Pengetahuan
• Komponen teras saluran paip grafik graphrag
• Menyediakan pangkalan data NEO4J
  • Memasang perpustakaan yang diperlukan
  • Mengkonfigurasi butiran sambungan NEO4J
  • Menetapkan kunci API Terbuka
• 1. Membina dan menentukan saluran paip graf pengetahuan
  • Inisialisasi pemandu NEO4J
  • Memulakan model LLM dan penyembuhan
  • Menentukan label nod
  • Menentukan jenis hubungan
  • Membuat templat segera
  • Membina saluran paip graf pengetahuan
• 2. Mendapatkan data dari graf pengetahuan anda
  • Pengambilan Vektor Retriever dan Pengetahuan Pengetahuan
  • Menggunakan vectorcypherretriever untuk graf traversal
• 3. Membina saluran paip graphrag
  • Instantiating dan menjalankan graphrag
• Kesimpulan
• Soalan yang sering ditanya

Graphrag: memanfaatkan graf pengetahuan untuk meningkatkan genai

Graphrag menangani cabaran LLM biasa seperti halusinasi dengan menggabungkan graf pengetahuan dengan kain. Ia memperkayakan respons dengan maklumat khusus konteks, menghasilkan output yang lebih berkualiti tinggi, lebih tepat daripada kaedah RAG tradisional. Grafik pengetahuan menyediakan data kontekstual yang penting, membolehkan LLM memberikan jawapan dan fungsi yang boleh dipercayai dengan berkesan dalam senario kompleks. Tidak seperti kain tradisional, yang bergantung kepada data teks yang berpecah-belah, Graphrag menggabungkan kedua-dua data berstruktur dan separa berstruktur ke dalam proses pengambilan semula.

Pakej Graphrag Python memudahkan penciptaan grafik pengetahuan dan kaedah pengambilan lanjutan (traversals graf, penjanaan pertanyaan teks-ke-sypher, carian vektor, dan carian teks penuh). Ia juga menawarkan alat untuk membina saluran paip RAG yang lengkap, membolehkan integrasi graphrag yang lancar dengan NEO4J dalam aplikasi genai.

Komponen Utama Paip Pembinaan Grafik Pengetahuan Graphrag

Paip pembinaan grafik grafik (kg) terdiri daripada beberapa komponen penting untuk mengubah teks mentah ke dalam data berstruktur yang dioptimumkan untuk kain:

• Dokumen Parser: Ekstrak teks dari pelbagai format dokumen (misalnya, PDFS).
• Dokumen Chunker: Membahagikan teks ke segmen yang lebih kecil yang sesuai untuk had token LLM.
• Embedder Chunk (Pilihan) : Menjana embeddings vektor untuk setiap bahagian, membolehkan padanan semantik.
• Skema Builder: Menentukan struktur KG, pengekstrakan entiti membimbing dan memastikan konsistensi.
• LexicalGraphBuilder (Pilihan) : Mewujudkan Grafik Leksikal Menghubungkan Dokumen dan Ketulan.
• Entiti dan Hubungan Pengekstrak: Mengenal pasti entiti (contohnya, orang, tarikh) dan hubungan mereka.
• Pengetahuan Grafik Penulis: Menyimpan entiti dan hubungan dalam pangkalan data graf untuk mendapatkan semula.
• Entiti Resolver: Menggabungkan entiti duplikat atau serupa ke dalam nod tunggal untuk integriti graf.

Komponen-komponen ini secara kolaboratif mencipta grafik pengetahuan dinamik yang menggerakkan graphrag, membolehkan respons LLM yang lebih tepat dan konteks.

Menyediakan pangkalan data NEO4J

Langkah awal dalam aliran kerja RAG adalah menubuhkan pangkalan data pengambilan semula. NEO4J AURADB menawarkan cara yang mudah untuk melancarkan pangkalan data graf percuma. AURADB Free sesuai untuk kegunaan asas, manakala Auradb Professional (Pro) menyediakan memori dan prestasi yang dipertingkatkan untuk tugas pengambilan dan pengambilan yang lebih besar. Untuk panduan ini, kami akan menggunakan peringkat percuma.

Selepas log masuk ke NEO4J AURADB dan membuat contoh percuma, anda akan mendapat kelayakan (nama pengguna, URL NEO4J, dan kata laluan) untuk menyambung ke pangkalan data anda.

Memasang perpustakaan yang diperlukan

Pasang perpustakaan yang diperlukan menggunakan PIP:

 PIP Pasang FSSPEC Terbuka Numpy Obor Neo4J-Graphrag

Mengkonfigurasi butiran sambungan NEO4J

 Neo4j_uri = ""
nama pengguna = ""
kata laluan = ""

Gantikan ruang letak dengan kelayakan Neo4J anda.

Menetapkan kunci API Terbuka

 Import OS
os.environ ['openai_api_key'] = ''

Gantikan pemegang tempat dengan kunci API OpenAI anda.

(Bahagian yang selebihnya yang memperincikan pembinaan saluran paip, kaedah pengambilan semula, dan pelaksanaan graphrag akan mengikuti struktur yang sama dengan penggantian dan penyesuaian kecil kepada kata -kata, mengekalkan makna asal dan susunan maklumat.

Kesimpulan (ditulis semula):

Panduan ini mempamerkan bagaimana pakej Neo4J Graphrag Python meningkatkan generasi pengambilan semula (RAG) dengan mengintegrasikan graf pengetahuan dengan model bahasa yang besar (LLM). Kami menunjukkan membina graf pengetahuan dari dokumen penyelidikan, menyimpannya dalam NEO4J, dan menggunakan kaedah pengambilan semula (vectorretriever dan vectorcypherretriever) untuk menghasilkan respons yang tepat dan tepat.

Gabungan graf pengetahuan dan RAG mengurangkan isu-isu seperti halusinasi dan menyediakan konteks khusus domain, meningkatkan kualiti tindak balas. Penggunaan teknik pengambilan berganda selanjutnya meningkatkan ketepatan dan kaitan. Graphrag dengan NEO4J menyediakan alat yang kuat untuk membina aplikasi yang didorong oleh pengetahuan yang memerlukan kedua-dua pengambilan data yang tepat dan generasi bahasa semulajadi.

(Seksyen Soalan Lazim yang ditulis semula juga akan menyusun semula jawapan asal semasa memelihara maklumat teras.)

Atas ialah kandungan terperinci Menyediakan dan menjalankan Graphrag dengan Neo4j. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!