Bagaimanakah chatbot menjawab soalan melalui graf pengetahuan?

Kata Pengantar

Pada tahun 1950, Turing menerbitkan kertas penting "Jentera Pengkomputeran dan Perisikan", mencadangkan prinsip penghakiman yang terkenal tentang robot - Figure The Turing Test, juga dikenali sebagai Turing Judgment, menunjukkan bahawa jika pihak ketiga tidak dapat membezakan perbezaan antara tindak balas manusia dan mesin AI, boleh disimpulkan bahawa mesin itu mempunyai kecerdasan buatan .

Pada tahun 2008, Jarvis, butler AI dalam "Iron Man" Marvel, memberitahu orang ramai bagaimana AI boleh membantu manusia (Tony) menyelesaikan pelbagai perkara yang dilemparkan kepada mereka dengan tepat. ..

Rajah 1: AI Butler Jarvis (sumber gambar dari Internet)

Pada awal tahun 2023, ChatGPT, robot sembang percuma yang tercetus dalam industri teknologi dalam cara 2C, tersebar di seluruh dunia.

Menurut laporan penyelidikan oleh UBS, pengguna aktif bulanannya mencapai 100 juta pada bulan Januari dan masih berkembang menjadi pengguna yang paling pesat berkembang dalam sejarah atau aplikasi. Selain itu, pemiliknya OpenAI akan melancarkan versi Plus tidak lama lagi, yang dikatakan sekitar $20 sebulan, selepas mengeluarkan versi Pro dengan harga $42 sebulan.

Apabila perkara baharu mencecah ratusan juta pengguna bulanan, trafik meningkat dan pengewangan komersial bermula, adakah anda ingin tahu tentang pelbagai teknologi di belakangnya? Sebagai contoh, bagaimanakah chatbots memproses dan menanyakan sejumlah besar data?

Rakan yang pernah mengalami ChatGPT mempunyai perasaan yang sama Ia jelas lebih bijak daripada Tmall Elf atau Xiao Aitong Shoes - ia adalah robot sembang dengan "kemahiran bercakap yang tidak dapat dikalahkan" dan bahasa semula jadi. alat pemprosesan, model bahasa yang besar, dan aplikasi kecerdasan buatan. Ia boleh berinteraksi dengan manusia berdasarkan konteks bahan soalan, boleh menaakul dan mencipta, malah menolak soalan yang dianggapnya tidak sesuai, bukan sekadar komunikasi antropomorfik yang lengkap.

Walaupun pada masa ini mempunyai ulasan yang bercampur-campur, dari perspektif pembangunan teknologi, ia mungkin juga lulus ujian Turing. Izinkan saya bertanya, apabila kita berkomunikasi dengannya, pengetahuannya (untuk orang baru) yang luas dan jawapan yang manis dan manis, jika kita langsung tidak menyedarinya, sukar untuk membezakan sama ada pihak lain itu manusia atau mesin ( Mungkin di sinilah bahayanya - teras ChatGPT masih tergolong dalam kategori pembelajaran mendalam, dan terdapat banyak kotak hitam dan tidak dapat dijelaskan ).

Jadi, bagaimanakah chatbot mengatur dan mengeluarkan korpus latihan dengan cepat daripada 300 bilion perkataan dan 175 bilion parameter, dan pada masa yang sama menggabungkannya dengan konteks , bagaimana ia boleh bebas? bertindak balas terhadap komunikasi dengan manusia berdasarkan pengetahuan yang "dikuasai"?

Malah, chatbot juga mempunyai otak seperti kita manusia, mereka memerlukan pembelajaran + latihan.

Rajah 2: Carta pembelajaran dan latihan ChatGPT (sumber laman web rasmi)

Ia menggunakan NLP (pemprosesan bahasa semula jadi), pengecaman sasaran, pengecaman berbilang modal, dan lain-lain untuk menstrukturkan sejumlah besar teks, gambar dan fail tidak berstruktur lain ke dalam graf pengetahuan mengikut semantiknya. Graf pengetahuan ini adalah otak robot sembang.

Rajah 3: Mengambil rawatan perubatan sebagai contoh, kecerdasan buatan mengubah data daripada pelbagai sumber kepada senario seperti soal jawab, carian , dan penyelidikan dan pembangunan dadah Dalam graf pengetahuan, graf pengetahuan terdiri daripada apa?

Terdiri daripada apakah graf pengetahuan? Ia terdiri daripada mata (entiti) dan

tepi

(hubungan itu boleh menyepadukan orang, benda, benda dan maklumat lain yang berkaitan untuk membentuk graf yang komprehensif, seperti yang ditunjukkan di bawah).

Rajah 4: Graf (subgraf) yang terdiri daripada titik aksara dan tepi atribut

Apabila ditanya "Siapa pengasas OpenAI?", otak chatbot mula mencari dan mencari dengan pantas dalam pangkalan pengetahuannya sendiri, mula-mula menyasarkan soalan pengguna Klik "penAI ", dan kemudian berdasarkan soalan pengguna, satu lagi titik akan muncul - pengasas "Sam Altman ".

Rajah 5: Menyambung dari titik "OpenAI" ke titik lain "Sam Altman" dengan tepi

Sebenarnya, apabila Apabila kita bertanya "Siapakah pengasas OpenAI", chatbot akan mengaitkan semua gambar yang mengelilingi titik dalam pangkalan pengetahuannya sendiri. Oleh itu, apabila kita bertanya soalan yang berkaitan, ia sebenarnya telah meramalkan ramalan kita. Sebagai contoh, apabila kami bertanya: "Adakah Musk ahli pasukan pengasas OpenAI dengan hanya satu arahan, ia telah menanyakan semua ahli (perkara yang sama berlaku untuk satu kes), seperti yang ditunjukkan dalam rajah di bawah.

Rajah 6: Pautan ke aksara lain dengan mengklik "OpenAI"

Selain itu, jika terdapat "bahan pembelajaran" lain yang dimasukkan ke dalam perpustakaannya, maka "otak"nya juga akan dikaitkan dengan gambar-gambar yang berkaitan seperti "Apakah produk robot kecerdasan buatan seperti yang ditunjukkan di bawah?"

Rajah 7: Peta produk robot AI biasa

Sudah tentu, Chatbots sama seperti orang yang menjawab soalan akan dihadkan oleh rizab pengetahuan mereka sendiri, seperti yang ditunjukkan dalam rajah di bawah:

Kami tahu bahawa kelajuannya otak seseorang menentukan Apakah penilaian tidak berpuas hati, pintar atau tidak? Dari perspektif manusia, salah satu kriteria yang paling mudah ialah keupayaan untuk membuat kesimpulan daripada satu contoh.

Confucius berkata: "Jika kamu tidak marah, kamu tidak akan dicerahkan. Jika kamu tidak marah, kamu tidak akan marah. Jika kamu tidak mengubah satu sudut menjadi tiga, kamu tidak akan sembuh."

——The Analects of Confucius·Shuerpian

Seawal dua ribu tahun yang lalu, Confucius menekankan kepentingan berkebolehan membuat inferens dari satu contoh, membuat kesimpulan dari satu ke yang lain, dan membuat persamaan. Untuk chatbots, kualiti jawapan mereka bergantung pada kuasa pengkomputeran membina graf pengetahuan.

Kami tahu bahawa Pembinaan graf pengetahuan am telah lama memfokuskan pada NLP dan persembahan visual, tetapi telah mengabaikan ketepatan masa pengiraan dan pemodelan data. proses pertanyaan (pengiraan) dan kebolehtafsiran hasil. Terutama apabila seluruh dunia sedang berubah daripada era data besar kepada era data mendalam, kelemahan graf tradisional yang dibina berdasarkan SQL atau NoSQL pada masa lalu tidak lagi mampu memproses data besar-besaran, kompleks dan dinamik dengan cekap, apatah lagi. korelasi , perlombongan dan analisis cerapan? Jadi, apakah ciri-ciri cabaran yang dihadapi oleh graf pengetahuan tradisional?

Pertama, kuasa pengkomputeran rendah (ketidakcekapan) . Seni bina asas graf pengetahuan yang dibina menggunakan sistem pangkalan data SQL atau NoSQL adalah tidak cekap dan tidak boleh memproses data berdimensi tinggi pada kelajuan tinggi.

Kedua, fleksibiliti adalah lemah . Graf pengetahuan yang dibina berdasarkan pangkalan data hubungan, pangkalan data dokumen atau pangkalan data graf berprestasi rendah biasanya dihadkan oleh seni bina asas dan tidak dapat memulihkan hubungan sebenar antara entiti dengan cekap. Sebagai contoh, sesetengah daripada mereka hanya menyokong graf ringkas Apabila memasukkan data graf berbilang hala, sama ada maklumat mudah hilang atau memerlukan kos untuk mengarang graf.

Ketiga, ia hanya dangkal . Sebelum 2020, beberapa orang benar-benar memberi perhatian kepada kuasa pengkomputeran asas, dan hampir semua pembinaan sistem graf pengetahuan hanya tertumpu pada NLP dan visualisasi. Graf pengetahuan tanpa kuasa pengkomputeran asas hanya mengenai pengekstrakan dan pembinaan ontologi dan tiga kali ganda, dan tidak mempunyai keupayaan untuk menyelesaikan masalah seperti pertanyaan mendalam, kelajuan dan kebolehtafsiran.

[Nota: Di sini, kami tidak akan bercakap tentang perbandingan prestasi antara pangkalan data hubungan tradisional dan pangkalan data graf Pembaca yang berminat boleh membaca:​​Pangkalan data graf dan pangkalan data graf Apakah itu. perbezaan antara pangkalan data hubungan​​​? Apakah masalah yang diselesaikan oleh pangkalan data graf? ​]

Pada ketika ini, kita telah bercakap tentang satu lagi teknologi termaju - bidang teknikal pangkalan data graf (pengkomputeran graf) daripada topik graf pengetahuan pintar robot sembang.

Apakah pangkalan data graf (pengkomputeran graf)?

Pangkalan data graf [Lihat rujukan 1] ialah aplikasi teori graf yang boleh menyimpan atribut entiti Maklumat dan maklumat hubungan antara entiti, dari segi definisi, Graf (Graf) adalah berdasarkan nodtitik [Lihat Rujukan 2] dan tepi[Lihat Rujukan 2] struktur data yang ditentukan.

Graf ialah asas penyimpanan graf pengetahuan dan perkhidmatan aplikasi Ia mempunyai perkaitan data yang kukuh dan keupayaan ekspresi pengetahuan, jadi ia popular di kalangan akademik dan industri kekaguman.

Rajah 8: Pangkalan data graf dan graf pengetahuan dalam pemasaran, penyiasatan jenayah, penyeliaan kewangan, ekologi pendidikan, aplikasi kesihatan awam senario dalam bidang seperti tenaga dan tenaga

Seperti yang ditunjukkan dalam rajah di atas, kita melihat bahawa dengan bantuan enjin pangkalan data graf masa nyata (pengkomputeran graf), industri boleh melakukan prestasi sebenar. -analisis masa pada data yang berbeza Kita boleh menemui pelbagai hubungan dengan korelasi yang mendalam antara mereka, dan juga mencari laluan pintar optimum yang berada di luar jangkauan otak manusia - ini disebabkan oleh dimensi tinggi pangkalan data graf.

Apakah dimensi tinggi? Graf bukan sahaja berfungsi sebagai alat yang sesuai dengan tabiat berfikir otak manusia dan boleh memodelkan dunia sebenar secara intuitif, tetapi juga boleh mewujudkan pandangan mendalam (deep graph traversal).

Sebagai contoh, semua orang mengetahui "kesan rama-rama", iaitu untuk menangkap hubungan halus antara dua atau lebih entiti yang kelihatan tidak berkaitan dalam jumlah besar data dan maklumat Dari perspektif seni bina pemprosesan data, ini amat sukar dicapai tanpa bantuan teknologi pangkalan data graf (pengkomputeran graf). [Nota: Topik tentang cara membezakan pangkalan data graf daripada pengkomputeran graf tidak akan dibincangkan di sini Rakan-rakan yang berminat boleh membaca: Apakah cabaran daripada "graf"? Bagaimana untuk membezakan pangkalan data graf daripada pengkomputeran graf? Penjelasan pantas dalam satu artikel]

Rajah 9: Sepanjang 40 tahun yang lalu, trend pembangunan teknologi pemprosesan data adalah daripada hubungan kepada data besar kepada kemudian Data gambar

Kawalan risiko ialah salah satu daripada senario biasa. Krisis kewangan 2008 dicetuskan oleh kejatuhan Lehman Brothers, bank pelaburan keempat terbesar di Amerika Syarikat Walau bagaimanapun, tiada siapa yang menjangkakan bahawa keruntuhan bank pelaburan berusia 158 tahun akan mencetuskan beberapa siri kegagalan seterusnya di peringkat antarabangsa. industri perbankan. Aliran... impaknya begitu luas dan begitu besar sehingga orang ramai tidak dijangka; dan teknologi pangkalan data graf masa nyata (pengkomputeran graf) boleh menemui semua nod utama, faktor risiko dan laluan penyebaran risiko. . dan kemudian kawalan Memberi amaran awal tentang semua risiko kewangan.

Rajah 10: Laluan penyebaran kebankrapan Lehman Brothers dan Peta kumpulan pelanggan Risiko

[Nota: Gubahan di atas semuanya dilengkapkan pada Pengurus Ultipa. Rakan-rakan yang sanggup belajar dan meneroka lebih lanjut boleh membaca salah satu siri artikel: Memasuki visualisasi tinggi Pengurus Ultipa]

Perlu ditegaskan bahawa walaupun banyak pengeluar boleh membina graf pengetahuan pada masa kini, realitinya ialah antara setiap 100 syarikat graf, kurang daripada 5 pangkalan data graf (berprestasi rendah) digunakan untuk menyokong kuasa pengkomputeran pada 5 %).

Pangkalan data graf Ultipa kini merupakan satu-satunya pangkalan data graf masa nyata generasi keempat di dunia Ia direalisasikan melalui teknologi berpaten yang inovatif seperti konkurensi berketumpatan tinggi, pemangkasan dinamik dan berbilang. -pecutan pengiraan storan ultra-dalam masa nyata pada set data sebarang saiz.

Pertama, kuasa pengkomputeran yang tinggi.

Ambil mencari benefisiari muktamad syarikat (juga dikenali sebagai pengawal sebenar dan pemegang saham utama) sebagai contoh. Cabaran dengan jenis masalah ini ialah dalam dunia sebenar, selalunya terdapat banyak nod (entiti syarikat shell) antara benefisiari muktamad dan entiti syarikat yang sedang diperiksa, atau mungkin terdapat berbilang laluan pelaburan atau pegangan saham antara berbilang individu atau korporat. entiti Kawalan ke atas syarikat lain. Pangkalan data hubungan tradisional atau pangkalan data dokumen, malah kebanyakan pangkalan data graf, tidak dapat menyelesaikan masalah penembusan graf seperti ini dalam masa nyata.

Sistem pangkalan data graf masa nyata Ultipa menyelesaikan banyak cabaran di atas. Struktur data keselarasan tinggi dan enjin pengkomputeran dan storan berprestasi tingginya boleh menjalankan perlombongan mendalam 100 kali atau lebih pantas daripada sistem graf lain, dan mencari benefisiari muktamad atau menemui hubungan pelaburan yang besar dalam rangkaian masa nyata (dalam mikrosaat). Sebaliknya, kependaman mikrosaat bermakna kependaman dan daya pemprosesan sistem yang lebih tinggi, yang merupakan peningkatan prestasi 1000x berbanding sistem yang menuntut kependaman milisaat!

Mengambil senario kehidupan sebenar sebagai contoh, Sun Deliang, bekas presiden China CITIC Bank, menggunakan cara kewangan untuk menyelesaikan pemindahan manfaat dengan membuka berbilang "syarikat bayangan".

Rajah 11: Sun Deshun mereka bentuk berbilang "firewall" dengan struktur yang sangat kompleks, dengan berbilang lapisan syarikat bayangan bersarang lapisan mengikut lapisan , untuk memintas pengawasan dan mendapatkan faedah

Rajah 12: Persatuan: Sun Deshun - CITIC Bank - Pemilik Perniagaan - (Kosong Syarikat Shell) Syarikat Platform Pelaburan - Sun Deshun

Seperti yang ditunjukkan dalam gambar di atas , Sun Deshun menggunakan Kuasa awam China CITIC Bank adalah untuk pemilik perniagaan untuk meluluskan pinjaman; pemilik boleh menggunakan nama pelaburan Atau menghantar projek pelaburan berkualiti tinggi, peluang pelaburan, dsb.; kedua-dua pihak menyelesaikan transaksi langsung melalui syarikat shell masing-masing; atau pemilik perniagaan memindahkan sejumlah wang yang besar Suntikan syarikat platform pelaburan yang sebenarnya dikawal oleh Sun Deshun, dan kemudian syarikat platform akan menggunakan dana ini untuk melabur dalam projek yang disediakan oleh bos, dengan itu menjana wang daripada wang, semua orang bekerjasama Berkongsi keuntungan dan dividen, dan akhirnya membentuk komuniti yang berkepentingan.

Sistem pangkalan data graf masa nyata Ultipa, melalui penembusan kotak putih, mencungkil hubungan rumit antara orang, orang dan syarikat serta syarikat dan syarikat, dan mengunci orang terakhir di belakangnya adegan dalam masa nyata.

Yang kedua ialah fleksibiliti.

Fleksibiliti sistem graf boleh menjadi topik yang sangat luas, yang secara amnya merangkumi pemodelan data, pertanyaan dan logik pengiraan, pembentangan hasil, sokongan antara muka, kebolehskalaan, dsb. .

Pemodelan data ialah asas kepada semua graf hubungan dan berkait rapat dengan keupayaan asas sistem graf (pangkalan data graf). Sebagai contoh, sistem pangkalan data graf yang dibina pada pangkalan data lajur seperti ClickHouse tidak boleh membawa graf transaksi kewangan sama sekali, kerana ciri paling tipikal rangkaian transaksi ialah pemindahan berbilang antara dua akaun, tetapi ClickHouse cenderung untuk menggabungkan berbilang pemindahan menjadi satu pendekatan boleh membawa kepada kekeliruan data (herotan). Sesetengah sistem pangkalan data graf yang dibina berdasarkan konsep graf satu sisi cenderung menggunakan bucu (entiti) untuk menyatakan transaksi Akibatnya, jumlah data diperkuatkan (sisa simpanan), dan kerumitan pertanyaan graf meningkat secara eksponen (ketepatan masa. perubahan).

Tahap sokongan antara muka adalah berkaitan dengan pengalaman pengguna. Untuk memberikan contoh mudah, jika sistem graf dalam persekitaran pengeluaran hanya menyokong format CSV, maka semua format data mesti ditukar kepada format CSV sebelum ia boleh dimasukkan ke dalam graf Walau bagaimanapun, ini adalah benar dalam banyak sistem graf wujud.

Bagaimana pula dengan fleksibiliti pertanyaan dan logik pengiraan? Mari kita tetap mengambil "kesan rama-rama" sebagai contoh: Adakah terdapat beberapa jenis kesan kausal (korelasi kuat) antara mana-mana dua orang, benda atau benda dalam peta? Jika ia hanya korelasi satu langkah yang mudah, mana-mana enjin carian tradisional, rangka kerja NoSQL data besar atau pangkalan data hubungan boleh menyelesaikannya Tetapi jika ia adalah korelasi yang mendalam, seperti korelasi antara Newton dan Genghis Khan, bagaimana untuk mengiranya. ? kain bulu?

Sistem data graf masa nyata Ultipa boleh menyediakan lebih daripada satu cara untuk menyelesaikan masalah di atas. Contohnya, carian laluan dalam titik ke titik, carian rangkaian berbilang titik, carian padanan templat berdasarkan keadaan carian kabur tertentu dan carian laluan teks kabur berorientasikan graf serupa dengan enjin carian Web.

Rajah 13: Hasil visualisasi rangkaian masa nyata dalam kedalaman carian graf besar (membentuk subgraf) ≥ 6 lompatan

Terdapat banyak tugas lain pada graf yang mesti bergantung pada fleksibiliti tinggi dan kuasa pengkomputeran, seperti mencari titik, tepi dan laluan berdasarkan keadaan penapisan yang fleksibel, komuniti, Penemuan kumpulan pelanggan; mencari semua atau jiran tertentu nod (atau mencari jiran yang lebih dalam secara rekursif dengan atribut serupa dalam graf... Ringkasnya, graf pengetahuan tanpa sokongan kuasa pengkomputeran graf adalah seperti tidak mempunyai Jiwa tidak lain dangkal. Tidak dapat menyelesaikan pelbagai keupayaan carian yang mencabar dan mendalam.

Ketiga, kod rendah, apa yang anda lihat ialah apa yang anda dapat.

Selain kuasa pengkomputeran yang tinggi dan fleksibiliti yang dinyatakan di atas, sistem graf juga perlu berkotak putih (boleh ditafsir) dan berasaskan bentuk (kod rendah, tiada kod ) dan keupayaan untuk memperkasakan perniagaan dengan cara WYSIWYG.

Rajah 14: Carian satu klik untuk kod sifar, cuma isikan nilai julat carian dan 2D, 3D, senarai, jadual malah Ia merupakan transformasi fleksibel berbilang mod visual untuk gabungan data heterogen

Dalam sistem pangkalan data graf masa nyata Ultipa, pembangun hanya perlu menaip satu ayat Ultipa GQL untuk melengkapkan operasi, dan Kakitangan perniagaan boleh menggunakan pemalam berasaskan borang pratetap untuk menanyakan perniagaan dengan kod sifar. Pendekatan ini telah banyak membantu pekerja meningkatkan kecekapan kerja, memperkasakan organisasi untuk mengurangkan kos operasi, dan membuka halangan komunikasi antara jabatan.

Ringkasnya, gabungan graf pengetahuan dan pangkalan data graf akan membantu semua lapisan masyarakat untuk mempercepatkan pembinaan perniagaan pusat data, tetapi seperti industri kewangan memerlukan profesionalisme dan keselamatan Dalam industri dengan kebolehpercayaan yang tinggi, kestabilan, masa nyata dan ketepatan, penggunaan pangkalan data hubungan untuk menyokong aplikasi lapisan atas tidak dapat memberikan prestasi pemprosesan data yang baik, atau bahkan menyelesaikan tugas pemprosesan data Oleh itu, hanya masa nyata, komprehensif, penembusan mendalam, dan keupayaan langkah demi langkah boleh dicapai hanya teknologi pangkalan data graf (pengkomputeran graf) dengan kebolehkesanan pen, pemantauan pengukuran yang tepat dan prestasi amaran awal boleh memperkasakan organisasi untuk merancang strategi dengan lebih baik dan memenangi beribu-ribu batu!

Pada ketika ini, saya tiba-tiba teringat hit "The Three-Body Problem", yang menyebut satu perkara yang sangat menarik - kunci sophon. Ia mungkin bermakna bahawa untuk mengelakkan teknologi Bumi daripada mengatasinya, tamadun Trisolaran telah membuat pelbagai halangan dengan menyekat sains asas manusia. Kerana lonjakan tamadun manusia bergantung kepada perkembangan dan kejayaan besar sains asas, menyekat sains asas manusia adalah sama dengan menyekat laluan bumi untuk meningkatkan tahap tamadun... Sudah tentu, apa yang penulis ingin beritahu anda adalah bahawa teknologi graf tergolong dalam kecerdasan buatan Salah satu infrastruktur, tepatnya, ialah teknologi graf = kecerdasan ditambah + AI yang boleh dijelaskan Ia merupakan produk yang tidak dapat dielakkan daripada penyepaduan AI dan data besar dalam proses pembangunan.

Rajah 15: Teknologi pangkalan data graf (pengkomputeran graf), yang dimiliki oleh infrastruktur kecerdasan buatan

Atas ialah kandungan terperinci Bagaimanakah chatbot menjawab soalan melalui graf pengetahuan?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!