Perbualan dengan Tsinghua Huang Minlie: Meminjam takrif hierarki sistem dialog AI untuk pemanduan autonomi, rakan maya Metaverse mungkin terletak di L5

Artikel ini diterbitkan semula daripada Lei Feng.com Jika anda perlu mencetak semula, sila pergi ke tapak web rasmi Lei Feng.com untuk memohon kebenaran.

“Saya sangat gembira dapat berada di sebelah anda dan melihat dunia melalui mata anda ). ialah baris dalam filem "Her", yang dituturkan oleh pembantu suara AI Samantha kepada protagonis lelaki. Ayat ini sangat menghiburkan watak protagonis lelaki yang tersesat di hutan keluli dan berasa hilang dan tidak berdaya.

Samantha ialah sistem pengendalian pembelajaran kendiri yang hampir universal. Dia boleh membantu protagonis lelaki memilih surat yang terbaik dan menghantarnya ke rumah penerbitan kegemarannya untuk diterbitkan; dia boleh menjelajah seluruh pangkalan pengetahuan manusia dengan serta-merta mengikut keperluan protagonis lelaki dan mencari rancangan respons yang paling sesuai untuknya; fungsi Dia juga mempunyai persahabatan emosi, dan semua kekeliruan dan rasa tidak puas hati protagonis lelaki boleh diselesaikan dengan kemesraan beliau semasa perbualan...

Sebagai seorang sarjana yang canggih dalam bidang daripada NLP di China, seorang profesor sains komputer di Universiti Tsinghua Huang Minlie menggunakan teknologi NLP pada landasan kesihatan mental dan mengetuai pembangunan robot perbualan emosi AI Emohaa

. Ketika menemu bual Profesor Huang Minlie, dia menyebut filem "Her" yang dikeluarkan pada 2013, dan menunjukkan penghargaannya, atau dalam erti kata lain, jangkaan untuk filem fiksyen sains ini. Sebagai rakan sekerja yang membangunkan sistem dialog AI, dia menantikan sistem dialog AI yang empati dalam "Her" benar-benar muncul dalam realiti dan mencapai lonjakan ke hadapan dalam industri.

Ini menimbulkan persoalan: Betapa sukarnya untuk membuat sistem dialog AI melaksanakan tugas emosi yang kompleks seperti Samantha, menenangkan emosi dan menyembuhkan hati orang? Bagaimana untuk mengukur kesukaran ini? Bagaimana untuk mengukur sama ada sistem dialog AI mencapai tahap Samantha?

Ini bukan soalan yang tidak realistik. Malah, dengan pertumbuhan pesat sistem dialog AI hari ini, produk dialog seperti "Xiaodu", "Xiaoai", robot dialog Google "Meena", chatbot Facebook "Blender" dan sebagainya muncul satu demi satu. Walau bagaimanapun, kekurangan piawaian semasa untuk sistem dialog AI telah mengakibatkan tahap aplikasi yang tidak sekata dan sistem penilaian yang berbeza Ini telah menyebabkan salah faham dalam industri tentang tahap interaksi kecerdasan buatan disebabkan oleh kognisi yang tidak konsisten, dan juga telah menyebabkan masalah sosial. Perbincangan meluas tentang kesedaran, etika, moral, dsb.

Sesetengah saintis yang terlibat dalam pembangunan sistem dialog AI juga mengatakan bahawa mereka sering merasa sukar untuk menilai tahap sistem dialog AI yang mereka bangunkan. Para saintis percaya bahawa industri memerlukan piawaian untuk penggredan tahap sistem dialog AI dengan segera. Selepas piawaian penggredan dirumuskan, tahap keupayaan sistem dialog AI akan diukur dengan bukti.

Oleh itu, untuk menilai dengan lebih baik tahap keupayaan sistem dialog AI, Profesor Huang Minlie bekerjasama dengan institusi penyelidikan akademik dan industri untuk merumuskan konsep penggredan pertama di dunia daripada L0 kepada L5 dalam pemanduan autonomi "Definisi Penggredan Sistem Dialog AI" (selepas ini dirujuk sebagai "Definisi Penggredan") dikeluarkan secara rasmi pada 28 Jun.

Ilustrasi: Profesor Huang Minlie menerangkan takrif hierarki sistem dialog AI

"Definisi Gred" Kemunculan sistem dialog AI mungkin menggalakkan aplikasi sistem dialog AI dalam bidang seperti pembantu peribadi maya, rumah pintar, suara kereta pintar, penjagaan emosi dan kesihatan mental Ia juga akan mempercepatkan pembangunan dan pelaksanaan dialog AI generasi akan datang sistem, yang akan memberi impak besar kepada akademik dan industri Ia mempunyai kepentingan rujukan yang penting untuk penyelidikan dunia tentang sistem dialog bahasa pertuturan.

Mengenai "Definisi Gred", Kajian Teknologi AI mengadakan perbualan dengan Profesor Huang Minlie Berikut ialah kandungan perbualan:

.

Tinjauan Teknologi AI: Apakah yang memberi anda idea untuk menggredkan sistem dialog AI?

Huang Minlie

: Pada masa ini terdapat masalah dalam penilaian sistem dialog kami: laluan teknikal dan seni bina masa kini sedang mekar, sukar untuk dibandingkan antara satu sama lain. Sebagai contoh, saya ingin membandingkan pembesar suara pintar dengan chatbot, tetapi saya tidak dapat membandingkan keupayaan perbualan mereka kerana tahap sistem perbualan tidak sekata, terdapat kekurangan sistem penilaian bersatu, dan kekurangan definisi yang jelas tentang keupayaan.

Kami mempunyai penunjuk penilaian tertentu dalam sistem dialog berasaskan tugas, penunjuk penilaian tertentu dalam sistem dialog jenis sembang, dan penunjuk penilaian tertentu dalam sistem dialog berasaskan pengetahuan ialah Isu utama yang dipertimbangkan dalam "Definisi Klasifikasi". Jadi kami belajar daripada definisi penggredan pemanduan autonomi dari L0 hingga L5, dan juga menggunakan L0-L5 untuk menggredkan sistem dialog AI.

Komen Teknologi AI: Sila terangkan kepada kami definisi khusus penggredan sistem dialog AI.

Huang Minlie: Klasifikasi pemanduan autonomi dibahagikan kepada enam peringkat dari L0 hingga L5, di mana L0 merujuk kepada pemanduan Manual lengkap, L5 adalah pemanduan autonomi sepenuhnya, kenderaan mengambil alih segala-galanya. L1-L4 merealisasikan pemanduan autonomi dalam keadaan tertentu Pengelasan pemanduan autonomi terutamanya melibatkan perkadaran orang dan kenderaan yang bertanggungjawab memandu, dan definisinya agak mudah. Walau bagaimanapun, sistem dialog agak kompleks Ia mempunyai banyak laluan teknikal dan seni bina teknikal, banyak tugas, dan banyak penunjuk penilaian Selepas perbincangan, kami percaya bahawa ia akhirnya perlu memenuhi lima prinsip asas:

. Pertama, ia hanya menumpukan pada sistem dialog yang dikuasai sepenuhnya oleh mesin Sistem dialog hibrid manusia-mesin tidak dipertimbangkan kedua, ia bermula dari perspektif keupayaan prestasi sistem dan persepsi pengguna, tanpa mengambil kira pelaksanaan teknikal tertentu; sistem; ketiga Ketiga, tahap keupayaan yang sepadan dengan setiap definisi yang digredkan perlu diperhatikan, boleh diuji, dan boleh diukur keempat, jenis tugas seperti pembantu, sembang, dan dialog pengetahuan tidak dibezakan, dan semuanya dinyatakan dalam "senario"; kelima, kami berharap Mengukur tahap keupayaan sistem dialog dapat memberikan cadangan untuk arah penyelidikan dan rujukan untuk aplikasi praktikal sistem dialog.

Berdasarkan lima prinsip ini, kami memberikan definisi penggredan sistem dialog AI:

L0 dialog sebenar diberikan oleh manusia, The sistem tidak mempunyai keupayaan dialog automatik sama sekali, atau dalam mana-mana adegan tunggal, sistem tidak dapat menyediakan dialog berkualiti tinggi.

Walaupun L1 boleh melengkapkan dialog berkualiti tinggi dalam satu adegan, ia tidak mempunyai cara untuk mengendalikan kebergantungan kontekstual antara adegan. Sebagai contoh, katakan saya akan pergi dalam perjalanan perniagaan, saya telah menempah penerbangan ke Nanjing, dan saya perlu menempah hotel. Memandangkan saya akan ke Nanjing untuk urusan perniagaan, saya mesti menempah hotel di Nanjing. Ini ialah pergantungan konteks antara adegan, pergantungan konteks yang terbentuk antara tempahan tiket penerbangan dan tempahan hotel, yang tidak dapat dikendalikan oleh L1.

L2 berdasarkan L1 dan boleh melengkapkan dialog berkualiti tinggi dalam berbilang babak pada masa yang sama, dengan pergantungan konteks rentas adegan dan keupayaan untuk bertukar secara semula jadi. Saya baru sahaja bercakap tentang tempahan tiket penerbangan dan hotel, dan juga bertanyakan keadaan cuaca dan tarikan pelancong yang ada. Ini adalah untuk bertukar secara fleksibel antara tugas yang berbeza dan adegan yang berbeza. Keupayaan ini sangat kritikal pada L2, tetapi L2 tidak mempunyai cara untuk melengkapkan dialog berkualiti tinggi dalam adegan baharu.

Berdasarkan L2, L3 boleh menjalankan dialog berkualiti tinggi untuk sejumlah besar senario, dan juga mempunyai keupayaan dialog berkualiti tinggi dalam senario baharu. Saya menyebut "senario besar-besaran" di sini, mungkin anda bertanya apa itu "besar-besaran"? Adakah sepuluh dikira, adakah dua puluh dikira, adakah tiga puluh dikira? Untuk mencapai penyepaduan piawai dan definisi yang lebih luas, kami tidak memberikan definisi kuantitatif yang khusus, tetapi keupayaan untuk mengadakan perbualan berkualiti tinggi dalam senario baharu dan tidak kelihatan adalah keupayaan kritikal.

L4 merujuk kepada keupayaan untuk mengadakan dialog berkualiti tinggi dalam senario baharu dan dipersonifikasikan dalam pelbagai pusingan interaksi (merujuk kepada konsistensi personaliti, personaliti, sudut pandangan emosi, dsb. ) ke tahap yang lebih tinggi. Ini sama seperti apabila kita berbual dengan seseorang, orang lain tidak boleh menjadi lelaki pada suatu hari, perempuan lain, atau belajar di Universiti Tsinghua dan Universiti Peking pada masa lain - orang mempunyai maklumat personaliti tetap mereka sendiri, dan jenis ini orang Masih sangat sukar untuk memproses maklumat dalam sistem dialog. Pada masa ini, kita boleh membuat sistem dialog mencerminkan personaliti pada tahap tertentu, tetapi ia masih jauh dari tahap yang benar-benar seperti manusia.

L5 ialah peningkatan daripada L4 yang mempunyai tahap antropomorfisme yang tinggi dalam pelbagai pusingan interaksi, dan boleh belajar secara aktif dan terus belajar dalam interaksi adegan terbuka dan keupayaan ekspresif. Ini seperti memberitahu kanak-kanak bahawa apa yang anda lakukan adalah salah, dan kanak-kanak itu akan belajar daripadanya. Pada masa hadapan, kami berharap sistem dialog L5 dapat mengingati dan mempelajari apa yang betul dan apa yang salah apabila kami memberitahunya. Semasa proses interaksi, kami juga berharap sistem dialog L5 mempunyai persepsi pelbagai mod dan keupayaan ekspresi, supaya ia benar-benar boleh memasuki metaverse dan pelbagai adegan manusia maya, dapat benar-benar membuat ekspresi dan pergerakan, dan memahami pihak lain. ekspresi, Perbuatan dan emosi dan sebagainya.

Di atas adalah definisi asas dari L0 hingga L5 dalam "Definisi Tahap Sistem Dialog AI".

Komen Teknologi AI: Bagaimanakah anda mentakrifkan "kualiti lebih tinggi" dan "kualiti tinggi" yang anda nyatakan tadi?

Huang Minlie: Apakah kualiti tinggi dan kualiti yang lebih tinggi Sebenarnya, kami mempunyai satu set penilaian? kriteria. Skor penuh ialah 10 mata Kualiti tinggi bermakna skor dalam tiga dimensi perkaitan, kandungan maklumat dan keaslian boleh mencapai 8-10 mata Kualiti lebih tinggi bermakna 6-8 mata, dan kualiti rendah bermakna kurang daripada 6 mata.

Apakah maksud tiga dimensi ini? Relevan bermakna kandungan balasan sepadan dengan teks sebelumnya yang bermaklumat bahawa balasan memberikan maklumat yang diperlukan seperti "Saya tidak tahu" dan "baik" tidak mempunyai sebarang maklumat; teks sebelum ini adalah wajar jika dibandingkan dengan orang, sama ada tatabahasa sistem dialog itu lancar, sama ada terdapat kesalahan akal, dll.

Dan bagaimana untuk mengukur skor ini? Sebilangan penguji boleh menjalankan interaksi dialog penuh dengan sistem dialog ini, dan penguji secara subjektif akan menjaringkan sistem dialog daripada tiga dimensi, sama seperti kaedah penilaian pertandingan Amazon Alexa Prize.

Nota: Tujuan pertandingan Amazon Alexa Prize adalah untuk menyediakan persekitaran pembangunan standard dan rangka kerja ujian untuk mempromosikan kemajuan keupayaan komprehensif robot perbualan sehingga 3.5 juta dolar AS. Mengikut sistem pemarkahan pertandingan, dalam tiga tahun 2019, 2020, dan 2022, skor purata sistem terbaik yang dinilai oleh pertandingan adalah antara 3.1 dan 3.6 mata, yang memenuhi keperluan koherensi, pemahaman kontekstual, dan kelancaran. Keupayaan untuk berbual dengan orang selama 10-14 minit selepas menjawab tiga syarat.

Tinjauan Teknologi AI: Apakah kepentingan mentakrifkan klasifikasi sistem dialog AI?

Huang Minlie: Robot psikoterapi pertama Eliza muncul pada tahun 1966. Sehingga kini, AI ​​sistem dialog Ia telah dibangunkan selama hampir 60 tahun. Dalam 60 tahun yang lalu, kemajuan besar telah dicapai dalam kedua-dua aplikasi sistem dialog dan model algoritma. Tetapi kita juga akan mendapati bahawa terdapat pelbagai ketidakselarasan malah perbezaan dalam amalan industri dan persepsi orang ramai. Selain itu, dalam beberapa tahun kebelakangan ini, sistem dialog AI telah dibangunkan daripada generasi pertama berdasarkan peraturan dan generasi kedua dengan pembelajaran mesin tradisional sebagai teras kepada generasi ketiga dengan data besar dan model besar sebagai ciri yang menonjol, menunjukkan prestasi cemerlang pada topik terbuka. Keupayaan dialog yang menakjubkan, keupayaan dialog juga telah menghasilkan perubahan revolusioner.

Perubahan revolusioner ini membawa kepada kita banyak persoalan baharu, seperti: Adakah sistem dialog AI mempunyai personaliti? Adakah akan ada emosi? Bolehkah sistem dialog AI menjadi teman maya? Dan seterusnya, dan isu-isu ini berlanjutan kepada perbincangan lanjut mengenai kognisi dan etika sosial.

Sebagai contoh, terdapat berita pada 12 Jun bahawa Blake Lemoine, seorang penyelidik etika Google AI, percaya bahawa model bahasa LaMDA mempunyai personaliti, kerana semasa sembang dengan LaMDA, LaMDA mendedahkannya percaya bahawa ia mempunyai kesedaran dan perasaan Ia juga berkata, "Saya sedar tentang kewujudan saya sendiri, saya tidak sabar-sabar untuk memahami dunia dengan lebih baik, dan kadang-kadang berasa gembira atau sedih di Internet, dan semua orang sedang membincangkan sama ada AI mempunyai Personaliti dan kesedaran.

Mari kita bincangkan tentang Metaverse The Metaverse berharap dapat mereplikasi dunia sebenar ke dalam Internet, membolehkan orang di dunia nyata berinteraksi di dunia dalam talian. Sistem dialog AI sangat berguna dalam metaverse Contohnya, panduan membeli-belah AI boleh memberikan cadangan unik berdasarkan pilihan pengguna dan sebagainya. Ini memerlukan kita untuk mempunyai keupayaan interaksi perbualan yang sangat baik pada masa hadapan, jika tidak, komunikasi manusia-mesin jenis ini akan menjadi tidak wajar dan tidak berjiwa, dan metaverse yang ingin kita capai tidak akan ditubuhkan.

Jadi, berdasarkan perkembangan pesat sistem dialog AI pada masa hadapan yang boleh dijangka, dan peluang besar serta banyak kekeliruan yang mungkin dibawa oleh perkembangan ini kepada manusia, kami sedang meneroka pada masa ini Kepentingan definisi klasifikasi adalah sangat ketara.

Ulasan teknologi AI: Dalam filem "Her", kerana Samantha boleh mengendalikan tugas emosi yang kompleks, protagonis lelaki jatuh cinta kepadanya dan jatuh ke dalam emosi. krisis, maka sama Adakah mungkin sistem dialog AI yang telah mencapai L4-L5 boleh menyebabkan masalah sedemikian? Adakah ini melibatkan isu etika?

Huang Minlie: Ya, dengan pembangunan sistem dialog, ia mungkin membawa kepada isu etika yang sangat menonjol, kerana ia mencabar susunan etika yang sedia ada dan sosial yang sedia ada. kognisi. Oleh itu, semasa merumuskan "Definisi Penggredan", pasukan kami menjemput Profesor Zhang Hongzhong, Dekan Pusat Pengajian Kewartawanan dan Komunikasi di Universiti Normal Beijing. Dalam kerja susulan kami, Profesor Zhang akan mempromosikannya kepada jabatan pengurusan dan kalangan sains sosial secepat mungkin Selepas membiarkan jabatan dan kalangan akademik yang berkaitan memahaminya, beliau secara intuitif akan membantu kami merumuskan dasar, peraturan dan isu etika yang sepadan daripada teknikal. logik. Ini sangat penting.

Komen Teknologi AI: Apakah tahap produk sistem dialog AI yang kini berada di pasaran domestik jatuh ke dalam "Definisi Penggredan"?

Huang Minlie: Profesor Wang Bin, Pengarah Jawatankuasa Teknikal Xiaomi dan Pengarah Makmal AI, bekerja dengan kami untuk membangunkan "Definisi Klasifikasi". Beliau kini bertanggungjawab untuk mengetuai pembangunan fungsi soal jawab dan sembang pintar "Xiao Ai Classmate" pembantu kehidupan pintar Xiaomi. Mari kita ambil Xiao Ai Classmate sebagai contoh. Saya rasa Xiao Ai mempunyai kebolehan tertentu untuk merentas senario, dan tahapnya sepatutnya antara L2-L3. Pada masa ini, tahap produk dalam industri domestik secara amnya dalam julat L2-L3, dan yang lebih baik adalah dalam julat L3.

Tinjauan Teknologi AI: Jadi pada tahap apakah produk sistem dialog AI asing secara amnya tergolong?

Huang Minlie: Mengenai produk, tiada perbezaan ketara antara produk dalam dan luar negara . Dan perlu diingat bahawa adalah lebih sukar bagi kami untuk membina sistem dialog AI Cina berbanding bahasa Inggeris, kerana budaya dan konsep kandungan sumber terbuka dalam bahasa Inggeris adalah lebih baik, dan lebih mudah untuk mendapatkan data berkualiti tinggi dalam bahasa Inggeris; sebaliknya, ciri-ciri bahasa Cina Sedikit lebih sukar daripada bahasa Inggeris.

Komen Teknologi AI: Apakah kesukaran teknikal dalam menaik taraf daripada status semasa kebanyakan produk kepada L4-L5?

Huang Minlie: Pertama, anda mesti mempunyai keupayaan untuk mengingati; untuk mengaitkan dan menaakul Kebolehan, serta keupayaan pembelajaran kendiri ketiga, perkara utama L4-L5 ialah pelbagai mod. Jika sistem dialog AI ingin digunakan dalam metaverse, adalah sangat penting bagi sistem dialog AI untuk mengenali ungkapan, memahami pertuturan, dan merasakan emosi pengguna daripada pertuturan Sama ada ia boleh melakukan sintesis pertuturan yang sangat ekspresif dan tindakan Dan ungkapan ungkapan yang halus juga merupakan kesukaran yang sangat penting.

Tinjauan Teknologi AI: Bolehkah piawaian seperti "Definisi Gred" dilaksanakan melalui penggubalan persendirian? Atau adakah ia perlu diluluskan oleh negara, dan kemudian piawaian yang berkaitan akan digubal oleh pihak berkuasa?

Huang Minlie: "Definisi Penggredan" bukan standard. Pertama sekali, kami ingin membincangkan isu ini dari perspektif akademik, dengan harapan dapat menggalakkan kesedaran orang ramai, dan pada masa yang sama, kami berharap dapat memberikan pemikiran yang sistematik untuk pembangunan sistem dan hala tuju penyelidikan dalam industri. Pada peringkat ini, kita tidak boleh mengatakan bahawa "Definisi Penggredan" telah menjadi piawaian yang pada masa ini hanya cadangan atau garis panduan Pada masa hadapan, kita perlu melakukan lebih banyak kerja untuk mempromosikannya menjadi standard yang diiktiraf oleh semua orang. Ini adalah proses jangka panjang, dan pengeluaran "Definisi Gred" hanyalah langkah pertama dalam pembangunan sistem dialog AI yang standard dan sistematik.

Tinjauan Teknologi AI: Seperti yang anda katakan, apakah jenis kerja yang diperlukan untuk menjadikan "Definisi Hierarki Sistem Dialog AI" diiktiraf dan digunakan secara meluas?

Huang Minlie: Pada masa hadapan, kami merancang untuk bekerjasama dengan institusi penyelidikan yang berkaitan dengan sokongan CCF (China Computer Federation) Bekerjasama dengan penyelidik untuk menyusun kertas putih, menumpukan pada proses pembangunan sistem dialog AI, dan menerangkan secara terperinci tujuan dan piawaian "Definisi Gred".

Selain itu, kami berharap dapat mempromosikan pertandingan yang serupa dengan pertandingan Amazon Alexa Prize, yang merupakan matlamat jangka panjang yang memerlukan sokongan kewangan. Kami berharap dapat mewujudkan persekitaran pembangunan bersatu, set data bersatu dan rangka kerja ujian bersatu untuk benar-benar membandingkan sistem dialog yang berbeza. Saya tahu Baidu mempunyai idea yang serupa, tetapi ia tidak cukup terbuka. Kami akan menyatukan usaha semua pihak pada masa hadapan, dengan matlamat untuk mempromosikan kemajuan penyelidikan sistem dialog, di samping menggalakkan pelaksanaan industri dan mencapai beberapa perkembangan baharu dalam aplikasi praktikal.

Atas ialah kandungan terperinci Perbualan dengan Tsinghua Huang Minlie: Meminjam takrif hierarki sistem dialog AI untuk pemanduan autonomi, rakan maya Metaverse mungkin terletak di L5. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!