Google meneroka tugasan NLU baharu 'Penilaian Bahasa Asli', benarkan AI membantu anda memanaskan badan sebelum temu duga rasmi!

"Soalan menjawab" boleh dikatakan berterusan sepanjang hayat, sesetengah soalan boleh diselesaikan secara bersendirian, seperti soalan peperiksaan;

Interaksi sebegini berbeza daripada soal jawab biasa Ia biasanya memerlukan "pihak yang berhati-hati" untuk menjawab soalan dalam situasi tertentu dan membimbing pengguna untuk berfikir untuk mencapai matlamat akhir.

Sebagai contoh, penemuduga bukan sahaja bertanggungjawab untuk bertanyakan soalan, tetapi juga perlu membimbing anda untuk menyatakan pemahaman anda tentang masalah dan penyelesaian pilihan. Soalan sebegini juga mungkin bersifat terbuka, seperti pengenalan diri.

Matlamat utama AI ialah semua yang boleh dilakukan oleh manusia boleh digantikan dengan model, dan jenis "jurulatih temu duga" ini tidak terkecuali.

Tetapi dalam bidang pemprosesan bahasa semula jadi semasa, keupayaan ini tidak mendapat perhatian yang mencukupi dan mencabar dari segi teknikal.

Baru-baru ini, Google memperkenalkan keupayaan pemahaman bahasa semula jadi (NLU) yang penting, iaitu Natural Language Assessment (NLA), di blog rasminya, dan membincangkan cara ia boleh membantu dalam konteks pendidikan .

Tugas NLU biasa memfokuskan pada niat pengguna, manakala NLA membenarkan jawapan dinilai daripada pelbagai perspektif.

Dalam situasi di mana pengguna ingin mengetahui sejauh mana jawapan mereka bagus, NLA boleh memberikan analisis tentang sejauh mana jawapan itu hampir dengan jangkaan.

Dalam situasi yang mungkin tiada jawapan yang "betul", NLA boleh memberikan cerapan bernuansa, termasuk topikal, perkaitan, soalan panjang dan banyak lagi.

Penyelidik merangkumi NLA, mencadangkan model praktikal untuk melaksanakan NLA topikal, dan menunjukkan cara NLA boleh digunakan untuk membantu pencari kerja berlatih menjawab soalan temu duga.

Tinjauan Keseluruhan Penilaian Bahasa Semulajadi

Matlamat NLA adalah untuk menilai jawapan yang diberikan oleh pengguna terhadap satu set jangkaan.

Sebagai contoh, terdapat sistem NLA yang berinteraksi dengan pelajar, yang mempunyai komponen berikut:

• Tanya soalan kepada pelajar
• Jangkaan menentukan pengguna jangkaan Apa yang perlu diperolehi dalam jawapan. Sebagai contoh, jawapan teks tertentu atau satu set topik yang pengguna jangkakan jawapannya akan dibincangkan dan jawapannya perlu ringkas.
• Jawapan disediakan oleh pelajar;
• Hasil penilaian. Termasuk ketepatan, maklumat yang hilang, terlalu khusus atau umum, maklum balas gaya, sebutan, dsb.
• Pilihan: konteks. Contohnya, perenggan dalam buku atau artikel.

Menggunakan NLA, kedua-dua jangkaan untuk jawapan dan penilaian jawapan boleh menjadi sangat luas, menjadikan interaksi antara guru dan pelajar lebih ekspresif dan terperinci.

Soalan dengan jawapan betul yang spesifik

Walaupun terdapat jawapan betul yang jelas, jawapan itu boleh dinilai dalam lebih nuansa daripada sekadar betul atau salah.

• Konteks: Harry Potter and the Philosopher's Stone
• Soalan: Apa itu Hogwarts?
• Harapan: Hogwarts ialah sekolah sihir
• Jawapan : Saya tidak pasti, tetapi saya fikir ia adalah sebuah sekolah.

Bagi sistem soal jawab, jawapan di atas mungkin ditanda sebagai salah kerana kekurangan butiran utama "magic", kerana pengguna akan menganggap jawapan itu tidak betul sepenuhnya dan tidak masuk akal.

NLA boleh memberikan pemahaman yang lebih terperinci, seperti menentukan bahawa jawapan pelajar adalah terlalu umum dan pelajar tidak cukup yakin tentang jawapannya.

Penilaian bernuansa ini, bersama-sama dengan menyatakan ketidakpastian yang dinyatakan oleh pelajar, adalah penting dalam membantu pelajar membina kemahiran dalam tetapan perbualan.

Jangkaan Topik

Dalam banyak kes, penyoal tidak mengharapkan jawapan khusus.

Sebagai contoh, jika pelajar ditanya soalan pendapat, dan tidak ada jangkaan teks tertentu, penyoal lebih mementingkan kerelevanan dan pendapat jawapannya juga penyoal dalam skop penilaian.

• Soalan: Sila perkenalkan diri anda. (Beritahu saya sedikit tentang diri anda?)
• Jangkaan: Koleksi topik, yang mungkin termasuk "pendidikan", "pengalaman", "minat", dll.
• Jawapan: Saya menyertai Salina, California Si membesar dan pergi ke Stanford dan mengambil jurusan ekonomi, tetapi kemudian teruja dengan industri teknologi, jadi seterusnya saya...

Dalam kes ini, output penilaian yang berguna Jawapan pengguna akan dipetakan kepada subset topik yang diliputi, mungkin dengan penanda untuk bahagian teks yang berkaitan dengan topik yang mana.

Dari sudut pemprosesan bahasa semula jadi, ini mencabar kerana jawapan boleh panjang, topik boleh bercampur-campur dan setiap topik itu sendiri boleh berbilang muka.

Model NLA Topik

Secara prinsipnya, NLA topikal (Topicallity NLA) ialah tugas berbilang pengelasan standard dan pembangun boleh melatih pengelas berdasarkan model yang biasa digunakan dengan mudah.

Tetapi untuk NLA, terdapat sangat sedikit data latihan yang tersedia, dan pengumpulan data latihan untuk setiap soalan dan topik memerlukan kos dan memakan masa.

Penyelesaian Google ialah menguraikan setiap topik kepada komponen berbutir halus yang boleh dikenal pasti menggunakan model bahasa besar (LLM) dan penalaan umum yang mudah.

Para penyelidik memetakan setiap topik kepada senarai soalan yang berpotensi dan mentakrifkan bahawa jika ayat mengandungi jawapan kepada salah satu soalan berpotensi ini, maka ia meliputi topik tersebut.

Untuk topik Pengalaman, model boleh memilih beberapa soalan yang berpotensi, seperti:

• Di manakah anda bekerja?
• Apa yang anda belajar?
• ...

Di bawah topik Minat, terdapat juga beberapa soalan asas, seperti

• Apa yang anda minati?
• Apa yang anda suka lakukan?
• ...

Soalan asas ini direka bentuk melalui proses manual berulang.

Yang penting, memandangkan soalan ini cukup terperinci, model bahasa semasa boleh menangkap semantik dalam ayat ini (seperti perbezaan antara What and Where), yang turut membenarkan pembangun menyediakan penyelesaian untuk tugasan subjek NLA. Persediaan sifar pukulan: Selepas model dilatih sekali, soalan baharu dan topik baharu boleh ditambah secara berterusan, atau topik sedia ada boleh dijangka disesuaikan dengan mengubah suai kandungan asas tanpa mengumpul data khusus topik.

Membantu pencari kerja bersedia untuk temu duga

Untuk menerokai senario aplikasi NLA, pembangun Google turut bekerjasama dengan pencari kerja untuk membangunkan alat baharu, Pemanasan Temuduga Bantu pengguna bersedia untuk temu duga dalam bidang pekerjaan yang berkembang pesat seperti Sokongan IT dan Reka Bentuk Pengalaman Pengguna.

Tapak web menyediakan sejumlah besar soalan supaya pencari kerja boleh berlatih menjawab soalan daripada pakar industri di rumah untuk membantu mereka menjadi lebih yakin dan selesa dalam temu duga orang sebenar.

Google juga telah diilhamkan oleh pencari kerja dan menghasilkan penyelidikan NLA selepas memahami kesukaran dalam proses temu duga.

Pemanasan Temu Bual tidak menilai atau menilai jawapan hanya menyediakan pengguna dengan persekitaran untuk berlatih bersendirian dan membantu pengguna memperbaiki diri mereka.

Setiap kali pengguna menjawab soalan temu bual, jawapannya dihuraikan ayat demi ayat oleh model NLA, dan pengguna kemudiannya boleh bertukar antara titik perbualan yang berbeza untuk melihat mana yang ditemui dalam jawapan mereka.

Para penyelidik menyedari bahawa terdapat banyak kemungkinan perangkap apabila memberi isyarat kepada pengguna bahawa maklum balas mereka adalah "baik", terutamanya apabila model hanya mengesan set topik yang terhad.

Sebaliknya, sistem meletakkan kawalan di tangan pengguna, hanya menggunakan pembelajaran mesin untuk membantu pengguna menemui cara untuk menambah baik.

Setakat ini, alat itu telah membantu sejumlah besar pencari kerja dari seluruh dunia dengan hasil yang hebat, dan pasukan pembangunan baru-baru ini mengembangkannya ke Afrika, Dan merancang untuk terus bekerja dengan pencari kerja, mengulangi dan menjadikan alat itu lebih membantu berjuta-juta orang yang mencari pekerjaan baharu.

Natural Language Assessment (NLA) ialah bidang penyelidikan yang mencabar secara teknikal dan menarik.

NLA membuka jalan untuk aplikasi perbualan baharu, mempromosikan pembelajaran melalui penilaian bernuansa dan analisis jawapan daripada pelbagai perspektif.

Dengan bekerjasama dengan komuniti, daripada pencari kerja dan perniagaan kepada guru dan pelajar bilik darjah, kami boleh mengenal pasti situasi di mana NLA berpotensi untuk membantu pengguna belajar, melibatkan diri dan mengembangkan kemahiran merentas pelbagai mata pelajaran, secara bertanggungjawab. cara Bina aplikasi yang membolehkan pengguna menilai kebolehan mereka dan mencari cara untuk menambah baik.

Rujukan: https://ai.googleblog.com/2022/10/natural-language-assessment-new.html

Atas ialah kandungan terperinci Google meneroka tugasan NLU baharu 'Penilaian Bahasa Asli', benarkan AI membantu anda memanaskan badan sebelum temu duga rasmi!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!