Kaedah pengecaman entiti Cina dan set data yang biasa digunakan

Pengiktirafan entiti bernama (NER) ialah tugas penting dalam pemprosesan bahasa semula jadi Ia bertujuan untuk mengenal pasti entiti dengan makna khusus daripada teks, seperti nama orang, tempat, organisasi, dsb. NER Cina menghadapi lebih banyak cabaran kerana bahasa Cina mempunyai ciri khas dan memerlukan penggunaan lebih banyak teknologi dan peraturan pemprosesan bahasa untuk menanganinya.

Kaedah pengiktirafan entiti bernama Cina terutamanya termasuk kaedah berasaskan peraturan, berasaskan statistik dan hibrid. Kaedah berasaskan peraturan mengenal pasti entiti dengan membina peraturan atau templat peraturan secara manual. Kaedah berasaskan statistik menggunakan algoritma pembelajaran mesin untuk mempelajari model pengecaman entiti daripada korpora besar. Kaedah hibrid menggabungkan dua kaedah untuk memanfaatkan kedua-dua peraturan dan pembelajaran statistik.

Untuk pelaksanaan khusus pengecaman entiti bernama Cina, langkah-langkah berikut secara amnya boleh digunakan:

1 Pembahagian perkataan: Pisahkan teks Cina kepada perkataan satu demi satu untuk pemprosesan seterusnya.

2. Penandaan sebahagian daripada pertuturan: Tandai setiap perkataan yang dibahagikan dengan tag sebahagian daripada pertuturan untuk pemprosesan seterusnya.

3. Pengiktirafan entiti: Kenali entiti dalam teks berdasarkan peraturan pratetap atau model terlatih.

Dalam proses pengiktirafan entiti, anda perlu memberi perhatian kepada perkara berikut:

1 Definisi kategori entiti: Adalah perlu untuk menentukan entiti yang perlu diiktiraf dan mengklasifikasikannya ke dalam kategori yang berbeza. seperti nama orang dan tempat , nama organisasi, dsb.

2. Penentuan sempadan entiti: Adalah perlu untuk menentukan kedudukan permulaan dan kedudukan akhir entiti untuk pelabelan entiti berikutnya.

3 Penyelesaian kepada masalah pertindihan entiti: Entiti yang sama mungkin muncul beberapa kali dalam teks, dan ia perlu dilabel secara seragam sebagai entiti yang sama untuk mengelakkan pengiraan berulang.

Pengiktirafan entiti bernama Cina digunakan secara meluas. Contohnya, dalam tugas pemprosesan bahasa semula jadi seperti pengekstrakan maklumat, perolehan semula maklumat, klasifikasi teks dan terjemahan mesin, pengecaman entiti bernama perlu dilakukan terlebih dahulu. Pada masa yang sama, ia juga digunakan secara meluas dalam media sosial, media berita, pengiklanan dan bidang lain. Sebagai contoh, mengenal pasti maklumat peribadi pengguna dalam media sosial boleh memberikan sokongan untuk pengiklanan dan pemasaran yang tepat dalam laporan berita, mengenal pasti nama orang, tempat, organisasi dan entiti lain yang terlibat dalam acara itu boleh membantu pengguna dengan lebih cepat Memahami latar belakang dan berkaitan; maklumat kejadian.

Set Data Pengiktirafan Entiti Bernama Cina

Set Data Pengiktirafan Entiti Bernama Cina ialah asas untuk melatih dan menilai model pengecaman entiti bernama Terdapat beberapa set data Pengiktirafan Entiti Bernama Cina yang digunakan secara meluas. Berikut ialah pengenalan kepada beberapa set data pengecaman entiti bernama Cina yang biasa digunakan:

1) Set data MSRA-NER: MSRA-NER ialah set data pengecaman entiti bernama Cina yang dicipta oleh Microsoft Research Asia, mengandungi lebih daripada 80,000 berita item Teks, yang mana lebih daripada 60,000 digunakan untuk latihan dan lebih daripada 20,000 digunakan untuk ujian. Kategori entiti set data ini termasuk nama orang, tempat, organisasi dan entiti lain.

2) Kumpulan data Harian Rakyat PKU dan MSRA: Kumpulan data ini dicipta bersama oleh Universiti Peking dan Microsoft Research Asia, dan termasuk pelbagai jenis artikel seperti laporan berita, editorial dan ulasan daripada People's Daily. Set data ini bersaiz besar dan mengandungi lebih daripada 500,000 anotasi entiti.

3) Set data WeiboNER: Set data ini dicipta oleh Universiti Tsinghua dan mengandungi sejumlah besar teks bahasa Cina daripada Sina Weibo, termasuk nama orang, nama tempat, nama organisasi, masa, tarikh, istilah profesional, dsb. Jenis entiti. Set data juga mengandungi entiti yang mencabar seperti slanga internet dan perbendaharaan kata baharu.

4) Set data OntoNotes: Set data ini dicipta oleh Institut Piawaian dan Teknologi Kebangsaan dan mengandungi data teks dan anotasi entiti dalam berbilang bahasa (termasuk bahasa Cina). Set data bersaiz besar dan mengandungi lebih daripada 100,000 anotasi entiti.

5) Set Data Tugasan 2 CCKS 2017: Set data ini dicipta oleh Persatuan Maklumat Cina China dan merupakan salah satu tugas CCKS (Kawasan Penyelidikan Grafik Pengetahuan Cina bagi Persatuan Maklumat Cina China) dalam 2017. Ia termasuk berita dan ensiklopedia , Weibo dan jenis teks lain, yang melibatkan pelbagai jenis entiti seperti nama orang, nama tempat, nama organisasi, dsb. Set data bersaiz besar dan mengandungi kira-kira 100,000 anotasi entiti.

Ringkasnya, pengiktirafan entiti bernama Cina adalah tugas penting dalam pemprosesan bahasa semula jadi, dengan pelbagai aplikasi dan kepentingan praktikal yang penting.

Atas ialah kandungan terperinci Kaedah pengecaman entiti Cina dan set data yang biasa digunakan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!