Pasukan Tian Yuandong mengeluarkan versi kedua DOC 'Penjana Cerita Panjang': koheren telah dipertingkatkan dengan banyak, dan keseronokan telah meningkat sebanyak 20.7%!

Beberapa masa lalu, pasukan Dr. Tian Yuandong mengeluarkan rangka kerja penjana cerita Re3 (Recursive Reprompting and Revision) berdasarkan model bahasa berskala besar di EMNLP2022 Dengan mereka bentuk gesaan, model boleh menghasilkan cerita yang konsisten tanpa sebarang keperluan. Penalaan halus model besar boleh menghasilkan cerita sehingga 7,500 perkataan.

Baru-baru ini, pasukan pengarang Re3 telah mengeluarkan versi kedua rangka kerja penjanaan cerita panjang DOC (Kawalan Garis Terperinci) , yang menggunakan garis besar hierarki (garis besar). ) untuk menjana cerita Untuk penggambaran yang lebih terperinci dan kesinambungan kandungan yang dijana yang lebih koheren menggunakan model OPT-350m yang diperhalusi, manusia menilai DOC sebagai lebih berkebolehan menulis berbanding Re3 generasi sebelumnya.

Pautan kertas: https://arxiv.org/abs/2212.10077

Pautan kertas: https://github.com/yangkevin2/doc-story-generation

DOC terdiri daripada dua komponen pelengkap:

1. 🎜>2. Pengawal terperinci (pengawal terperinci) Pastikan lebih terperinci dengan mengawal perenggan cerita agar konsisten dengan butiran rangka Garis besar masih boleh memainkan peranan dalam proses penjanaan.

Dalam penilaian manusia terhadap cerita yang dijana secara automatik, DOC mencapai keuntungan mutlak sebanyak 22.5% dalam konsistensi plot, peningkatan 28.2% dalam perkaitan garis besar dan peningkatan 20.7% dalam minat, yang mana adalah jauh lebih baik daripada model garis dasar Re3 sebelumnya, dan penilai manusia juga mendapati DOC lebih mudah dikawal dalam persekitaran penjanaan interaktif.

Kevin Yang, pengarang pertama artikel itu, ialah pelajar kedoktoran tahun empat di University of California, Berkeley Minat penyelidikan utamanya ialah penjanaan teks bahasa semula jadi yang boleh dikawal dalam tetapan berstruktur , seperti menggunakan kaedah berstruktur Generatif yang boleh dikawal untuk meningkatkan ketekalan teks panjang.

Pengarang kedua, Dr. Tian Yuandong, ialah seorang penyelidik dan pengurus kanan di Institut Penyelidikan Kecerdasan Buatan Meta Minat penyelidikannya termasuk pembelajaran pengukuhan mendalam dan aplikasinya dalam permainan, serta analisis teori model pembelajaran mendalam. Beliau menerima ijazah sarjana muda dan sarjana dari Universiti Shanghai Jiao Tong pada 2005 dan 2008, dan ijazah kedoktorannya dari Institut Robotik Universiti Carnegie Mellon di Amerika Syarikat pada 2013.

Kerangka DOC

Dengan perkembangan berterusan teknologi bahasa semula jadi, pemahaman teks pendek oleh model bahasa berskala besar secara beransur-ansur menghampiri kesesakan, dan orang ramai secara beransur-ansur menjadi semakin berminat untuk menghasilkan teks yang lebih panjang Menjana minat, seperti menghasilkan beribu-ribu perkataan sekaligus.

Berbanding dengan tugas penjanaan teks pendek, teks panjang mengandungi lebih banyak kandungan dan sekatan Model perlu mengekalkan konsistensi keseluruhan, konsistensi fakta jangka panjang dan mengekalkan konsistensi dengan keluaran pengguna atau rancangan kekal relevan.

Berbanding dengan manusia, sistem penjanaan cerita seperti Re3 masih mempunyai kelemahan dalam banyak aspek, seperti ketidakupayaan untuk menjamin keselarasan plot dalam jarak yang jauh, ketidakkonsistenan global dan kandungan cerita yang menyimpang daripada latar rancangan dll.

Untuk merapatkan jurang ini, rangka kerja Kawalan Garis Terperinci (DOC) menggunakan semula struktur penyemakan penggubalan panning peringkat tinggi Re3 melalui dua pendekatan pelengkap meningkatkan ketekalan jangka panjang.

Lukisan Terperinci

Pertama, garis luar terperinci memperhalusi garis besar awal ringkas menjadi garis besar yang lebih terperinci Garis besar hierarki yang terperinci direka bentuk dengan cara ini kerana pengarang manusia mungkin secara berulang-ulang memperhalusi dan mengembangkan garis besar awal yang pendek sebelum merangka dokumen yang lebih panjang.

Daripada menambah baik titik plot baharu, seorang penulis mungkin merancang plot menyeluruh yang koheren dalam peringkat garis besar peringkat tinggi, menggunakan garis besar yang diperluas untuk memberikan panduan yang lebih terperinci semasa proses penggubalan.

Semasa peringkat penggubalan, penyelidik menggunakan semula perkaitan garis besar dan penyusunan semula koheren teks daripada peringkat penulisan semula Re3 untuk mengesan di mana item rangka semasa Perenggan artikel disiapkan pada masa yang sama, dan pemberhentian awal dilaksanakan berdasarkan ambang skor.

Terdapat tetapan lengkap dan aksara yang berkaitan dalam rangka, dan setiap item garis besar ditapis dengan teliti untuk kaitan dan keselarasan dalam konteks.

Dalam gesaan berstruktur, model menyerlahkan tetapan semasa, perubahan dalam tetapan dan juga mendapatkan huraian peranan berdasarkan peranan yang dikesan dalam garis besar.

Sebaliknya, Re3 secara dinamik memilih aksara yang berkaitan untuk setiap segmen semasa proses penggubalan dan tidak menjejaki maklumat tetapan, yang boleh membawa kepada cerita Perubahan yang tidak dijangka dalam tetapan

Pengawal terperinci

Pengawal terperinci komponen kedua mengawal perenggan berdasarkan item garis besar yang sepadan Dijana untuk mengekalkan kesetiaan kepada garis besar terperinci.

Oleh kerana garis besar terperinci mengenakan banyak kekangan lembut yang bertindih, pengawal terperinci mesti menggunakan kekuatan kawalan yang mencukupi Pada masa yang sama, pengawal terperinci juga mesti menyesuaikan diri dengan input bahasa semula jadi yang fleksibel dan menggunakan State model bahasa besar -of-the-art dijana dengan kecekapan pengiraan.

Jadi penyelidik melaksanakan pengawal terperinci sebagai pengawal berasaskan OPT350m dan mereka bentuk program latihan kontrastif untuk menyelaraskan ringkasan dengan awalan perenggan.

Paling penting, penyelidik juga membina banyak negatif keras fasih untuk memudahkan perenggan yang dijana bukan sahaja Ia bermula relevan dengan tema dan berterusan sepanjang .

Bahagian eksperimen

Dalam percubaan, input kepada model hanyalah premis bahasa Inggeris yang pendek, biasanya 30-60 patah perkataan, dan output adalah cerita yang lengkap .

Para penyelidik tidak mengenakan lebih banyak kekangan peraturan kerana takrifan "cerita" masih belum jelas, apatah lagi definisi "cerita yang baik", dan kualitinya bergantung kepada penilaian manual. indeks.

Terdapat tiga petunjuk utama yang digunakan dalam penilaian, yang lebih sesuai untuk membandingkan perenggan daripada cerita lengkap:

1 Koheren Seksualiti , peratusan perenggan yang dinilai oleh anotasi manusia mempunyai plot yang koheren;

2 mematuhi entri rangka yang sepadan;3

Menarik

, peratusan perenggan yang dianggap menarik. Model garis dasar yang dibandingkan termasuk Re3, ROLLING-OPT dan ROLLING-GPT.

Seperti yang dapat dilihat daripada keputusan eksperimen, berbanding dengan Re3, anotasi percaya bahawa plot yang dihasilkan oleh DOC adalah lebih koheren dan lebih relevan kepada garis besar penambahbaikan garis dasar ROLLING adalah lebih tinggi.

Dan hasilnya mengesahkan ketepatan reka bentuk model, iaitu, koheren plot dan perkaitan garis besar mendapat manfaat daripada mengalihkan kerja kreatif daripada perancangan kepada penggubalan, serta mekanisme kawalan yang dipertingkatkan.

Dan yang menghairankan, para anotor juga percaya bahawa perenggan DOC adalah lebih menarik dengan ketara Para penyelidik percaya bahawa ini adalah peningkatan yang dibawa oleh garis besar yang lebih terperinci (lebih berasaskan peristiwa), yang juga disokong oleh lanjutan. eksperimen ablasi ini.

Walau bagaimanapun, analisis kualitatif juga mendedahkan bahawa model itu masih mempunyai ruang yang besar untuk penambahbaikan selanjutnya.

Tidak seperti RE3, DOC biasanya tidak menyimpang dengan ketara daripada garis besar peringkat atas, manakala RE3 kadangkala tersasar hampir sepenuhnya daripada topik, tetapi DOC sering gagal mengikuti bahagian peringkat bawah garis besar terperinci.

Masih terdapat masalah dengan konsistensi dalaman dalam DOC dan RE3, dan ralat sekali-sekala dalam garis besar terperinci boleh memberi kesan negatif, yang membawa kepada tahap kekeliruan yang lebih besar semasa proses penggubalan .

Selain itu, garis besar dalam DOC cenderung tidak konsisten dalam tahap perincian, dengan sesetengahnya terlalu kabur dan yang lain kelihatan terlalu dikembangkan.

Selain itu, tetapan dan aksara yang dikesan oleh model kadangkala boleh salah atau tidak lengkap, contoh di bawah menunjukkan DOC yang ditulis mengikut garis besar di atas Sebuah kisah yang sangat diringkaskan.

Atas ialah kandungan terperinci Pasukan Tian Yuandong mengeluarkan versi kedua DOC 'Penjana Cerita Panjang': koheren telah dipertingkatkan dengan banyak, dan keseronokan telah meningkat sebanyak 20.7%!. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!