Membuat cadangan berita yang boleh dijelaskan dengan model bahasa yang besar

Der Spiegel meneroka menggunakan model bahasa yang besar (LLMS) untuk meningkatkan cadangan artikel berita. Eksperimen luar talian menilai keupayaan LLM untuk meramalkan minat pembaca berdasarkan sejarah bacaan.

Metodologi:

data tinjauan pembaca menyediakan kebenaran asas keutamaan. Setiap sejarah membaca peserta dan penarafan minat artikel telah digunakan. Anthropic's Claude 3.5 Sonnet LLM, bertindak sebagai enjin cadangan, menerima setiap sejarah pembaca (tajuk dan ringkasan) untuk meramalkan minat dalam artikel baru (menjaringkan 0-1000). Format output JSON memastikan hasil berstruktur. Ramalan LLM dibandingkan dengan penilaian tinjauan sebenar. Metodologi terperinci boleh didapati dalam:

Pendekatan kaedah campuran untuk penilaian luar talian sistem prespresifikasi berita

Penemuan Utama:

Hasil yang mengagumkan telah dicapai. Precision@5 mencapai 56%-Apabila mengesyorkan 5 artikel, hampir 3 adalah antara artikel tertinggi pengguna. Bagi 24% pengguna, 4 atau 5 artikel teratas telah diramalkan dengan betul; Untuk 41%lagi, 3 daripada 5 adalah betul. Ini secara signifikan mengatasi cadangan rawak (38.8%), cadangan berasaskan populariti (42.1%), dan pendekatan berasaskan embedding sebelumnya (45.4%).

Carta menggambarkan prestasi peningkatan pendekatan LLM ke atas kaedah lain.

Korelasi Spearman, metrik kedua, mencapai 0.41, dengan ketara melebihi pendekatan berasaskan embedding (0.17), yang menunjukkan pemahaman yang lebih baik tentang kekuatan keutamaan.

Keterlaluan:

penjelasan LLM adalah kelebihan utama. Contohnya menunjukkan bagaimana sistem menganalisis corak membaca dan membenarkan cadangan:

<code>User has 221 articles in reading history

Top 5 Predicted by Claude:
... (List of articles with scores and actual ratings)

Claude's Analysis:
... (Analysis of reading patterns and scoring rationale)</code>

Ketelusan ini meningkatkan kepercayaan dan pemperibadian.

cabaran dan arahan masa depan:

Kos API Tinggi ($ 0.21 setiap pengguna) dan kelajuan pemprosesan (beberapa saat setiap pengguna) menimbulkan cabaran skalabilitas. Meneroka model sumber terbuka dan kejuruteraan segera dapat mengurangkannya. Menggabungkan data tambahan (masa bacaan, populariti artikel) dapat meningkatkan prestasi.

Kesimpulan:

Kuasa ramalan yang kuat dan penjelasan LLMs menjadikan mereka berharga untuk cadangan berita. Di luar cadangan, mereka menawarkan cara baru untuk menganalisis tingkah laku pengguna dan perjalanan kandungan, membolehkan ringkasan dan pandangan peribadi.

Penghargaan

Kajian ini menggunakan data pengguna yang tidak dikenali, agregat. Perbincangan lanjut dialu -alukan melalui LinkedIn.

Rujukan

[1] Dairui, Liu & Yang, Boming & Du, Honghui & Greene, Derek & Hurley, Neil & Lawlor, Aonghus & Dong, Ruihai & Li, Irene. (2024). Recrompt: Rangka kerja yang mendorong diri untuk cadangan berita menggunakan model bahasa yang besar.

Atas ialah kandungan terperinci Membuat cadangan berita yang boleh dijelaskan dengan model bahasa yang besar. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!