Memahami Kadar Hit, MRR, dan Metrik MMR

Pengenalan

Bayangkan melayari kedai buku untuk bacaan yang sempurna. Anda mengidamkan cadangan khusus genre, namun keinginan pelbagai untuk mencari penulis baru. Sistem Generasi Pengambilan semula (RAG) berfungsi sama, menggabungkan pengambilan maklumat dengan penjanaan tindak balas kreatif. Menilai prestasi mereka memerlukan metrik seperti kadar hit (mengukur cadangan yang berjaya) dan min ranking timbal balik (MRR, mempertimbangkan perintah cadangan). Relevan marginal maksimum (MMR) memastikan kedua -dua kaitan dan kepelbagaian dalam cadangan. Metrik ini menjamin cadangan yang tepat, bervariasi, dan menarik.

Gambaran Keseluruhan

Panduan ini meneroka kadar hit, MMR, dan peranan mereka dalam menilai sistem RAG. Anda akan belajar untuk memohon MMR untuk mengimbangi kaitan dan kepelbagaian dalam hasil yang diambil, mengira kadar HIT dan MRR untuk menilai keberkesanan pengambilan semula, dan menganalisis/memperbaiki sistem RAG menggunakan metrik prestasi ini.

Jadual Kandungan

• Apakah kadar hit?
• Mengira kadar hit
• Batasan kadar hit
• Berdasarkan pangkat timbal balik (MRR)
• Mengira MRR
• Relevan Marginal Maksimum (MMR)
• Mengira MMR
• Contoh MMR
• Soalan yang sering ditanya

Apakah kadar hit?

Kadar HIT menilai prestasi sistem cadangan dengan mengukur seberapa kerap item yang dikehendaki muncul dalam cadangan Top-N. Dalam RAG, ia menandakan kekerapan berjaya memasukkan data yang relevan ke dalam output yang dihasilkan.

Mengira kadar hit?

Kadar HIT dikira dengan membahagikan bilangan pertanyaan di mana item yang berkaitan muncul dalam cadangan teratas dengan jumlah pertanyaan. Matematik:

Contoh: Tiga pertanyaan (Q1, Q2, Q3) dengan nod sasaran yang sepadan (N1, N2, N3). Nod yang diambil adalah:

Kadar HIT ialah 1 untuk Q1 dan Q2, 0 untuk Q3. Oleh itu:

Batasan kadar hit

Batasan utama kadar hit adalah tidak menghiraukan kedudukan nod yang diambil. Pertimbangkan dua pengambilan:

Kedua -duanya mempunyai kadar hit yang sama (66.66%), namun Retriever 2 secara konsisten berpangkat nod yang lebih tinggi (kedudukan 1 vs kedudukan 3 untuk Q1). Ini menonjolkan keperluan untuk metrik yang menganggap kedudukan.

Berdasarkan pangkat timbal balik (MRR)

Purata pangkat timbal balik (MRR) menilai sistem pengambilan maklumat dengan mempertimbangkan pangkat item pertama yang berkaitan dalam senarai peringkat. Dalam RAG, ia menilai prestasi komponen pengambilan semula dalam mencari dokumen yang relevan untuk penjanaan tindak balas yang tepat.

Mengira MRR?

Di mana n adalah bilangan pertanyaan, dan Ranki adalah pangkat dokumen yang relevan pertama untuk pertanyaan i.

Contoh:

MRR untuk Q1 adalah 1/3. Oleh itu:

Perhatikan bahawa meskipun kadar hit 66.66%, MRR adalah 44.4%, memberi ganjaran kepada pengambilan yang meletakkan item yang relevan lebih tinggi.

Relevan Marginal Maksimum (MMR)

Relevan marginal maksimum (MMR) kembali keputusan untuk mengoptimumkan kaitan dan kepelbagaian. Ia mengimbangi kebaruan dan kaitan untuk memastikan item yang diambil secara komprehensif menangani aspek pertanyaan.

Mengira MMR?

λ (mmr_threshold) mengawal relevan/kepelbagaian perdagangan. λ hampir 1 mengutamakan kaitan; λ dekat dengan 0 mengutamakan kepelbagaian.

Contoh MMR

Menggunakan contoh yang sama seperti kadar hit, dengan skor kaitan dan kesamaan yang diandaikan, dan λ = 0.5:

Pengiraan MMR terperinci dan peringkat semula untuk Q1, Q2, dan Q3 disediakan dalam dokumen asal. Nod semula peringkat akhir menggambarkan keseimbangan MMR mencapai antara kaitan dan kepelbagaian.

Kesimpulan

Kadar HIT, MRR, dan MMR adalah penting untuk menilai dan meningkatkan sistem RAG. Kadar HIT dan MRR memberi tumpuan kepada kekerapan dan ranking pengambilan maklumat yang relevan, sementara MMR mengimbangi kaitan dan kepelbagaian. Mengoptimumkan metrik ini meningkatkan kualiti tindak balas sistem RAG dan pengalaman pengguna.

Soalan yang sering ditanya

Q1. Apakah kadar hit? A. Ia adalah nisbah pertanyaan dengan item yang berkaitan dalam cadangan teratas N kepada jumlah pertanyaan.

S2. Apa itu MMR? A. Relevan marginal maksimum adalah teknik pengimbangan semula yang mengimbangi dan kepelbagaian dalam hasil yang diambil.

Q3. Mengapa kadar hit penting untuk kain? A. Kadar hit yang lebih tinggi menunjukkan pengambilan maklumat yang lebih baik, yang membawa kepada tindak balas yang lebih tepat.

Q4. Mengapa MMR penting untuk kain? A. MMR memastikan hasil yang pelbagai dan relevan, memberikan jawapan yang komprehensif kepada pertanyaan.

Atas ialah kandungan terperinci Memahami Kadar Hit, MRR, dan Metrik MMR. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!