Verständnis der Metriken der Trefferquote, MRR und MMR

Einführung

Stellen Sie sich vor, Sie stöbern in einem Buchladen für die perfekte Lektüre. Sie sehnen sich nach genrespezifischen Empfehlungen und wünschen sich jedoch Abwechslung, neue Autoren zu entdecken. Die Systeme (retrieval-augmented Generation) funktionieren in ähnlicher Weise und verbinden Informationen zum Abrufen der kreativen Reaktion. Die Bewertung ihrer Leistung erfordert Metriken wie Hit -Rate (Messung erfolgreicher Empfehlungen) und mittlerer gegenseitiger Rang (MRR, Berücksichtigung der Empfehlungsreihenfolge). Die maximale marginale Relevanz (MMR) gewährleistet sowohl die Relevanz als auch die Vielfalt der Vorschläge. Diese Metriken garantieren genaue, abwechslungsreiche und ansprechende Empfehlungen.

Überblick

Dieser Leitfaden untersucht die Trefferquote, MMR und ihre Rolle bei der Bewertung von Lappensystemen. Sie lernen, MMR für die Ausgleich von Relevanz und Vielfalt in abgerufenen Ergebnissen, die Trefferquote und die MRR für die Bewertung der Effektivität des Abrufs zu berechnen und Lag -Systeme mithilfe dieser Leistungsmetriken zu analysieren/zu verbessern.

Inhaltsverzeichnis

• Was ist Trefferquote?
• Berechnung der Trefferrate
• Trefferzinsbeschränkungen
• Mittlerer wechselseitiger Rang (MRR)
• Berechnung von MRR
• Maximale Relevanz der marginalen Relevanz (MMR)
• Berechnung von MMR
• MMR -Beispiel
• Häufig gestellte Fragen

Was ist Trefferquote?

Trefferquote bewertet die Leistung des Empfehlungssystems, indem er misst, wie oft das gewünschte Element innerhalb der Top-N-Empfehlungen erscheint. In RAG bedeutet es die Häufigkeit, relevante Daten erfolgreich in die generierte Ausgabe einzubeziehen.

Berechnung der Hitrate?

Die Trefferquote wird berechnet, indem die Anzahl der Abfragen geteilt wird, bei denen der entsprechende Element in den Top-N-Empfehlungen durch die Gesamtzahl der Abfragen angezeigt wird. Mathematisch:

Beispiel: Drei Abfragen (Q1, Q2, Q3) mit entsprechenden Zielknoten (N1, N2, N3). Abgerufene Knoten sind:

Die Trefferquote ist 1 für Q1 und Q2, 0 für Q3. Daher:

Trefferzinsbeschränkungen

Die Hauptbeschränkung der Trefferquote ist die Missachtung der Position des abgerufenen Knotens. Betrachten Sie zwei Retriever:

Beide haben die gleiche Trefferquote (66,66%), aber Retriever 2 rangiert konsequent korrekte Knoten höher (Position 1 gegen Position 3 für Q1). Dies unterstreicht die Notwendigkeit einer Metrik, die das Ranking berücksichtigt.

Mittlerer wechselseitiger Rang (MRR)

Der mittlere wechselseitige Rang (MRR) bewertet Informationen zum Abrufen von Information, indem der Rang des ersten relevanten Elements in einer Rangliste berücksichtigt wird. In RAG bewertet es die Leistung der Abrufkomponente bei der Suche nach relevanten Dokumenten für eine genaue Antwortgenerierung.

Berechnung von MRR?

Wobei n die Anzahl der Abfragen ist und Ranki der Rang des ersten relevanten Dokuments für die Abfrage i ist.

Beispiel:

MRR für Q1 ist 1/3. Daher:

Beachten Sie, dass MRR trotz einer Trefferquote von 66,66% 44,4% beträgt, was Retriever belohnt, die relevante Gegenstände höher platzieren.

Maximale Relevanz der marginalen Relevanz (MMR)

Die maximale marginale Relevanz (MMR) wird die Ergebnisse erneut ausgerichtet, um sowohl die Relevanz als auch die Vielfalt zu optimieren. Es gleicht Neuheit und Relevanz aus, um sicherzustellen, dass abgerufene Elemente umfassende Abfrageaspekte behandeln.

Berechnung von MMR?

λ (mmr_threshold) steuert den Kompromiss der Relevanz/Vielfalt. λ nahe 1 priorisiert die Relevanz; λ nahe 0 priorisiert die Vielfalt.

MMR -Beispiel

Verwenden Sie das gleiche Beispiel wie die Trefferquote mit angenommenen Relevanz- und Ähnlichkeitswerten und λ = 0,5:

Die detaillierte MMR-Berechnung und -Ranking für Q1, Q2 und Q3 finden Sie im Originaldokument. Die endgültigen neu gewonnenen Knoten veranschaulichen das Gleichgewicht, das MMR zwischen Relevanz und Vielfalt erreicht.

Abschluss

Trefferquote, MRR und MMR sind entscheidend für die Bewertung und Verbesserung von Lappensystemen. Trefferquote und MRR konzentrieren sich auf relevante Informationsabruffrequenz und Ranking, während MMR die Relevanz und Vielfalt ausgleichen. Die Optimierung dieser Metriken verbessert die Qualität und die Benutzererfahrung von Lappensystemen.

Häufig gestellte Fragen

Q1. Was ist Trefferquote? A. Es ist das Verhältnis von Abfragen mit relevanten Elementen in den Top-N-Empfehlungen zur Gesamtzahl der Abfragen.

Q2. Was ist MMR? A. Die maximale marginale Relevanz ist eine Relevanz und Vielfalt der Wiederholungstechnik in abgerufenen Ergebnissen.

Q3. Warum ist Trefferrate für RAG wichtig? A. Eine höhere Trefferquote zeigt ein besseres Abrufen relevanter Informationen an, was zu genaueren Antworten führt.

Q4. Warum ist MMR für RAG wichtig? A. MMR sorgt für vielfältige und relevante Ergebnisse und liefert umfassende Antworten auf Fragen.

Das obige ist der detaillierte Inhalt vonVerständnis der Metriken der Trefferquote, MRR und MMR. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!