ヒット率、MRR、およびMMRメトリックを理解しています

導入

完璧な読み物のために書店を閲覧することを想像してみてください。あなたはジャンル固有の推奨事項を切望していますが、新しい著者を発見するために多様性を望んでいます。検索された生成（RAG）システムも同様に機能し、情報検索と創造的な応答生成をブレンドします。パフォーマンスを評価するには、ヒット率（成功した推奨事項の測定）や平均相互ランク（MRR、推奨順序を考慮）などのメトリックが必要です。最大限界関連性（MMR）は、提案における関連性と多様性の両方を保証します。これらのメトリックは、正確で多様で魅力的な推奨事項を保証します。

概要

このガイドでは、ヒット率、MMR、およびRAGシステムの評価における役割を調査します。検索結果の関連性と多様性のバランスをとるためにMMRを適用し、検索の有効性を評価するためにヒット率とMRRを計算し、これらのパフォーマンスメトリックを使用してRAGシステムを分析/改善することを学びます。

目次

• ヒット率とは？
• ヒット率の計算
• ヒット率の制限
• 平均相互ランク（MRR）
• MRRの計算
• 最大限界関連性（MMR）
• MMRの計算
• MMRの例
• よくある質問

ヒット率とは？

HITレートは、TOP-Nの推奨事項内に目的のアイテムが表示される頻度を測定することにより、推奨システムのパフォーマンスを評価します。 RAGでは、生成された出力に関連するデータを正常に組み込む頻度を意味します。

ヒット率の計算？

ヒット率は、関連するアイテムがTOP-Nの推奨事項に表示されるクエリの総数で表示されるクエリの数を割ることによって計算されます。数学的に：

例：対応するターゲットノード（N1、N2、N3）を備えた3つのクエリ（Q1、Q2、Q3）。取得したノードは次のとおりです。

ヒット率はQ1の場合は1、Q2は0、Q3で0です。したがって：

ヒット率の制限

ヒット率の主な制限は、取得したノードの位置を無視することです。 2つのレトリバーを検討してください。

どちらも同じヒット率（66.66％）を持っていますが、Retriver 2は一貫して正しいノードを高くランク付けします（Q1の位置1対位置3）。これは、ランキングを考慮するメトリックの必要性を強調しています。

平均相互ランク（MRR）

平均相互ランク（MRR）は、ランク付けされたリストの最初の関連アイテムのランクを考慮することにより、情報検索システムを評価します。 RAGでは、正確な応答生成のために関連するドキュメントを見つける際の検索コンポーネントのパフォーマンスを評価します。

MRRを計算しますか？

ここで、nはクエリの数であり、rankiはクエリiの最初の関連ドキュメントのランクです。

例：

Q1のMRRは1/3です。したがって：

66.66％のヒット率にもかかわらず、MRRは44.4％であり、関連するアイテムをより高く配置するレトリーバーに報いることに注意してください。

最大限界関連性（MMR）

最大限界関連性（MMR）は、関連性と多様性の両方を最適化するために結果を再ランクします。検索されたアイテムがクエリの側面に包括的に対処することを保証するために、斬新さと関連性のバランスを取ります。

MMRを計算しますか？

λ（mmr_threshold）は、関連性/多様性のトレードオフを制御します。 1に近いλ関連性を優先します。 0に近いλは、多様性に優先順位を付けます。

MMRの例

想定された関連性と類似性スコアを伴うヒット率と同じ例を使用し、λ= 0.5：

Q1、Q2、およびQ3の詳細なMMR計算と再ランキングは、元のドキュメントに記載されています。最終的な再ランクノードは、MMRが関連性と多様性の間で達成するバランスを示しています。

結論

ヒット率、MRR、およびMMRは、RAGシステムを評価および改善するために重要です。 HITレートとMRRは、関連する情報の検索頻度とランキングに焦点を当て、MMRは関連性と多様性のバランスをとります。これらのメトリックを最適化すると、RAGシステムの応答の品質とユーザーエクスペリエンスが向上します。

よくある質問

Q1。ヒット率とは？ A.これは、クエリの総数に対するTOP-Nの推奨事項に関連するアイテムを持つクエリの比率です。

Q2。 MMRとは何ですか？ A.最大の限界関連性は、検索された結果の関連性と多様性のバランスをとる再ランキング手法です。

Q3。 RAGにとってヒット率が重要なのはなぜですか？ A.ヒット率が高いほど、関連情報の検索が改善され、より正確な応答が発生します。

Q4。なぜMMRはRAGにとって重要なのですか？ A. MMRは、多様で関連する結果を保証し、クエリに対する包括的な回答を提供します。

以上がヒット率、MRR、およびMMRメトリックを理解していますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。