了解命中率，MRR和MMR指標

介紹

想像一下瀏覽書店以進行完美閱讀。您渴望特定於流派的建議，但希望發現新作者的多樣性。檢索增強的生成（RAG）系統的功能相似，將信息檢索與創意響應生成融為一體。評估其績效需要指標，例如命中率（衡量成功的建議）和平均相互等級（MRR，考慮建議順序）。最大邊緣相關性（MMR）確保了建議的相關性和多樣性。這些指標保證了準確，多樣化和引人入勝的建議。

概述

本指南探討了命中率，MMR及其在評估抹布系統中的作用。您將學會將MMR用於在檢索結果中平衡相關性和多樣性，計算命中率和MRR評估檢索有效性，並使用這些性能指標分析/改善抹布系統。

目錄

• 什麼是命中率？
• 計算命中率
• 命中率限制
• 平均相互等級（MRR）
• 計算MRR
• 最大邊緣相關性（MMR）
• 計算MMR
• MMR示例
• 常見問題

什麼是命中率？

命中率通過測量所需項目在頂級建議中出現的頻率來評估建議系統性能。在抹布中，它表示成功將相關數據納入生成的輸出的頻率。

計算命中率？

命中率是通過將相關項目出現在頂級建議中的查詢數量除以查詢總數的查詢數量來計算的。數學上：

示例：三個查詢（Q1，Q2，Q3），帶有相應的目標節點（N1，N2，N3）。檢索的節點是：

Q1的命中率為1，Q3為0。所以：

命中率限制

命中率的主要限制是無視檢索到的節點的位置。考慮兩個獵犬：

兩者都具有相同的命中率（66.66％），但是Retriever 2始終將正確的節點排名更高（位置1比Q1的位置3）。這凸顯了對考慮排名的度量的需求。

平均相互等級（MRR）

平均相互等級（MRR）通過考慮排名列表中的第一個相關項目的等級來評估信息檢索系統。在RAG中，它評估了檢索組件在尋找相關文檔以進行準確響應生成時的性能。

計算MRR？

其中n是查詢的數量，而ranki是查詢i的第一個相關文檔的等級。

例子：

Q1的MRR為1/3。所以：

請注意，儘管命中率達到66.66％，但MRR為44.4％，獎勵將相關物品更高的檢索員獎勵。

最大邊緣相關性（MMR）

最大邊緣相關性（MMR）重新排列結果以優化相關性和多樣性。它可以平衡新穎性和相關性，以確保已檢索的項目全面解決查詢方面。

計算MMR？

λ（mmr_threshold）控制相關性/多樣性權衡。接近1的λ優先考慮相關性；接近0的λ優先考慮多樣性。

MMR示例

使用與HIT率相同的示例，具有相關性和相似性得分，λ= 0.5：

原始文檔中提供了Q1，Q2和Q3的詳細MMR計算和重新排列。最終重新排列的節點說明了MMR在相關性和多樣性之間達到的平衡。

結論

命中率，MRR和MMR對於評估和改善抹布系統至關重要。命中率和MRR專注於相關信息檢索頻率和排名，而MMR平衡相關性和多樣性。優化這些指標可增強抹布系統的響應質量和用戶體驗。

常見問題

Q1。什麼是命中率？答：這是最高建議中的查詢與相關項目與查詢總數的比率。

Q2。什麼是MMR？答：最大的邊際相關性是一種重新排列技術，平衡了檢索結果中的相關性和多樣性。

Q3。為什麼命中率對抹布很重要？答：更高的命中率表明更好地檢索相關信息，從而導致更準確的響應。

Q4。為什麼MMR對抹布很重要？ A. MMR確保各種各樣的相關結果，為查詢提供全面的答案。

以上是了解命中率，MRR和MMR指標的詳細內容。更多資訊請關注PHP中文網其他相關文章！