적중률, MRR 및 MMR 메트릭 이해

소개

완벽한 읽기를 위해 서점을 탐색한다고 상상해보십시오. 당신은 장르에 따른 권장 사항을 간절히 원하지만 새로운 작가를 발견하려는 다양성을 원합니다. RAG (Resprieved-Augmented Generation) 시스템은 유사하게 기능하여 정보 검색과 창의적 응답 생성과 혼합됩니다. 성능을 평가하려면 적중률 (성공적인 권장 사항 측정) 및 평균 상호 순위 (MRR, 권장 사항 순서를 고려한 MRR)와 같은 지표가 필요합니다. 최대 한계 관련성 (MMR)은 제안의 관련성과 다양성을 보장합니다. 이 메트릭은 정확하고 다양하며 매력적인 권장 사항을 보장합니다.

개요

이 안내서는 히트율, MMR 및 RAG 시스템 평가에서의 역할을 탐구합니다. 검색된 결과의 관련성과 다양성의 균형을 맞추기 위해 MMR을 적용하고, 검색 효과를 평가하기 위해 적중률 및 MRR을 계산하며, 이러한 성능 메트릭을 사용하여 RAG 시스템을 분석/개선하는 법을 배웁니다.

목차

• 적중률은 얼마입니까?
• 적중률을 계산합니다
• 적중률 제한
• 평균 상호 순위 (MRR)
• MRR 계산
• 최대 한계 관련성 (MMR)
• MMR 계산
• MMR 예
• 자주 묻는 질문

적중률은 얼마입니까?

적중률은 원하는 항목이 최상위 N 권장 사항 내에 얼마나 자주 나타나는지를 측정하여 추천 시스템 성능을 평가합니다. Rag에서는 관련 데이터를 생성 된 출력에 성공적으로 통합하는 빈도를 나타냅니다.

적중률 계산?

적중률은 관련 항목이 Top-N 권장 사항에 나타나는 쿼리 수를 총 쿼리 수로 나누어 계산됩니다. 수학적 :

예 : 해당 대상 노드 (N1, N2, N3)가있는 3 개의 쿼리 (Q1, Q2, Q3). 검색된 노드는 다음과 같습니다.

적중률은 Q1의 경우 1, Q2, Q3의 경우 0입니다. 그러므로:

적중률 제한

적중률의 주요 제한은 검색된 노드의 위치에 대한 무시입니다. 두 개의 리트리버를 고려하십시오.

둘 다 동일한 적중률 (66.66%)을 가지지 만 리트리버 2는 일관되게 올바른 노드를 높이 평가합니다 (Q1의 위치 1 대 위치 3). 이것은 순위를 고려하는 메트릭의 필요성을 강조합니다.

평균 상호 순위 (MRR)

평균 상호 순위 (MRR)는 순위 목록에서 첫 번째 관련 항목의 순위를 고려하여 정보 검색 시스템을 평가합니다. Rag에서는 정확한 응답 생성을위한 관련 문서를 찾는 데있어 검색 구성 요소의 성능을 평가합니다.

MRR 계산?

여기서 n은 쿼리 수이고 랭키는 쿼리 i의 첫 번째 관련 문서의 순위입니다.

예:

Q1의 MRR은 1/3입니다. 그러므로:

66.66%의 적중률에도 불구하고 MRR은 44.4%로 관련 항목을 더 높은 리트리버로 보상합니다.

최대 한계 관련성 (MMR)

최대 한계 관련성 (MMR) 리 평가는 관련성과 다양성을 모두 최적화합니다. 검색된 항목이 종합적으로 쿼리 측면을 해결하기 위해 참신과 관련성의 균형을 유지합니다.

MMR 계산?

λ (mmr_threshold)는 관련성/다양성 트레이드 오프를 제어합니다. λ에 가까운 λ는 관련성을 우선시합니다. λ에 가까운 λ는 다양성을 우선시합니다.

MMR 예

적중률과 동일한 예제를 사용하고 관련성 및 유사성 점수가 가정하고 λ = 0.5 :

Q1, Q2 및 Q3의 상세한 MMR 계산 및 재평가는 원본 문서에 제공됩니다. 최종 재 순위 노드는 MMR이 관련성과 다양성 사이의 균형을 보여줍니다.

결론

적중률, MRR 및 MMR은 RAG 시스템을 평가하고 개선하는 데 중요합니다. 적중률과 MRR은 관련 정보 검색 빈도 및 순위에 중점을두고 MMR은 관련성과 다양성의 균형을 유지합니다. 이러한 메트릭을 최적화하면 RAG 시스템 응답 품질 및 사용자 경험이 향상됩니다.

자주 묻는 질문

Q1. 적중률은 얼마입니까? A. 상단 N 권장 사항에 관련 항목이있는 쿼리 비율은 총 쿼리 수입니다.

Q2. MMR이란 무엇입니까? A. 최대 한계 관련성은 검색된 결과의 균형과 관련성과 다양성의 재 순위 기술입니다.

Q3. RAG에 적중률이 중요한 이유는 무엇입니까? A. 적중률이 높을수록 관련 정보가 더 나은 검색을 의미하여보다 정확한 응답으로 이어집니다.

Q4. MMR이 헝겊에 중요한 이유는 무엇입니까? A. MMR은 다양한 결과를 보장하여 쿼리에 대한 포괄적 인 답변을 제공합니다.

위 내용은 적중률, MRR 및 MMR 메트릭 이해의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!