답변 추출 정확도는 96.88%에 달하며 xFinder는 대형 모델의 '부정행위' 사고방식을 제거합니다.

AIxiv 칼럼은 본 사이트에서 학술 및 기술 콘텐츠를 게재하는 칼럼입니다. 지난 몇 년 동안 이 사이트의 AIxiv 칼럼에는 전 세계 주요 대학 및 기업의 최고 연구실을 대상으로 한 2,000개 이상의 보고서가 접수되어 학술 교류 및 보급을 효과적으로 촉진하고 있습니다. 공유하고 싶은 훌륭한 작품이 있다면 자유롭게 기여하거나 보고를 위해 연락주시기 바랍니다. 제출 이메일: liyazhou@jiqizhixin.com; zhaoyunfeng@jiqizhixin.com

이 기사의 첫 번째 저자와 교신 저자는 모두 Shanghai Algorithm Innovation Research Institute 출신입니다. 그 중 교신저자인 Li Zhiyu 박사는 중국 런민대학교 컴퓨터공학과를 졸업하고 Alibaba, Xiaohongshu 등 인터넷 기업에서 알고리즘 구현 및 연구에 참여했으며, 수천억 개의 제품을 포함한 프로젝트에 참여했습니다. 지식 지도, 사용자 지도, 여론 지도 등 총 40편 이상의 논문이 출판되었습니다. Li Zhiyu는 현재 상하이 알고리즘 혁신 연구소(Xiong Feiyu 박사가 이끄는)의 대규모 모델 부서에서 전반적인 기술 연구 및 개발 작업을 담당하고 있습니다. 연구소 홈페이지: https://www.iaar.ac.cn/

대형 언어 모델(LLM)의 급속한 발전으로 인해 모델의 공정성과 신뢰성을 평가하는 방법에 대한 열띤 논의가 촉발되었습니다.

OpenCompass, LM Eval Harness, UltraEval과 같은 기존 평가 프레임워크와 다양한 벤치마크가 업계 발전을 주도하지만, 이러한 평가 프레임워크의 핵심 구성 요소에 대한 신뢰성이나 신뢰성 측정에 중점을 두는 팀은 소수에 불과합니다.

최근 상하이 알고리즘 혁신 연구소와 중국 런민 대학교 연구팀은 "xFinder: 대규모 언어 모델을 위한 강력하고 정확한 답변 추출"이라는 제목의 논문을 발표했습니다. 본 논문에서는 대규모 모델 평가에서 답변 추출 구성 요소의 신뢰성과 일관성을 평가하는 데 중점을 두고 LLM 평가 프레임워크의 전체 프로세스에 대한 심층 분석을 제공합니다.

• 논문 주소:
  https://arxiv.org/abs/2405.11874
• Github 링크:
  https://github.com/IAAR-Shanghai/xFinder
• 껴안는 얼굴 링크:
  https://huggingface.co/collections/IAAR-Shanghai/xfinder-664b7b21e94e9a93f25a8412
  
  

현재 평가 프레임워크는 주로 정규식(RegEx)을 사용하여 답변을 추출하지만 다음에는 명백한 문제가 있습니다. 이 방법 결함. 매뉴얼 검토 결과, 최고 추출 정확도는 74.38%에 불과하고 평가 결과도 매우 신뢰할 수 없는 것으로 나타났습니다.

또한 RegEx 방법은 의도적이든 아니든 쉽게 장착되어 "부정행위" 가능성이 높아져 평가 결과의 신뢰성과 일관성에 영향을 미칩니다. 아래 그림은 LLM 평가 프레임워크의 RegEx 구성 요소 추출 오류를 보여줍니다.

이 문제를 효과적으로 해결하기 위해 상하이 알고리즘 혁신 연구소와 중국 런민 대학의 연구팀은 핵심 답변을 더 정확하게 추출하기 위해 xFinder라는 새로운 모델을 개발했습니다.

xFinder에는 다음과 같은 장점이 있습니다.

(1) 특정 형식의 답변 출력이 필요하지 않고 강력한 답변 추출 견고성을 가지며 추출 정확도가 95.18%로 상당히 높습니다. 평가 프레임워크에서 현재 최고의 LLM RegEx 방법보다 낫습니다.

(2) 다양한 질문 유형을 지원하고 문자 객관식 질문을 퀴즈 질문으로 자동 변환할 수 있으며 다양한 질문 유형의 혼합 평가를 지원하여 테스터가 질문 유형에 맞을 가능성을 줄입니다.

방법 소개

xFinder 구현 프로세스에는 주로 LLM 응답 콘텐츠 생성, KAF 데이터 세트 주석 및 xFinder 교육이 포함됩니다. xFinder 모델의 효과적인 교육을 달성하기 위해 팀은 KAF(Key Answer Finder) 데이터 세트라는 특수 데이터 세트를 구축했습니다. 데이터 세트에는 다양한 평가 작업을 다루는 26,900개의 훈련 샘플, 4,961개의 테스트 샘플, 4,482개의 일반화 샘플이 포함되어 있습니다.响 대규모 언어 모델은

을 생성하는 데 응답합니다. 먼저, 연구팀은 기존 주요 평가 벤치마크 및 보고서에서 여러 가지 일반적인 평가 작업 데이터 세트를 선택했습니다. 이러한 작업은 문자 선택 작업, 짧은 형식으로 분류됩니다. 텍스트 선택 작업, 카테고리 레이블 작업 및 수학 작업.

그런 다음 팀은 다양한 LLM 시리즈(예: Qwen, InternLM, ChatGLM 등)를 사용하여 이러한 작업에 대한 데이터 쌍을 생성했습니다. 다양한 LLM을 통해 팀은 풍부하고 다양한 데이터 쌍을 생성하여 xFinder 모델 교육을 위한 충분한 데이터 지원을 제공했습니다.

자동 주석 및 수동 검토

                                                              팀은 LLM 응답에서 주요 답변을 추출하고 이를 라벨로 사용하여 고품질 KAF 데이터 세트를 구축하는 전략을 사용했습니다. 훈련 세트의 주석 효율성을 향상시키기 위해 GPT-4를 사용하여 서로 다른 프롬프트를 통해 두 개의 주석 세트를 생성하는 반자동 프로세스를 채택했으며 일관성 없는 주석이 있는 항목을 필터링하기 위해 자체 일관성 전략을 사용했습니다. 수학 문제를 직접 검토하도록 제출했습니다. 테스트 세트와 일반화 세트의 유효성과 신뢰성을 보장하기 위해 모든 레이블은 두 차례의 수동 주석을 거칩니다. In Training XFINDER

KAF 데이터 세트의 다양성과 모델의 일반화 기능을 향상시키기 위해 연구팀은 두 가지 데이터 향상 전략을 채택했습니다.

(1) 시뮬레이션 LLM 응답: 50 KAF 훈련 세트의 문자 선택 질문 중 %는 LLM의 다양한 응답을 시뮬레이션하기 위해 하나 또는 두 개의 옵션을 추가하거나 삭제하여 수정되었습니다.

(2) 프롬프트 양식 강화: 핵심 답변 문장이 포함된 LLM 응답의 10%를 추출하고 프롬프트 부분을 대체합니다. 예를 들어 "최종 답변은 A입니다."를 "질문의 맥락에 따라, A가 가장 가능성이 높은 대답입니다."

또한 팀은 XTuner 도구와 QLoRA 방식을 사용하여 Llama 시리즈, Qwen 시리즈, Gemma 시리즈 등 기본 모델을 미세 조정하고 마침내 xFinder를 얻었습니다.

실험 결과

팀은 다양한 작업에서 xFinder의 성능을 평가하고 이를 기존 RegEx 방법과 비교하기 위해 광범위한 실험을 수행했습니다. KAF 테스트 세트 결과

KAF 테스트 세트에서 XFinder-Qwen1505의 평균 추출 정확도는 96.88%에 이르렀으며 이는 최고의 평가 프레임워크의 정규식 방법의 74.38%보다 훨씬 높습니다.

구체적으로 xFinder-qwen1505의 추출 정확도는 문자 옵션 작업에서 96.83%, 분류 레이블 작업에서 98.05%입니다. %. 이러한 결과는 xFinder가 광범위한 작업에서 우수한 성능을 발휘하여 평가의 정확성과 신뢰성을 크게 향상시킨다는 것을 보여줍니다.

KAF 일반화 세트 결과

                                                                                                                  새로운 KAF 일반화 세트(이 일반화 세트는 KAF 데이터 세트의 훈련 세트 및 테스트 세트와 다른 LLM 및 테스트 작업 생성을 사용함) 샘플로 구성됨), xFinder -qwen1505는 평균 추출 정확도 93.42%로 뛰어난 성능을 보여주었습니다.

실험 결과에 따르면 xFinder는 다른 RegEx 기반 평가 프레임워크보다 더 나은 성능을 발휘할 뿐만 아니라 GPT-4보다 훨씬 뛰어나며 높은 견고성과 일반화 기능을 완벽하게 보여줍니다.

실제 시나리오에서의 평가

                   

연구팀은 xFinder와 기존 평가 프레임워크를 사용하여 10개의 LLM에 대한 종합적인 평가를 수행했습니다. 평가 작업에는 CommonsenseQA, BoolQ, GSM8K 등이 포함됩니다. 10개의 서로 다른 LLM에 5가지 답변 추출 방식을 적용하여 일련의 비교 실험을 수행했습니다.

요약하자면, 실험 결과는 주로 세 가지 주요 결과를 드러냅니다.

(1) 서로 다른 프레임워크에서 동일한 모델의 순위는 종종 큰 차이가 있어 모델의 실제 기능을 정확하게 반영하기 어렵습니다. 일관성이 떨어지는 모델입니다. ㅋㅋㅋ

(3) 기존 문자 옵션 설정에 비해 옵션 텍스트를 직접 사용하면 문자 옵션 설정의 불안정성을 반영하여 순위의 일관성을 크게 향상시킬 수 있습니다. 더 자세한 내용과 실험 결과는 부록에 제시되어 있으며, 이는 위 결과의 타당성을 더욱 확증해 줍니다.

결론

일반적으로 xFinder는 핵심 답변 추출 모듈을 최적화하여 LLM 평가의 정확성과 신뢰성을 향상시킵니다. 실험 결과에 따르면 xFinder는 다양한 작업에서 우수한 성능을 발휘하며 높은 견고성과 일반화 기능을 갖추고 있습니다. 앞으로도 연구팀은 LLM 성과에 대한 신뢰할 수 있는 평가를 위한 탄탄한 기반을 제공하기 위해 계속해서 xFinder를 최적화하고 기타 주요 평가 문제를 연구할 것입니다.

위 내용은 답변 추출 정확도는 96.88%에 달하며 xFinder는 대형 모델의 '부정행위' 사고방식을 제거합니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!