대형 모델이 벤치마크 평가에 속지 않도록 하세요! 테스트 세트가 사전 훈련에 무작위로 포함되어 점수가 잘못 높아 모델이 바보가 됩니다.
“대형 모델이 벤치마크 평가에 속지 않도록 하세요.”
인민대학교 정보대학원, 힐하우스 인공지능대학원, 일리노이대학교 어바나-샴페인 캠퍼스의 최신 연구 제목입니다.
연구에 따르면 벤치마크 테스트의 관련 데이터가 실수로 모델 교육에 사용되는 경우가 점점 더 많아지고 있는 것으로 나타났습니다.
사전 학습 코퍼스에는 공개된 텍스트 정보가 많이 포함되어 있고, 평가 벤치마크도 이 정보를 기반으로 하기 때문에 이러한 상황은 불가피합니다.
이제 대형 모델이 더 많은 공개 데이터를 수집하려고 함에 따라 문제는 더욱 악화되고 있습니다.
이런 종류의 데이터 중복은 매우 해롭다는 것을 아셔야 합니다.
모델의 일부 부분에 대해 잘못된 높은 테스트 점수를 초래할 뿐만 아니라 모델의 일반화 능력이 저하되고 관련 없는 작업의 성능이 급락하게 됩니다. 실제 적용에서는 대형 모델이 "해를 끼칠" 수도 있습니다.
그래서 이번 연구에서는 공식적으로 경고를 발령하고, 구체적으로 여러 시뮬레이션 테스트를 통해 유발될 수 있는 실제 위험을 검증했습니다.
대형 모델이 "질문을 놓치는" 것은 매우 위험합니다.
이 연구에서는 주로 극단적인 데이터 유출을 시뮬레이션하여 대형 모델의 영향을 테스트하고 관찰합니다.
데이터 유출에는 네 가지 극단적인 방법이 있습니다.
- MMLU의 훈련 세트 사용
- MMLU를 제외한 모든 테스트 벤치마크의 훈련 세트 사용
- 모든 훈련 세트 + 테스트 프롬프트 사용
- 모든 훈련 세트, 테스트 세트 사용 그리고 테스트 프롬프트(이것은 가장 극단적인 경우입니다. 실험적 시뮬레이션일 뿐이며 일반적인 상황에서는 발생하지 않습니다.)
그런 다음 연구원들은 4개의 대형 모델을 "중독"한 다음 서로 다른 벤치마크에서 성능을 관찰했습니다. 주로 질의응답, 추론, 독해 등의 과제 수행 능력을 평가합니다.
사용된 모델은 다음과 같습니다:
- GPT-Neo(1.3B)
- phi-1.5(1.3B)
- OpenLLaMA(3B)
- LLaMA-2(7B)
LLaMA(13B/30B)도 사용 /65B)를 대조군으로 사용합니다.
결과에 따르면 대형 모델의 사전 학습 데이터에 특정 평가 벤치마크의 데이터가 포함되어 있으면 해당 평가 벤치마크에서는 더 나은 성능을 발휘하지만 관련 없는 다른 작업에서는 성능이 저하되는 것으로 나타났습니다.
예를 들어, MMLU 데이터 세트로 훈련한 후 여러 대형 모델의 점수는 MMLU 테스트에서 향상되었지만 상식 벤치마크 HSwag 및 수학 벤치마크 GSM8K의 점수는 떨어졌습니다.
이는 대형 모델의 일반화 능력에 영향을 미친다는 것을 보여줍니다.
반면, 관련 없는 시험에서 거짓으로 높은 점수를 받을 수도 있습니다.
위에서 언급한 것처럼 대형 모델을 "포이즌"하는 데 사용된 4개의 훈련 세트에는 소량의 중국 데이터만 포함되어 있습니다. 그러나 대형 모델이 "포이즌"된 후 C3(중국 벤치마크 테스트)의 점수가 모두 높아졌습니다.
이번 인상은 무리입니다.
이런 종류의 학습 데이터 유출로 인해 모델 테스트 점수가 비정상적으로 더 큰 모델의 성능을 초과할 수도 있습니다.
예를 들어, phi-1.5(1.3B)는 RACE-M 및 RACE-H에서 LLaMA65B보다 더 나은 성능을 발휘하며, 후자는 전자보다 크기가 50배 더 큽니다.
그런데 이런 점수 상승은 의미가 없습니다, 그냥 속임수일 뿐입니다.
더 심각한 것은 데이터가 유출되지 않은 작업에도 영향을 미치고 성능이 저하된다는 점입니다.
아래 표에서 볼 수 있듯이 코드 태스크 HEval에서는 두 대형 모델 모두 점수가 크게 하락했습니다.
데이터가 동시에 유출된 후, 대형 모델의 미세 튜닝 개선은 유출이 없는 상황에 비해 훨씬 뒤떨어졌습니다.
데이터 중복/유출이 발생하는 상황에 대해 본 연구에서는 다양한 가능성을 분석합니다.
예를 들어 대규모 모델 사전 학습 코퍼스와 벤치마크 테스트 데이터는 공개 텍스트(웹페이지, 논문 등)를 사용하므로 중복이 불가피합니다.
그리고 현재 대규모 모델 평가는 로컬에서 수행되거나 API 호출을 통해 결과를 얻습니다. 이 방법은 일부 비정상적인 수치 증가를 엄격하게 확인할 수 없습니다.
그리고 현재 대형 모델의 사전 훈련 코퍼스는 모든 당사자에게 핵심 비밀로 간주되며 외부 세계에서는 평가할 수 없습니다.
이로 인해 대형 모델이 실수로 "중독"되는 결과가 발생했습니다.
이 문제를 피하는 방법은 무엇입니까? 연구팀은 몇 가지 제안도 내놨다.
어떻게 피하나요?
연구팀은 세 가지 제안을 했습니다.
첫째, 실제 상황에서는 데이터 중복을 완전히 피하기 어렵기 때문에 대형 모델은 보다 종합적인 평가를 위해 여러 벤치마크 테스트를 사용해야 합니다.
둘째, 대규모 모델 개발자의 경우 데이터의 민감도를 낮추고 훈련 코퍼스의 세부 구성을 공개해야 합니다.
셋째, 벤치마크 관리자에게는 벤치마크 데이터 소스를 제공하고, 데이터 오염 위험을 분석하고, 보다 다양한 프롬프트를 사용하여 다중 평가를 수행해야 합니다.
그러나 연구팀은 이 연구에는 여전히 일정한 한계가 있다고 밝혔습니다. 예를 들어 다양한 수준의 데이터 유출에 대한 체계적인 테스트가 없으며 시뮬레이션을 위한 사전 훈련에서 데이터 유출을 직접 도입하지 못합니다.
이 연구는 중국 인민대학교 정보학부, 힐하우스 인공지능학부, 일리노이대학교 어바나-샴페인 캠퍼스의 많은 학자들이 공동으로 수행한 것입니다.
연구팀에서는 데이터 마이닝 분야에서 두 명의 유명 인사인 Wen Jirong과 Han Jiawei를 발견했습니다.
원지롱 교수는 현재 중국 런민대학교 인공지능학부 학장이자 중국 런민대학교 정보학부 학장입니다. 주요 연구 방향은 정보 검색, 데이터 마이닝, 기계 학습, 대규모 신경망 모델의 훈련 및 응용입니다.
한자웨이 교수는 데이터 마이닝 분야의 전문가입니다. 그는 현재 일리노이대학교 어바나-샴페인 캠퍼스 컴퓨터공학과 교수이자 미국컴퓨터학회 학술위원이자 IEEE 학술위원입니다.
논문 주소: https://arxiv.org/abs/2311.01964.
위 내용은 대형 모델이 벤치마크 평가에 속지 않도록 하세요! 테스트 세트가 사전 훈련에 무작위로 포함되어 점수가 잘못 높아 모델이 바보가 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

Microsoft Power BI 차트로 데이터 시각화의 힘을 활용 오늘날의 데이터 중심 세계에서는 복잡한 정보를 비 기술적 인 청중에게 효과적으로 전달하는 것이 중요합니다. 데이터 시각화는이 차이를 연결하여 원시 데이터를 변환합니다. i

전문가 시스템 : AI의 의사 결정 능력에 대한 깊은 다이빙 의료 진단에서 재무 계획에 이르기까지 모든 것에 대한 전문가의 조언에 접근 할 수 있다고 상상해보십시오. 그것이 인공 지능 분야의 전문가 시스템의 힘입니다. 이 시스템은 프로를 모방합니다

우선, 이것이 빠르게 일어나고 있음이 분명합니다. 다양한 회사들이 현재 AI가 작성한 코드의 비율에 대해 이야기하고 있으며 빠른 클립에서 증가하고 있습니다. 이미 주변에 많은 작업 변위가 있습니다

디지털 마케팅에서 소셜 미디어에 이르기까지 모든 창의적 부문과 함께 영화 산업은 기술 교차로에 있습니다. 인공 지능이 시각적 스토리 텔링의 모든 측면을 재구성하고 엔터테인먼트의 풍경을 바꾸기 시작함에 따라

ISRO의 무료 AI/ML 온라인 코스 : 지리 공간 기술 혁신의 관문 IIRS (Indian Institute of Remote Sensing)를 통해 Indian Space Research Organization (ISRO)은 학생과 전문가에게 환상적인 기회를 제공하고 있습니다.

로컬 검색 알고리즘 : 포괄적 인 가이드 대규모 이벤트를 계획하려면 효율적인 작업량 배포가 필요합니다. 전통적인 접근 방식이 실패하면 로컬 검색 알고리즘은 강력한 솔루션을 제공합니다. 이 기사는 언덕 등반과 Simul을 탐구합니다

릴리스에는 GPT-4.1, GPT-4.1 MINI 및 GPT-4.1 NANO의 세 가지 모델이 포함되어 있으며, 대형 언어 모델 환경 내에서 작업 별 최적화로 이동합니다. 이 모델은 사용자를 향한 인터페이스를 즉시 대체하지 않습니다

Chip Giant Nvidia는 월요일에 AI SuperComputers를 제조하기 시작할 것이라고 말했다. 이 발표는 트럼프 SI 대통령 이후에 나온다


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

VSCode Windows 64비트 다운로드
Microsoft에서 출시한 강력한 무료 IDE 편집기

DVWA
DVWA(Damn Vulnerable Web App)는 매우 취약한 PHP/MySQL 웹 애플리케이션입니다. 주요 목표는 보안 전문가가 법적 환경에서 자신의 기술과 도구를 테스트하고, 웹 개발자가 웹 응용 프로그램 보안 프로세스를 더 잘 이해할 수 있도록 돕고, 교사/학생이 교실 환경 웹 응용 프로그램에서 가르치고 배울 수 있도록 돕는 것입니다. 보안. DVWA의 목표는 다양한 난이도의 간단하고 간단한 인터페이스를 통해 가장 일반적인 웹 취약점 중 일부를 연습하는 것입니다. 이 소프트웨어는

SublimeText3 Linux 새 버전
SublimeText3 Linux 최신 버전

드림위버 CS6
시각적 웹 개발 도구

맨티스BT
Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.
