대형 모델이 벤치마크 평가에 속지 않도록 하세요! 테스트 세트가 사전 훈련에 무작위로 포함되어 점수가 잘못 높아 모델이 바보가 됩니다.
“대형 모델이 벤치마크 평가에 속지 않도록 하세요.”
인민대학교 정보대학원, 힐하우스 인공지능대학원, 일리노이대학교 어바나-샴페인 캠퍼스의 최신 연구 제목입니다.
연구에 따르면 벤치마크 테스트의 관련 데이터가 실수로 모델 교육에 사용되는 경우가 점점 더 많아지고 있는 것으로 나타났습니다.
사전 학습 코퍼스에는 공개된 텍스트 정보가 많이 포함되어 있고, 평가 벤치마크도 이 정보를 기반으로 하기 때문에 이러한 상황은 불가피합니다.
이제 대형 모델이 더 많은 공개 데이터를 수집하려고 함에 따라 문제는 더욱 악화되고 있습니다.
이런 종류의 데이터 중복은 매우 해롭다는 것을 아셔야 합니다.
모델의 일부 부분에 대해 잘못된 높은 테스트 점수를 초래할 뿐만 아니라 모델의 일반화 능력이 저하되고 관련 없는 작업의 성능이 급락하게 됩니다. 실제 적용에서는 대형 모델이 "해를 끼칠" 수도 있습니다.
그래서 이번 연구에서는 공식적으로 경고를 발령하고, 구체적으로 여러 시뮬레이션 테스트를 통해 유발될 수 있는 실제 위험을 검증했습니다.
대형 모델이 "질문을 놓치는" 것은 매우 위험합니다.
이 연구에서는 주로 극단적인 데이터 유출을 시뮬레이션하여 대형 모델의 영향을 테스트하고 관찰합니다.
데이터 유출에는 네 가지 극단적인 방법이 있습니다.
- MMLU의 훈련 세트 사용
- MMLU를 제외한 모든 테스트 벤치마크의 훈련 세트 사용
- 모든 훈련 세트 + 테스트 프롬프트 사용
- 모든 훈련 세트, 테스트 세트 사용 그리고 테스트 프롬프트(이것은 가장 극단적인 경우입니다. 실험적 시뮬레이션일 뿐이며 일반적인 상황에서는 발생하지 않습니다.)
그런 다음 연구원들은 4개의 대형 모델을 "중독"한 다음 서로 다른 벤치마크에서 성능을 관찰했습니다. 주로 질의응답, 추론, 독해 등의 과제 수행 능력을 평가합니다.
사용된 모델은 다음과 같습니다:
- GPT-Neo(1.3B)
- phi-1.5(1.3B)
- OpenLLaMA(3B)
- LLaMA-2(7B)
LLaMA(13B/30B)도 사용 /65B)를 대조군으로 사용합니다.
결과에 따르면 대형 모델의 사전 학습 데이터에 특정 평가 벤치마크의 데이터가 포함되어 있으면 해당 평가 벤치마크에서는 더 나은 성능을 발휘하지만 관련 없는 다른 작업에서는 성능이 저하되는 것으로 나타났습니다.
예를 들어, MMLU 데이터 세트로 훈련한 후 여러 대형 모델의 점수는 MMLU 테스트에서 향상되었지만 상식 벤치마크 HSwag 및 수학 벤치마크 GSM8K의 점수는 떨어졌습니다.
이는 대형 모델의 일반화 능력에 영향을 미친다는 것을 보여줍니다.
반면, 관련 없는 시험에서 거짓으로 높은 점수를 받을 수도 있습니다.
위에서 언급한 것처럼 대형 모델을 "포이즌"하는 데 사용된 4개의 훈련 세트에는 소량의 중국 데이터만 포함되어 있습니다. 그러나 대형 모델이 "포이즌"된 후 C3(중국 벤치마크 테스트)의 점수가 모두 높아졌습니다.
이번 인상은 무리입니다.
이런 종류의 학습 데이터 유출로 인해 모델 테스트 점수가 비정상적으로 더 큰 모델의 성능을 초과할 수도 있습니다.
예를 들어, phi-1.5(1.3B)는 RACE-M 및 RACE-H에서 LLaMA65B보다 더 나은 성능을 발휘하며, 후자는 전자보다 크기가 50배 더 큽니다.
그런데 이런 점수 상승은 의미가 없습니다, 그냥 속임수일 뿐입니다.
더 심각한 것은 데이터가 유출되지 않은 작업에도 영향을 미치고 성능이 저하된다는 점입니다.
아래 표에서 볼 수 있듯이 코드 태스크 HEval에서는 두 대형 모델 모두 점수가 크게 하락했습니다.
데이터가 동시에 유출된 후, 대형 모델의 미세 튜닝 개선은 유출이 없는 상황에 비해 훨씬 뒤떨어졌습니다.
데이터 중복/유출이 발생하는 상황에 대해 본 연구에서는 다양한 가능성을 분석합니다.
예를 들어 대규모 모델 사전 학습 코퍼스와 벤치마크 테스트 데이터는 공개 텍스트(웹페이지, 논문 등)를 사용하므로 중복이 불가피합니다.
그리고 현재 대규모 모델 평가는 로컬에서 수행되거나 API 호출을 통해 결과를 얻습니다. 이 방법은 일부 비정상적인 수치 증가를 엄격하게 확인할 수 없습니다.
그리고 현재 대형 모델의 사전 훈련 코퍼스는 모든 당사자에게 핵심 비밀로 간주되며 외부 세계에서는 평가할 수 없습니다.
이로 인해 대형 모델이 실수로 "중독"되는 결과가 발생했습니다.
이 문제를 피하는 방법은 무엇입니까? 연구팀은 몇 가지 제안도 내놨다.
어떻게 피하나요?
연구팀은 세 가지 제안을 했습니다.
첫째, 실제 상황에서는 데이터 중복을 완전히 피하기 어렵기 때문에 대형 모델은 보다 종합적인 평가를 위해 여러 벤치마크 테스트를 사용해야 합니다.
둘째, 대규모 모델 개발자의 경우 데이터의 민감도를 낮추고 훈련 코퍼스의 세부 구성을 공개해야 합니다.
셋째, 벤치마크 관리자에게는 벤치마크 데이터 소스를 제공하고, 데이터 오염 위험을 분석하고, 보다 다양한 프롬프트를 사용하여 다중 평가를 수행해야 합니다.
그러나 연구팀은 이 연구에는 여전히 일정한 한계가 있다고 밝혔습니다. 예를 들어 다양한 수준의 데이터 유출에 대한 체계적인 테스트가 없으며 시뮬레이션을 위한 사전 훈련에서 데이터 유출을 직접 도입하지 못합니다.
이 연구는 중국 인민대학교 정보학부, 힐하우스 인공지능학부, 일리노이대학교 어바나-샴페인 캠퍼스의 많은 학자들이 공동으로 수행한 것입니다.
연구팀에서는 데이터 마이닝 분야에서 두 명의 유명 인사인 Wen Jirong과 Han Jiawei를 발견했습니다.
원지롱 교수는 현재 중국 런민대학교 인공지능학부 학장이자 중국 런민대학교 정보학부 학장입니다. 주요 연구 방향은 정보 검색, 데이터 마이닝, 기계 학습, 대규모 신경망 모델의 훈련 및 응용입니다.
한자웨이 교수는 데이터 마이닝 분야의 전문가입니다. 그는 현재 일리노이대학교 어바나-샴페인 캠퍼스 컴퓨터공학과 교수이자 미국컴퓨터학회 학술위원이자 IEEE 학술위원입니다.
논문 주소: https://arxiv.org/abs/2311.01964.
위 내용은 대형 모델이 벤치마크 평가에 속지 않도록 하세요! 테스트 세트가 사전 훈련에 무작위로 포함되어 점수가 잘못 높아 모델이 바보가 됩니다.의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!

대형 언어 모델 (LLM)은 인기가 높아졌으며, 도구 전달 기능은 단순한 텍스트 생성을 넘어 기능을 극적으로 확장했습니다. 이제 LLM은 동적 UI 생성 및 자율적 인 A와 같은 복잡한 자동화 작업을 처리 할 수 있습니다.

비디오 게임이 불안을 완화하거나 집중하거나 ADHD를 가진 어린이를 지원할 수 있습니까? 건강 관리 도전이 전 세계적으로 급증함에 따라, 특히 청소년들 사이에서 혁신가들은 비디오 게임 인 가능성이없는 도구로 전환하고 있습니다. 이제 세계 최대의 엔터테인먼트 인더스 중 하나입니다

UNCTAD의 사무 총장 인 Rebeca Grynspan은“역사는 기술 진보가 경제 성장을 유발하거나 공평한 소득 분배를 보장하거나 포용적인 인간 발전을 촉진하지는 않습니다.

쉽게 생성 AI를 협상 교사 및 스파링 파트너로 사용하십시오. 그것에 대해 이야기합시다. 혁신적인 AI 혁신에 대한이 분석은 AI의 최신 Forbes 열 범위의 일부입니다.

밴쿠버에서 개최 된 TED2025 컨퍼런스는 어제 4 월 11 일 36 번째 판을 마무리했습니다. Sam Altman, Eric Schmidt 및 Palmer Luckey를 포함한 60 개 이상의 국가에서 80 명의 스피커를 선보였습니다. 테드의 주제 인“인류를 다시 상상했다”는 재단사가 만들어졌다

Joseph Stiglitz는 2001 년에 유명한 경제학자이자 노벨 경제학상을 수상했습니다. Stiglitz는 AI가 기존의 불평등과 통합 된 권력을 몇몇 지배적 인 기업의 손에 악화시킬 수 있으며 궁극적으로 경제를 훼손 할 수 있다고 주장합니다.

그래프 데이터베이스 : 관계를 통한 데이터 관리 혁명 데이터가 확장되고 그 특성이 다양한 필드에서 발전함에 따라 그래프 데이터베이스는 상호 연결된 데이터를 관리하기위한 변환 솔루션으로 떠오르고 있습니다. 전통적인 것과는 달리

대형 언어 모델 (LLM) 라우팅 : 지능형 작업 분포를 통한 성능 최적화 LLM의 빠르게 진화하는 환경은 각각 독특한 강점과 약점을 가진 다양한 모델을 제시합니다. 일부는 Creative Content Gen에서 탁월합니다


핫 AI 도구

Undresser.AI Undress
사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover
사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool
무료로 이미지를 벗다

Clothoff.io
AI 옷 제거제

AI Hentai Generator
AI Hentai를 무료로 생성하십시오.

인기 기사

뜨거운 도구

드림위버 CS6
시각적 웹 개발 도구

VSCode Windows 64비트 다운로드
Microsoft에서 출시한 강력한 무료 IDE 편집기

Dreamweaver Mac版
시각적 웹 개발 도구

MinGW - Windows용 미니멀리스트 GNU
이 프로젝트는 osdn.net/projects/mingw로 마이그레이션되는 중입니다. 계속해서 그곳에서 우리를 팔로우할 수 있습니다. MinGW: GCC(GNU Compiler Collection)의 기본 Windows 포트로, 기본 Windows 애플리케이션을 구축하기 위한 무료 배포 가능 가져오기 라이브러리 및 헤더 파일로 C99 기능을 지원하는 MSVC 런타임에 대한 확장이 포함되어 있습니다. 모든 MinGW 소프트웨어는 64비트 Windows 플랫폼에서 실행될 수 있습니다.

Eclipse용 SAP NetWeaver 서버 어댑터
Eclipse를 SAP NetWeaver 애플리케이션 서버와 통합합니다.
