GPT-4의 지능 수준 저하에 대한 새로운 해석

출시 이후 세계에서 가장 강력한 언어 모델 중 하나로 꼽혀온 GPT-4는 불행하게도 일련의 신뢰 위기를 경험했습니다.

GPT-4가 "게으르다"는 최근 소문은 올해 초 발생한 "간헐적 지능" 사건을 OpenAI의 GPT-4 아키텍처 재설계와 연결하면 더욱 흥미롭습니다. 누군가 테스트한 결과 GPT-4에게 "겨울 방학입니다"라고 말하면 마치 최대 절전 모드에 들어간 것처럼 게으르게 된다는 사실을 발견했습니다.

새로운 작업에 대한 모델의 제로 샘플 성능 문제를 해결하기 위해 다음 방법을 사용할 수 있습니다. 1. 데이터 향상: 기존 데이터를 확장하고 변환하여 모델의 일반화 능력을 높입니다. 예를 들어 이미지 데이터는 회전, 크기 조정, 변환 등을 통해 변경되거나 새로운 데이터 샘플을 합성하여 변경할 수 있습니다. 2. 전이 학습: 다른 작업에 대해 훈련된 모델을 사용하여 매개변수와 지식을 새로운 작업으로 전송합니다. 이는 기존 지식과 경험을 활용하여 GPT-4의 성능을 향상시킬 수 있습니다. 최근 캘리포니아 대학교 산타 크루즈(University of California, Santa Cruz)의 연구자들은 GPT-4의 성능 저하에 대한 더 깊은 이유를 설명할 수 있는 새로운 발견을 발표했습니다. .

"우리는 LLM이 훈련 데이터 생성 날짜 이후에 발표된 데이터 세트보다 훈련 데이터 생성 날짜 이전에 발표된 데이터 세트에서 놀라울 정도로 더 나은 성능을 발휘한다는 것을 발견했습니다."

그들은 작업에서는 잘 수행되고 작업에서는 저조한 성능을 "보였습니다" 새로운 작업. 즉, LLM은 대략적인 검색을 기반으로 지능을 모방하는 방법일 뿐이며, 주로 아무런 수준의 이해 없이 암기하는 방식입니다.

솔직히 말하면 LLM의 일반화 능력은 "말씀한 것만큼 강력하지 않습니다". 기초가 탄탄하지 않고 실제 전투에서는 항상 실수가 발생합니다.

이 결과의 주요 원인은 데이터 오염의 한 형태인 '작업 오염'입니다. 이전에 우리에게 익숙한 데이터 오염은 테스트 데이터 오염으로, 사전 훈련 데이터에 테스트 데이터 예시와 라벨이 포함되는 것입니다. "작업 오염"은 사전 훈련 데이터에 작업 훈련 예제를 추가하여 제로 샘플 또는 소수 샘플 방법의 평가를 더 이상 현실적이고 효과적이지 않게 만드는 것입니다.

연구원은 논문에서 처음으로 데이터 오염 문제에 대한 체계적인 분석을 실시했습니다.

이 글을 읽은 후 논문에서 누군가 "비관적"이라고 말했습니다.

이것이 지속적인 학습 기능이 없는 모든 머신러닝(ML) 모델의 운명, 즉, ML 모델 가중치는 훈련 후에 고정됩니다. 그러나 입력 분포는 계속 변경되며, 모델이 이 변경 사항에 계속 적응할 수 없으면 천천히 성능이 저하됩니다.

즉, 프로그래밍 언어가 지속적으로 업데이트됨에 따라 LLM 기반 코딩 도구도 성능이 저하됩니다. 이것이 그렇게 취약한 도구에 너무 많이 의존할 필요가 없는 이유 중 하나입니다.

이러한 모델을 지속적으로 재교육하는 데는 비용이 많이 들고 조만간 누군가는 이러한 비효율적인 방법을 포기하게 될 것입니다.

현재 이전 인코딩 작업에 심각한 중단이나 성능 손실을 초래하지 않고 변화하는 입력 분포에 안정적이고 지속적으로 적응할 수 있는 ML 모델은 없습니다.

그리고 이것은 생물학적 신경망이 잘하는 분야 중 하나입니다. 생물학적 신경망의 강력한 일반화 능력으로 인해 다양한 작업을 학습하면 시스템 성능이 더욱 향상될 수 있습니다. 왜냐하면 하나의 작업에서 얻은 지식이 "메타 학습"이라고 불리는 전체 학습 과정 자체를 개선하는 데 도움이 되기 때문입니다.

"업무 오염" 문제는 얼마나 심각한가요? 논문의 내용을 살펴보겠습니다.

모델 및 데이터 세트

실험에는 12개의 모델이 사용되었습니다(표 1 참조). 그 중 5개는 독점 GPT-3 시리즈 모델이고 7개는 프리 웨이트 모델입니다.

데이터 세트는 2021년 1월 1일 이전 또는 이후에 공개된 데이터 세트라는 두 가지 범주로 나뉩니다. 연구원들은 이 분할 방법을 사용하여 이전 데이터 세트와 새로운 데이터 세트의 차이를 제로 샘플로 분석합니다. 또는 소수의 샘플 성능 차이를 고려하고 모든 LLM에 대해 동일한 분할 방법을 채택합니다. 표 1은 각 모델 학습 데이터의 생성 시간을 나열하고, 표 2는 각 데이터 세트의 출시 날짜를 나열합니다.

위 접근 방식에 대한 고려 사항은 제로 샷 및 퓨 샷 평가에는 모델이 훈련 중에 본 적이 없거나 몇 번만 본 작업에 대한 예측이 포함된다는 것입니다. 핵심 전제는 모델이 사전에 노출되지 않는다는 것입니다. 완료해야 할 특정 작업을 수행하여 학습 능력에 대한 공정한 평가를 보장합니다. 그러나 오염된 모델은 사전 훈련 중에 작업 예제에 대한 훈련을 받았기 때문에 노출되지 않았거나 몇 번만 노출된 것처럼 보이는 역량에 대한 환상을 줄 수 있습니다. 연대순 데이터 세트에서는 중복이나 이상이 명백하므로 이러한 불일치를 감지하는 것이 상대적으로 더 쉽습니다.

측정 방법

연구원들은 "작업 오염"을 측정하기 위해 다음 네 가지 방법을 사용했습니다.

1. 훈련 데이터 검사: 훈련 데이터에서 작업 훈련 예시를 검색합니다.
2. 작업 예시 추출: 기존 모델에서 작업 예시를 추출합니다. Instruction-tuned 모델만 추출이 가능하며, 이 분석은 학습 데이터나 테스트 데이터 추출에도 활용될 수 있습니다. 작업 오염을 감지하기 위해 추출된 작업 예제가 기존 교육 데이터 예제와 정확히 일치할 필요는 없습니다. 작업을 시연하는 모든 예는 제로 샷 학습 및 소수 샷 학습의 오염 가능성을 보여줍니다.
3. 회원 추론: 이 방법은 생성 작업에만 적합합니다. 입력 인스턴스의 모델 생성 콘텐츠가 원본 데이터 세트와 정확히 동일한지 확인합니다. 정확히 일치하면 LLM 훈련 데이터의 구성원이라고 유추할 수 있습니다. 이는 생성된 출력이 정확히 일치하는지 확인한다는 점에서 작업 예제 추출과 다릅니다. 개방형 생성 작업의 정확한 일치는 모델이 "심령"이고 데이터에 사용된 정확한 단어를 알고 있지 않는 한 모델이 훈련 중에 이러한 예를 보았다는 것을 강력하게 나타냅니다. (참고: 빌드 작업에만 사용할 수 있습니다.)
4. 타이밍 분석: 알려진 기간 동안 훈련 데이터가 수집된 모델 세트의 경우 알려진 릴리스 날짜가 있는 데이터 세트에서 성능을 측정하고 타이밍을 사용하여 오염을 확인합니다. 증거 증거.

처음 세 가지 방법은 정밀도는 높지만 재현율이 낮습니다. 작업의 훈련 데이터에서 데이터를 찾을 수 있다면 모델이 예제를 보았음을 확신할 수 있습니다. 그러나 데이터 형식의 변경, 작업을 정의하는 데 사용되는 키워드의 변경 및 데이터 세트의 크기로 인해 처음 세 가지 방법을 사용하여 오염 증거를 찾지 못했다고 해서 오염이 없음을 증명하는 것은 아닙니다.

네 번째 방법인 연대순 분석은 재현율은 높지만 정확도가 낮습니다. 작업 오염으로 인해 성능이 높으면 연대순 분석을 통해 이를 발견할 가능성이 높습니다. 그러나 시간이 지남에 따라 성능이 향상되어 정확도가 떨어지는 다른 요인도 있을 수 있습니다.

따라서 연구원들은 작업 오염을 감지하기 위해 네 가지 방법을 모두 사용했으며 특정 모델과 데이터 세트 조합에서 작업 오염에 대한 강력한 증거를 발견했습니다.

먼저 테스트된 모든 모델과 데이터 세트에 대해 타이밍 분석을 수행했습니다. 그런 다음 교육 데이터 검사와 작업 예제 추출을 사용하여 작업 오염에 대한 추가 증거를 찾은 다음 오염에 대한 LLM 성능을 관찰했습니다. -자유로운 작업, 마지막으로 멤버십 추론 공격을 이용한 추가 분석이 가능합니다.

핵심 결론은 다음과 같습니다.

1. 연구진은 각 모델의 학습 데이터를 인터넷에서 크롤링하기 전후에 생성된 데이터 세트를 분석했습니다. LLM 교육 데이터를 수집하기 전에 생성된 데이터세트의 경우 대부분의 기준선을 초과하는 성능을 발휘할 확률이 훨씬 더 높은 것으로 나타났습니다(그림 1).

2. 연구원은 가능한 작업 오염을 찾기 위해 훈련 데이터 검사 및 작업 예제 추출을 수행했습니다. 작업 오염 가능성이 낮은 분류 작업의 경우 모델은 제로 샷이든 소수 샷이든 관계없이 다양한 작업에 걸쳐 단순 다수 기준에 비해 통계적으로 유의미한 개선을 거의 달성하지 못하는 것으로 나타났습니다(그림 2).

연구원들은 그림 3과 같이 GPT-3 시리즈의 평균 성능을 확인하고 시간이 지남에 따라 LLM을 열었습니다.

3. 연구진은 의미 분석 작업에 대한 멤버십 추론 공격도 분석한 모든 모델에 대해 시도했는데, 추출된 인스턴스 수와 최종 작업에서 모델의 정확도 사이에 강한 상관관계(R=.88)가 발견되었습니다(그림 6). ) . 이는 이 작업의 제로샷 성능 향상이 작업 오염으로 인한 것임을 강력히 입증합니다.

4. 또한 연구원들은 GPT-3 시리즈 모델을 주의 깊게 연구한 결과 GPT-3 모델에서 훈련 예제를 추출할 수 있다는 것을 발견했으며, davinci부터 GPT-3.5-turbo까지 각 버전에서 가능한 훈련 예제의 수는 매우 많습니다. 이는 이 작업에 대한 GPT-3 모델의 제로샷 성능 향상과 밀접한 관련이 있습니다(그림 2). 이는 이러한 작업에서 davinci에서 GPT-3.5-turbo로의 GPT-3 모델의 성능 향상이 작업 오염으로 인한 것임을 강력하게 입증합니다.

위 내용은 GPT-4의 지능 수준 저하에 대한 새로운 해석의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!