데이터가 많을수록 좋나요, 아니면 품질이 높을수록 좋을까요? 이 연구는 귀하의 선택에 도움이 될 수 있습니다

기본 모델을 확장한다는 것은 사전 학습을 위해 더 많은 데이터, 계산 및 매개변수를 사용하는 것을 의미하며, 이는 단순히 "규모 확장"입니다.

모델 크기를 직접 확장하는 것은 단순하고 투박해 보이지만 실제로는 기계 학습 커뮤니티에 뛰어난 모델을 많이 가져왔습니다. 이전의 많은 연구에서는 신경경제적 모델의 규모를 확장하는 관행이 인정되었습니다. 이러한 관점은 신경 확장 법칙으로도 알려져 있습니다. 그러나 모델 크기가 커지면 컴퓨팅 리소스가 집중적으로 소모됩니다. 이는 더 큰 모델에는 프로세서와 메모리를 포함하여 더 많은 컴퓨팅 리소스가 필요하다는 것을 의미합니다. 이는 많은 실제 애플리케이션, 특히 리소스가 제한된 장치에서는 실현 가능하지 않습니다. 따라서 연구자들은 컴퓨팅 자원을 보다 효율적으로 사용하여 모델을 개선하는 방법에 초점을 맞추기 시작했습니다. 최근 많은 사람들은 LLM이든 VLM이든 확산 모델이든 현재 최고의 폐쇄 소스 모델의 핵심은 "데이터"라고 믿고 있습니다. . 데이터 품질의 중요성이 인식되면서 대규모 데이터베이스에서 고품질 데이터를 필터링하거나 고품질의 새로운 데이터를 생성하는 등 데이터 품질을 향상시키기 위한 많은 연구가 등장했습니다. 그러나 과거 확장법은 일반적으로 '데이터'를 동질적인 개체로 간주하고, 최근 주목받고 있는 '데이터 품질'을 고려 차원으로 삼지 않았다.

웹에 있는 데이터 모델의 방대함에도 불구하고 고품질 데이터(여러 평가 지표 기반)는 제한적인 경우가 많습니다. 이제 획기적인 연구가 다가오고 있습니다. 즉, 데이터 필터링 차원의 확장 법칙입니다! 이는 카네기 멜론 대학교와 보쉬 AI 센터에서 나온 것으로, 특히 '대규모'와 '고품질' 사이의 QQT(양적 질적 균형)에 중점을 두고 있습니다.

논문 제목: 데이터 필터링을 위한 확장 법칙 - 데이터 큐레이션은 컴퓨팅에 무관할 수 없습니다.

• 논문 주소: https://arxiv.org/pdf/2404.07177.pdf
• 코드 주소: https://github.com/locuslab/scaling_laws_data_filtering

그림 1과 같이 여러 epoch를 학습할 때 고품질 데이터의 유용성(유용성) )은 크지 않습니다(모델이 학습을 완료했기 때문입니다).

이때에는 고품질 데이터를 재사용하는 것보다 낮은 품질의 데이터(처음에는 효용성이 낮음)를 사용하는 것이 더 도움이 되는 경우가 많습니다.

QQT(양적-질적 균형) 하에서 어떤 종류의 데이터 조합이 훈련에 더 좋은지 어떻게 결정합니까?

이 질문에 대답하려면 모든 데이터 큐레이션 워크플로에서 모델 교육에 사용되는 총 컴퓨팅 노력을 고려해야 합니다. 이는 데이터 필터링에 대한 커뮤니티의 관점과 다릅니다. 예를 들어 LAION 필터링 전략은 일반적인 크롤링 결과에서 최고 품질의 10%를 추출합니다.

그러나 그림 2에서 볼 수 있듯이 훈련이 35 에포크를 초과하면 완전히 정리되지 않은 데이터 세트에 대한 훈련의 효과가 LAION 전략을 사용하여 구성된 고품질 데이터에 대한 훈련보다 더 낫다는 것은 명백합니다.

현재의 신경 확장 법칙은 품질과 수량 간의 이러한 역동적인 균형을 모델링할 수 없습니다. 또한, 시각 언어 모델의 확장에 관한 연구는 훨씬 적으며, 현재의 연구는 대부분 언어 모델링 분야에 국한되어 있습니다.

오늘 소개할 획기적인 연구는 기존 신경 확장 법칙의 세 가지 중요한 한계를 극복하여 이를 달성했습니다.

(1) 데이터 확장 시 "품질" 축을 고려합니다.

(2) 최적의 데이터 통합 ​​결정을 안내하는 데 도움이 되는 데이터 풀 조합의 확장 법칙을 추정합니다(조합에 대한 실제 교육 없이).

(3) LLM 확장 법칙을 조정하면 대조에 적합합니다. 훈련(예: CLIP), 각 배치에는 제곱수의 비교가 있습니다.

팀은 이질적이고 제한된 양의 네트워크 데이터에 대한 확장법을 최초로 제안했습니다.

대형 모델은 다양한 품질의 데이터 풀 조합에 대해 학습됩니다. 개별 데이터 풀의 확산 매개변수(그림 1(a)의 A-F)에서 파생된 집계 데이터 유틸리티를 모델링함으로써 이러한 데이터 풀의 모든 조합에 대한 모델 성능을 직접 추정할 수 있습니다.

이 방법에서는 확장 법칙을 추정하기 위해 이러한 데이터 풀 조합에 대한 교육이 필요하지 않지만 각 구성 요소 풀의 확장 매개변수를 기반으로 확장 곡선을 직접 추정할 수 있다는 점을 지적하는 것이 중요합니다.

과거의 확장 법칙과 비교하여 여기의 확장 법칙에는 훈련 메커니즘의 반복을 모델링 및 비교하고 O(n²) 비교를 달성할 수 있다는 몇 가지 중요한 차이점이 있습니다. 예를 들어 훈련 풀의 크기가 두 배로 늘어나면 모델 손실에 기여하는 비교 횟수도 네 배로 늘어납니다.

다양한 풀의 데이터가 서로 상호 작용하는 방식을 수학적으로 설명하여 다양한 데이터 조합에서 모델 성능을 추정할 수 있습니다. 그 결과 현재 사용 가능한 계산에 적합한 데이터 구성 전략이 탄생합니다.

이 연구의 주요 메시지는 다음과 같습니다. 데이터 편집은 계산 없이는 이루어질 수 없습니다.

계산 예산이 작을 때(반복 횟수가 적음) 그림 1에서 볼 수 있듯이 낮은 계산 비용으로 공격적 필터링(E)의 최상의 성능을 통해 QQT 상충 관계에 따라 품질이 우선합니다.

반면, 계산 규모가 사용된 훈련 데이터를 훨씬 초과할 경우, 제한된 고품질 데이터의 활용도가 떨어지게 되며, 이를 보완할 수 있는 방법을 찾아야 합니다. 그 결과 덜 공격적인 필터링 전략, 즉 더 큰 데이터 볼륨으로 더 나은 성능을 얻을 수 있습니다.

팀에서는 DataComp의 중간 규모 풀(샘플 128M 샘플) 최적 필터링 전략을 사용하여 이기종 네트워크 데이터에 대한 이 새로운 스케일링 법칙이 32M에서 640M까지 다양한 컴퓨팅 예산에서 Pareto를 예측할 수 있음을 보여주는 실험적 시연을 수행했습니다.

특정 컴퓨팅 예산 하에서의 데이터 필터링

팀은 실험을 통해 다양한 컴퓨팅 예산 하에서 데이터 필터링의 효과를 연구했습니다.

그들은 대규모 초기 데이터 풀을 사용하여 VLM을 교육했습니다. 필터링되지 않은 기본 데이터 풀의 경우 최근 데이터 편집 벤치마크인 Datacomp의 "중간" 규모 버전을 선택했습니다. 데이터 풀에는 1억 2,800만 개의 샘플이 포함되어 있습니다. 그들은 모델의 제로샷 성능을 평가하기 위해 18개의 서로 다른 다운스트림 작업을 사용했습니다.

그들은 먼저 LAION 데이터 세트를 얻기 위해 사용된 LAION 필터링 전략을 연구했으며 그 결과는 그림 2에 나와 있습니다. 그들은 다음과 같은 결과를 관찰했습니다.

1. 계산 예산이 적을 때는 고품질 데이터를 사용하는 것이 좋습니다.

2. 컴퓨팅 예산이 높을 때 데이터 필터링이 방해가 될 수 있습니다.

왜요?

LAION 필터링은 데이터의 약 10%를 유지하므로 계산 예산은 약 450M이고 필터링된 LAION 풀의 각 샘플은 약 32번 사용됩니다. 여기서 중요한 통찰력은 훈련 중에 동일한 샘플이 여러 번 표시되면 매번 유틸리티가 감소한다는 것입니다.

그런 다음 팀은 두 가지 다른 데이터 필터링 방법을 연구했습니다.

(1) CLIP L/14 모델을 사용한 CLIP 점수 필터링

(2) T-MARS, 마스킹 후 데이터 순위가 지정됩니다. 이미지의 텍스트 특징 이후의 CLIP 점수(OCR)를 기준으로 합니다. 각 데이터 필터링 방법에 대해 그들은 4가지 필터링 수준과 다양한 총 계산 노력을 사용했습니다.

그림 3은 계산 규모가 32M, 128M, 640M일 때 상위 10~20%, 상위 30%, 상위 40% CLIP 필터링 결과를 비교한 것입니다.

32M 컴퓨팅 규모에서 매우 공격적인 필터링 전략(CLIP 점수 기준 상위 10~20%만 유지)이 가장 좋은 결과를 얻었고, 상위 40%를 유지하는 가장 덜 공격적인 필터링 방법이 가장 좋은 결과를 얻었습니다. 최고. 그러나 컴퓨팅 규모가 640M으로 확장되면 이러한 추세는 완전히 반전됩니다. T-MARS 점수 지표를 사용하여 유사한 경향이 관찰됩니다.

데이터 필터링의 확장 법칙

팀은 먼저 효용을 수학적으로 정의했습니다.

그들의 접근 방식은 훈련 종료 시 n개 샘플의 손실을 추정하는 것이 아니라 훈련 단계 중 특정 시점에서 샘플의 즉각적인 유용성을 고려하는 것입니다. 수학 공식은 다음과 같습니다.

이는 샘플의 순간 효용이 현재 손실에 정비례하고 지금까지 본 샘플 수에 반비례한다는 것을 보여줍니다. 이는 우리의 직관적인 생각과도 일치합니다. 모델에서 보는 샘플 수가 증가하면 샘플의 효율성이 감소합니다. 초점은 데이터 유틸리티 매개변수 b 에 있습니다.

다음 단계는 재사용되는 데이터의 유용성입니다.

수학적으로 k+1번 본 샘플의 유틸리티 매개변수 b는 다음과 같이 정의됩니다.

여기서 τ는 유틸리티 매개변수의 반감기입니다. τ 값이 높을수록 반복으로 인해 샘플 유틸리티가 더 느리게 감소합니다. δ는 반복을 통해 효용의 쇠퇴를 간결하게 표현한 방식입니다. 그러면 n개의 샘플을 보고 각 샘플을 k번 본 후 모델의 손실을 표현하면 다음과 같습니다.

여기서 n_j는 j번째 훈련 epoch 라운드가 끝난 모델입니다. 본 샘플. 이 방정식은 새로 제안된 팽창 법칙의 기초입니다.

마지막으로 또 다른 복잡성 계층, 즉 이기종 네트워크 데이터가 있습니다.

그런 다음 우리는 그들이 제시한 정리를 얻었습니다. 무작위로 균일하게 샘플링된 p개의 데이터 풀이 주어지면 각각의 유틸리티 및 반복 매개변수는 (b_1, τ_1)...(b_p, τ_p)이고 각각은 새로운 반복 반감기입니다. 버킷의 τˆ = p・τ입니다. 또한, k번째 반복 시 결합 데이터 풀의 유효 효용 값 b_eff는 개별 효용 값의 가중 평균이다. 수학적 형식은 다음과 같습니다.

여기서 은 새로운 버킷별 붕괴 매개변수입니다.

마지막으로 위 정리의 b_eff를 식 (3)에 사용하여 데이터 풀 조합에 대한 학습 시 손실을 추정할 수 있습니다.

다양한 데이터 유틸리티 풀에 대한 확장 곡선 맞춤

팀은 새로 제안된 확장 법칙을 실험적으로 탐색했습니다.

그림 4는 피팅 후 다양한 데이터 유틸리티 풀의 확장 곡선을 보여주며, 사용된 데이터 유틸리티 지수는 T-MARS 점수입니다.

그림 4의 2열은 시대가 증가함에 따라 각 데이터 풀의 유용성이 감소하는 것을 보여줍니다. 다음은 팀에서 관찰한 몇 가지 주요 사항입니다.

1. 네트워크 데이터는 이기종이며 단일 확장 매개변수 세트로 모델링할 수 없습니다.

2. 데이터 풀마다 데이터 다양성이 다릅니다.

3. 현상이 반복되는 고품질 데이터의 효과는 저품질 데이터의 직접적인 사용을 따라잡을 수 없습니다.

결과: QQT에 따른 데이터 조합에 대한 확장 법칙 추정

해당 매개변수 a, b, d, τ는 이전에 다양한 품질의 데이터 풀에 대해 추론되었습니다. 여기서 목표는 훈련 컴퓨팅 예산을 고려하여 가장 효율적인 데이터 랭글링 전략이 무엇인지 결정하는 것입니다.

이전 정리와 각 데이터 풀의 확장 매개변수를 통해 이제 다양한 풀 조합의 확장 법칙을 추정할 수 있습니다. 예를 들어, 상위 20% 풀은 상위 10% 풀과 상위 10%-20% 풀의 조합으로 생각할 수 있습니다. 그런 다음 확장 곡선의 이러한 추세를 사용하여 주어진 계산 예산에 대한 파레토 최적 데이터 필터링 전략을 예측할 수 있습니다.

그림 5는 ImageNet에서 평가되는 다양한 데이터 조합에 대한 확장 곡선을 제공합니다.

여기서 강조할 점은 이러한 곡선은 위 정리를 기반으로 각 구성 요소 풀의 확장 매개변수에서 직접 추정된다는 점입니다. 그들은 이러한 확장 곡선을 추정하기 위해 이러한 데이터 풀 조합에 대해 교육하지 않았습니다. 분산점은 실제 테스트 성능으로 추정 결과를 검증하는 역할을 합니다.

다음을 볼 수 있습니다. (1) 공격적 필터링 전략은 계산 예산이 낮거나 반복 횟수가 적을 때 가장 좋습니다.

(2) 데이터 편집은 계산 없이는 할 수 없습니다.

확장 곡선 확장

2023년 Cherti et al.의 논문 "대조적 언어-이미지 학습을 위한 재현 가능한 스케일링 법칙"은 CLIP 모델에 대해 제안된 확장 법칙을 연구했습니다. 계산 3B에서 34B 훈련 샘플 크기에 이르는 수십 개의 모델이 있으며, 모델은 다양한 ViT 시리즈 모델을 포괄합니다. 이 계산 규모의 모델 학습에는 비용이 매우 많이 듭니다. Cherti et al.(2023)은 이 모델 계열에 대한 확장 법칙을 맞추는 것을 목표로 했지만 소규모 데이터 세트로 훈련된 모델의 확장 곡선에는 많은 오류가 있었습니다.

CMU 팀은 이는 주로 데이터 재사용으로 인한 효용성 감소를 고려하지 않았기 때문이라고 믿습니다. 그래서 그들은 새로 제안된 확장 법칙을 사용하여 이러한 모델의 오류를 추정했습니다.

그림 6은 수정 후 확장된 곡선으로, 높은 정확도로 오류를 예측할 수 있습니다.

이는 새로 제안된 확장 법칙이 34B 데이터 계산으로 훈련된 대형 모델에 적합하다는 것을 보여주며, 이는 새로운 확장 법칙이 모델 훈련 결과를 예측할 때 반복 데이터의 유용성 감소를 실제로 고려할 수 있음을 보여줍니다. .

더 자세한 기술적 내용과 실험 결과는 원본 논문을 참고해주세요.

위 내용은 데이터가 많을수록 좋나요, 아니면 품질이 높을수록 좋을까요? 이 연구는 귀하의 선택에 도움이 될 수 있습니다의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!