인과 적 언어 모델링을 넘어서

Neurips 2024 스포트라이트 : 선택적 언어 모델링 (SLM)으로 사전 조정을 최적화합니다. 최근에, 나는 Neurips 2024의 매혹적인 종이를 발표했다. 이 논문은 놀랍도록 단순하면서도 영향력있는 질문을 다룹니다. 언어 모델 사전 레이팅 중에

의 모든 토큰에 필요한 다음 점토 예측이 필요합니까? 표준 접근법에는 대규모 웹 스프레이링 데이터 세트가 포함되며 인과 적 언어 모델링 (CLM)을 보편적으로 적용합니다. 이 논문은 그 가정에 도전하여 일부 토큰이 학습 과정보다는 도움보다는 방해를 제안합니다. 저자는 "유용한"토큰에 대한 교육에 초점을 맞추면 데이터 효율성과 다운 스트림 작업 성능이 크게 향상됨을 보여줍니다. 이 게시물은 핵심 아이디어와 주요 실험 결과를 요약합니다. 문제 : 소음과 비효율적 인 학습 대형 웹 코퍼는 필연적으로 소음이 포함되어 있습니다. 문서 수준 필터링은 도움이되지만 노이즈는 종종 개별 문서 내에 있습니다. 이 시끄러운 토큰은 계산 자원을 폐기하고 잠재적으로 모델을 혼동합니다.

저자는 토큰 수준의 학습 역학을 분석하여 교차 엔트로피 손실 궤적을 기반으로 토큰을 분류했습니다. l → L (낮은 ~ 낮음) : 신속하게 배웠으며 최소한의 추가 혜택을 제공합니다. h → L (높음에서 낮음) :

처음에는 어렵지만 결국 배웠습니다. 귀중한 학습 기회를 대표합니다.

지속적으로 어렵습니다. l → h (낮은 ~ 높음) : 처음 배웠지 만 나중에 컨텍스트 변화 나 소음으로 인해 문제가됩니다. 그들의 분석은 소량의 토큰만이 의미있는 학습 신호를 제공한다는 것을 보여줍니다. 솔루션 : 선택적 언어 모델링 (SLM)

제안 된 솔루션 인 SLM (Selective Language Modeling)은보다 목표로하는 접근 방식을 제공합니다.

참조 모델 (RM) 교육 : 데이터의 고품질 하위 집합은 미리 훈련 된 기본 모델을 미세 조정하여 참조 모델 (RM)을 ​​생성하는 데 사용됩니다. 이 RM은 "유용성"토큰의 벤치 마크 역할을합니다

• 초과 손실 계산 : 큰 코퍼스의 각 토큰에 대해 RM의 손실과 현재 교육 모델의 손실 ( "초과 손실")의 차이가 계산됩니다. 초과 손실이 높을수록 개선 가능성이 커집니다
선택적 역전 :
• 전체 포워드 패스는 모든 토큰에 대해 수행되지만 역설은 초과 손실이 가장 높은 토큰의 상단 k%에 대해서만 발생합니다. 이것은 동적으로 가장 귀중한 토큰에 대한 훈련에 중점을 둡니다

실험 결과 : 상당한 이득 SLM은 다양한 실험에서 중요한 이점을 보여줍니다

Math Domain : openwebmath , SLM은 표준 CLM과 비교하여 GSM8K 및 수학 벤치 마크에서 최대 10%의 성능을 달성하여 기준 성능에 5-10 배 더 빠르게 도달했습니다. 7B 모델은 훈련 토큰의 3% 만 사용하여 최첨단 모델과 일치했습니다. 1B 모델의 경우 미세 조정 성능을 40% 이상 늘 렸습니다.

• 일반 도메인 :

  강력한 미리 훈련 된 기본 모델에서도 SLM은 15 개의 벤치 마크에서 약 5.8%의 평균 개선을 산출했습니다. 자체 참조 : RAW 코퍼스에서 빠르게 훈련 된 RM조차도 2-3%의 정확도 부스트와 사용 된 토큰의 30-40% 감소를 제공했습니다.

• 결론과 미래의 작업

  이 백서는 토큰 수준의 학습 역학에 대한 귀중한 통찰력을 제공하고 언어 모델 사전 레이팅을 최적화하는 매우 효과적인 기술인 SLM을 소개합니다. 향후 연구 방향에는 SLM을 더 큰 모델로 스케일링, API 기반 참조 모델 탐색, 강화 학습 통합, 여러 참조 모델 사용 및 SLM을 안전 및 진실성 고려 사항과 정렬하는 것이 포함됩니다. 이 작업은 효율적이고 효과적인 언어 모델 교육의 중요한 발전을 나타냅니다.

위 내용은 인과 적 언어 모델링을 넘어서의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!