因果言語モデリングを超えて

ニューリップス2024スポットライト：選択的言語モデリング（SLM）

を使用した言語モデルの事前化の最適化

最近、私はNeurips 2024の魅力的な論文を紹介しました「すべてのトークンがあなたが事前トレーニングに必要なものではありません」地元の読書グループで。 このペーパーは、驚くほどシンプルでありながら影響力のある質問に取り組んでいます。次のトークン予測は、言語モデルの事前化中のすべてのトークンに必要ですか？ 標準的なアプローチには、大規模なWebスクレイプデータセットと因果言語モデリング（CLM）を普遍的に適用することが含まれます。 この論文は、その仮定に挑戦し、一部のトークンが学習プロセスを助けるのではなく妨害することを提案しています。 著者は、「有用な」トークンにトレーニングを集中することで、データの効率とダウンストリームタスクのパフォーマンスが大幅に向上することを実証しています。 この投稿は、彼らの核となるアイデアと重要な実験的調査結果を要約しています。

問題：ノイズと非効率的な学習

大規模なWebコーパスには必然的にノイズが含まれています。ドキュメントレベルのフィルタリングが役立ちますが、ノイズは個々のドキュメント内にあることがよくあります。 これらの騒々しいトークンは計算リソースを無駄にし、潜在的にモデルを混乱させる。 著者は、トークンレベルの学習ダイナミクスを分析し、エントロピー損失の軌跡に基づいてトークンを分類しました：

l→l（低から低い）：

すぐに学習し、最小限の利益を提供します。

• h→l（高から低い）：最初は困難ですが、最終的には学習しました。貴重な学習の機会を表す。
• H→H→H（高から高）：一貫して難しいことがよくあります。
l→h（低から高）：
• 最初に学習しましたが、後で問題になります。 彼らの分析により、トークンのほんの一部のみが意味のある学習信号を提供することが明らかになりました。
• ソリューション：選択言語モデリング（SLM）
提案されたソリューションであるSelective Language Modeling（SLM）は、よりターゲットを絞ったアプローチを提供します：

参照モデル（RM）トレーニング：

データの高品質のサブセットを使用して、事前に訓練されたベースモデルを微調整し、参照モデル（RM）を作成します。このRMは、トークン「有用性」のベンチマークとして機能します

過剰損失計算：
1. 大きなコーパスの各トークンについて、RMの損失と現在のトレーニングモデルの損失（「過剰損失」）の違いが計算されます。 過剰損失が高いほど、改善の可能性が高いことが示されます
   選択的バックプロパゲーション：
フルフォワードパスはすべてのトークンで実行されますが、バックプロパゲーションは、最高の損失を伴うトークンの上部
2. k％

   でのみ発生します。これは、最も価値のあるトークンにトレーニングを動的に焦点を当てています。

実験結果：有意な利益 SLMは、さまざまな実験にわたって重要な利点を示しています

Math Domain：On 一般的なドメイン：強力な事前訓練を受けたベースモデルがあっても、SLMは、特にコードや数学などの挑戦的なドメインで、15のベンチマークで約5.8％の平均改善をもたらしました。

• 自己参照：生のコーパスから迅速に訓練されたRMでさえ、2〜3％の精度ブーストと使用されるトークンの30〜40％の減少を提供しました。

• 結論と将来の仕事

  このホワイトペーパーでは、トークンレベルの学習ダイナミクスに関する貴重な洞察を提供し、言語モデルの事前化を最適化するための非常に効果的な手法であるSLMを紹介します。 将来の研究の方向性には、SLMのスケーリング、APIベースの参照モデルの調査、補強学習の統合、複数の参照モデルの使用、SLMの安全性と真実性の考慮事項が含まれます。 この作業は、効率的かつ効果的な言語モデルトレーニングの大幅な進歩を表しています。

以上が因果言語モデリングを超えての詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。