DeepSpeed を使用したトレーニング中のテンソル サイズの不一致の問題

現在、** Hugging Face** の Trainer と DeepSpeed 統合を使用してモデルをトレーニングしていますが、テンソル サイズの不一致に関連するエラーが発生しました。具体的には、次のエラーが発生します:

テンソル a (50) のサイズは、非シングルトン次元 2 でテンソル b (3) のサイズと一致する必要があります。

誰かが修正してあなたのバージョンを共有できることを願っています!!!

私のデータ:

これが私のセットアップです:

input_id とラベルが同じ形状であることを確認しました。 Trainer 構成と DeepSpeed 構成の両方でバッチ サイズを確認しました。また、モデルがデバイス (CUDA または CPU) に正しく配置されていることも確認しました。

たぶん、わかりません。

以上がDeepSpeed を使用したトレーニング中のテンソル サイズの不一致の問題の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。