情報理論キャリブレーション技術に基づいて、CML はマルチモーダル機械学習の信頼性を高めます

マルチモーダル機械学習は、さまざまなシナリオで目覚ましい進歩を遂げました。ただし、マルチモーダル学習モデルの信頼性については、詳細な研究が不足しています。 「情報とは不確実性の除去です。」マルチモーダル機械学習の本来の目的はこれと一致しています - モダリティを追加することで予測をより正確かつ信頼できるものにすることができます。しかし、ICML2023で最近発表された論文「マルチモーダル学習の校正」では、現在のマルチモーダル学習手法がこの信頼性の仮定に違反していることが判明し、詳細な分析と修正が行われました。

写真

• ##論文 Arxiv: https:// arxiv .org/abs/2306.01265
• コード GitHub: https://github.com/QingyangZhang/CML

##現在のマルチモーダル分類法の信頼性は低い。つまり、いくつかのモードが除去されると、モデルはより高い信頼度を生成する可能性があり、これは情報理論「情報とは、次のものを除去することである」に違反する。不確実性」が基本原則です。この問題に対処するために、この記事ではマルチモーダル学習の調整方法を提案します。この方法は、さまざまなマルチモーダル学習パラダイムに導入して、マルチモーダル学習モデルの合理性と信頼性を向上させることができます。

写真

この研究は、現在のマルチモーダル学習方法には信頼性の低い予測信頼性の問題があることを指摘しています。部分的なモダリティに依存して信頼度を推定する。特に、この研究では、特定のモードが損傷すると、現在のモデル推定の信頼性が高まることがわかりました。この不合理な問題を解決するために、著者らは直観的なマルチモーダル学習原理を提案しています。モダリティが除去された場合、モデルの予測信頼度は増加しないはずです。ただし、現在のモデルは、すべてのモダリティを公平に考慮するのではなく、モダリティのサブセットを信じ、影響を受ける傾向があります。これはモデルの堅牢性にさらに影響します。つまり、特定のモードが損傷すると、モデルは容易に影響を受けます。

#上記の問題を解決するために、現在のいくつかの方法では、温度スケーリングやベイジアン学習方法などの既存の不確かさ校正方法が採用されています。これらの方法は、従来のトレーニング/推論方法よりも正確な信頼度推定を構築できます。しかし、これらの手法は最終的な融合結果の信頼度推定値と精度を一致させるだけであり、モーダル情報量と信頼度の関係を明示的に考慮していないため、本質的にマルチモーダル学習モデルの信頼性を向上させることはできません。

著者は、「マルチモーダル学習の校正 (CML)」と呼ばれる新しい正則化手法を提案しています。この手法では、ペナルティ項を追加して、予測信頼性と情報コンテンツ間の一貫性を実現することで、モデルの予測信頼性と情報コンテンツ間の一致関係を強制します。この手法は、モダリティが削除されると予測の信頼度は減少するはず (少なくとも増加すべきではない) という自然な直観に基づいており、本質的に信頼度の調整を向上させることができます。具体的には、モダリティが削除されたときに予測信頼度が高まるサンプルにペナルティを追加することで、モデルに直観的な順序関係を強制的に学習させるための単純な正則化項が提案されています。

##上記の制約は通常の損失であり、モーダル情報が削除され信頼性が高まるとペナルティとして現れます。

実験結果は、CML 正則化により、既存のマルチモーダル学習方法の予測信頼性の信頼性が大幅に向上することを示しています。さらに、CML は分類精度を向上させ、モデルの堅牢性を向上させることができます。

マルチモーダル機械学習はさまざまなシナリオで大幅な進歩を遂げてきましたが、マルチモーダル機械学習モデルの信頼性は依然として解決する必要がある問題です。この論文は、広範な実証研究を通じて、現在の多峰性分類法には信頼性の低い予測信頼性の問題があり、情報理論の原則に違反していることを発見しました。この問題に対処するために、研究者らは CML 正則化手法を提案しました。この手法は既存のモデルに柔軟に導入でき、信頼性の調整、分類精度、モデルの堅牢性の点でパフォーマンスを向上させることができます。この新技術は将来のマルチモーダル学習において重要な役割を果たし、機械学習の信頼性と実用性を向上させると考えられています。

以上が情報理論キャリブレーション技術に基づいて、CML はマルチモーダル機械学習の信頼性を高めますの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。