教師なし学習の問題に対する一般的な解決策: メタアルゴリズムベースのフレームワーク

Microsoft Research とプリンストン大学の研究者らは 11 月 13 日、ガウス分布と部分空間クラスタリングの混合などの教師なし学習問題に対する効率的なアルゴリズムを設計するための一般的なフレームワークを提案しました。

研究者らが提案したフレームワークは、下限学習計算式の計算手法を用いたメタアルゴリズムを用いてノイズ問題を解決するものである。このフレームワークは、ノイズなしで算術公式を学習するためのこのフレームワークを提案した Garg、Kayal、Saha の最近の研究 (FOCS'20) に基づいて設計されています。メタ アルゴリズムの重要な要素は、「ロバスト ベクトル空間分解」と呼ばれる新しい問題を解決するための効率的なアルゴリズムです。

研究によると、ある行列が十分に大きな最小値を持つ場合、非ゼロ メタアルゴリズムは、特異値を扱う場合にうまく機能します。 「私たちは、この条件が問題の平滑化されたインスタンスに当てはまると推測しています。したがって、私たちのフレームワークは、これらの問題に対して平滑化された設定で効率的なアルゴリズムを生み出すでしょう。」

この研究のタイトルは「算術学習において」です。 Formulas in the Presence of Noise: A General Framework and Applications to Unsupervised Learning (11 月 13 日に arXiv プレプリント プラットフォームで公開)

教師なし学習には、次の発見が含まれます。ラベルや人間による直接の監視を一切使用せずに、データ内の隠されたパターンと構造を実現します。

ここで、研究者は、優れた数学的構造を持つデータ、または数学的に明確に定義された分布から生成されたデータを検討します。前者の例としては、特定の類似パターンに基づいてデータ ポイントを意味のあるクラスターにグループ化することができ、その目的は基礎となるクラスターを見つけることです。後者の例は、混合モデリングです。これは、データが簡潔に記述された確率分布 (ガウス分布など) の混合によって生成されると仮定し、目標はサンプルからこれらの分布のパラメーターを学習することです。

#多くの教師なし学習問題を解決するための一般的なフレームワークはモーメント法です。これは、データの統計モーメントを利用して、モデルの基礎となる構造または基礎となるパラメーターを推測します。基礎となるデータが優れた数学的構造を持つ多くの教師なし学習問題のシナリオでは、データのモーメントはパラメーターの明確に定義された関数です。ヒューリスティックな議論は、一般にその逆が成り立つことを示唆しています。つまり、構造/分布のパラメータは通常、データのいくつかの低次モーメントによって一意に決定されます。この一般的な方向性において、主な課題は、(経験的) モーメントから基礎となるパラメータを (近似的に) 回復するアルゴリズムを設計することです。

また、アルゴリズムが効率的で、ノイズに耐性があり (つまり、瞬間が正確ではなく近似的にしかわかっていない場合でも適切に機能する)、さらには異常に耐性があることも必要です (つまり、 、いくつかのデータ ポイントが基礎となる構造/分布に適合しない場合でも、うまく機能します)。しかし、現場での最も単純な問題でさえ NP 困難になる傾向があり、ノイズや外れ値がない場合でも、NP 困難なままです。

したがって、証明可能な最悪の場合の保証を備えたアルゴリズムを実際に期待することはできません。しかし、ランダムな問題のインスタンスに対して、またはより理想的にはスムーズな方法で選択されたインスタンスに対して、アルゴリズムが一般的にうまく機能することが保証されることを期待できます。したがって、さまざまなレベルの効率、ノイズ耐性、外れ値耐性、および証明可能な保証を備えた、教師なし学習におけるこのような問題ごとに多くの異なるアルゴリズムが設計されてきました。

この研究では、研究者らは、そのような多くの教師なし学習問題に適用できるメタアルゴリズムを提示します。この研究の出発点は、そのような問題の多くは、結局のところ、算術公式の適切なサブクラスを学習するというタスクに帰結するという観察にあります。

以上が教師なし学習の問題に対する一般的な解決策: メタアルゴリズムベースのフレームワークの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。