Mahout ビデオ チュートリアルの推奨リソース

Mahout は、開発者がインテリジェントなアプリケーションをより便利かつ迅速に作成できるようにすることを目的として、機械学習の分野における古典的なアルゴリズムのスケーラブルな実装をいくつか提供します。 Mahout には、クラスタリング、分類、推奨フィルタリング、頻繁なサブ項目マイニングなどの多くの実装が含まれています。さらに、Mahout は、Apache Hadoop ライブラリを使用してクラウドに効率的に拡張できます。

教師の指導スタイル:

教師の講義は、シンプルかつ詳細で、明確で、層ごとの分析、連動性、厳密な議論、厳密な構造であり、生徒を引き付けるために論理的思考力を使用しています。注意を払い、合理的な制御を使用した教室での指導プロセス。先生の講義を聞くことで、学生は知識を学ぶだけでなく、思考力のトレーニングも受け、先生の厳格な学習態度に影響を受け、感染します

このビデオの最も難しい点は、ロジスティック回帰分類器_ベイジアン分類器_1です

1. 背景

まず、記事の冒頭でいくつかの質問をしてみましょう。これらの質問に答えられる場合は、この記事を読む必要はありません。純粋にこの記事の欠点を見つけることは歓迎です。297314262@qq.com に電子メールを送ってください。

ところで、この記事を読んでも次の質問に答えられない場合は、メールでお知らせください。あなたの疑問に全力でお答えします。

単純ベイズ分類器の「単純」とは、具体的にはこの分類器のどのような特性を指すのかを指します

単純ベイズ分類器と最尤推定 (MLE) および最大事後確率 (MAP) の関係

単純ベイズ分類、ロジスティック回帰分類、生成モデルと決定モデルの関係

教師あり学習とベイズ推定の関係

2. 合意

ということで、この記事は始まります。まず最初に、この記事に登場するさまざまな表現形式に関して、ここで合意します

X などの大文字は確率変数を表し、Xij などの小文字は変数の 1 つの値を表します (教師あり学習問題を解くための Yes の推定値の j 番目の値?

教師あり学習の場合、実際の目標は、目的関数 f: サンプルの実際の分類結果を推定することです。サンプルの値が P(X=xk|Y=yi) のすべての推定値と P(Y=yi) のすべての推定値を見つけるだけであると仮定します。後続の分類プロセスでは、P の最大の yi (Y=yi|X=xk) を見つけます。ベイズ推定を使用すると、教師あり学習の問題を解決できることがわかります。

4. 分類器の「ナイーブ」特性

次に、最初の質問に答えてください。「ナイーブ」とは何ですか?

セクション 3 の分析から、P(Y=yi|X=xk) を取得するには、P(X=xk|Y=yi) と P(Y) のすべての推定値を知る必要があることがわかります。 =yi) のすべての推定値を仮定し、次に 2*(2^N - 1) の推定値を見つける必要があります (Y は特定のカテゴリとして与えられるため、X の各値の確率の合計は 1 であることに注意してください)したがって、実際の推定値は 2^N - 1) になります。ご想像のとおり、N が非常に大きい状況 (テキスト分類の場合、用語の取り得る値が非常に大きい場合) では、この推定の計算量は膨大になります。では、必要な推定量を減らしてベイズ推定法を実行可能にするにはどうすればよいでしょうか?ここで、仮定が導入されます:

仮定: 与えられた条件 Y=yi の下で、X の各次元の変数は互いに独立しています。

すると、この仮定の下では、 P(X=xk|Y=yi)=P(X1=x1j1|Y=yi)P(X2=x2j2|Y=yi)...P(Xn= xnjn|Y= yi)、つまり、現時点では N 個の推定値のみが必要です。したがって、この仮定により、ベイズ推定の計算量が 2*(2^N - 1) から N に軽減され、この分類器が実用的になります。この仮定は素朴な性質になります。

5. 最尤推定と最大事後確率解法

次に、2 番目の質問に答えるために、最初の選択肢は、最尤推定法を単純ベイズ分類器の解法プロセスに適用することです。

上で述べたように、P(X=xk|Y=yi)の解は、P(X1=x1j1|Y=yi)、P(X2=x2j2|Y=yi)、...の解に変換できます。 P(Xn =xnjn|Y=yi) の場合、最尤推定法を使用してこれらの値を見つけるにはどうすればよいでしょうか?

まず第一に、最尤推定とは何かを理解する必要があります。実際、確率論の教科書では、最尤推定に関する説明はすべて教師なし学習問題を解くことについて説明されています。このセクションを読んだ後は、最尤推定を使用することが理解できるはずです。ナイーブ特性の下で教師あり学習問題を解く尤度推定は、実際には各カテゴリの条件下で教師なし学習問題を解くために最尤推定を使用します。

以上がMahout ビデオ チュートリアルの推奨リソースの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。