モデル評価はディープラーニングと機械学習の非常に重要な部分であり、モデルのパフォーマンスと効果を測定するために使用されます。この記事では、混同マトリックス、精度、適合率、再現率、F1 スコアを段階的に詳しく説明します
混同マトリックス
##混同行列は、分類問題におけるモデルのパフォーマンスを評価するために使用され、モデルがサンプルをどのように分類するかを示す表です。行は実際のカテゴリを表し、列は予測されたカテゴリを表します。 2 分類問題の場合、混同行列の構造は次のとおりです。
- 真陽性 (TP):は実際には正の例であり、モデルは正の例の数と正の例を正しく識別するモデルの能力を予測します。通常、より高い TP が望ましいです。
- 偽陰性 (FN): 実際には陽性であり、モデルによって陰性であると予測されるサンプルの数。アプリケーションによっては、これが重要になる場合があります (たとえば、 、セキュリティ上の脅威の検出に失敗します)。
- False Positive (FP): 実際には陰性例であり、モデルが陽性例を予測するサンプルの数。モデルが陽性を予測すべきでないときに陽性例を予測する状況を強調します。これはアプリケーションに応じた結果をもたらす可能性があります (医療診断における不必要な治療など)
- 真陰性 (TN): 実際には陰性であり、モデルによって陰性であると予測されたサンプルの数、ネガティブなインスタンスを正しく識別するモデルの能力を反映しています。通常、より高い TN
- 初心者にとってはわかりにくいように思えるかもしれませんが、実際は非常に簡単です。後ろの Negative/Positive はモデルの予測値、手前の True/False はモデルの予測の精度です。たとえば、True Negative は、モデルの予測が負であり、実際の値と一致している、つまり予測が正しいことを意味します。これにより、理解しやすくなります。単純な混同行列を次に示します。
from sklearn.metrics import confusion_matrix import seaborn as sns import matplotlib.pyplot as plt # Example predictions and true labels y_true = [1, 0, 1, 1, 0, 1, 0, 0, 1, 0] y_pred = [1, 0, 1, 0, 0, 1, 0, 1, 1, 1] # Create a confusion matrix cm = confusion_matrix(y_true, y_pred) # Visualize the blueprint sns.heatmap(cm, annot=True, fmt="d", cmap="Blues", xticklabels=["Predicted 0", "Predicted 1"], yticklabels=["Actual 0", "Actual 1"]) plt.xlabel("Predicted") plt.ylabel("Actual") plt.show()正しい予測と全体的な精度を強調したい場合は、TP と TN を使用します。モデルで発生するエラーの種類を理解したい場合は、FP と FN を使用します。たとえば、誤検知のコストが高いアプリケーションでは、誤検知を最小限に抑えることが重要になる場合があります。
例として、スパム分類器について説明します。混同行列は、分類器が正しく識別したスパムメールの数と、誤ってスパムとしてマークされた非スパムメールの数を理解するのに役立ちます。
混同行列に基づいて、他の多くのメールを計算できます。精度、精度、再現率、F1 スコアなどの評価指標。
#精度
##上記の概要によれば、計算されるのは正しく予測できる割合です。分子は TP と TN の両方が True であり、これはモデルによる正しい予測の総数です。
精度
式をご覧ください。これは陽性の割合、つまりデータ内の陽性の数が正しく予測されることを計算するため、精度は精度率とも呼ばれます
#これは、誤検知が重大な結果やコストをもたらす状況で重要になります。医療診断モデルを例に挙げると、本当に治療が必要な人だけが治療を受けられるよう精度を確保します
Recall
Recall回収率とも呼ばれる率は感度または真陽性率であり、すべての陽性例を捕捉するモデルの能力を指します。式からわかるように、その主な目的は、モデルによって捕捉された実際の正例の数、つまり正例の割合を計算することです。したがって、再現率は再現率とも呼ばれます
F1 スコア
F1 スコアの計算式は次のとおりです。
F1 = 2 * (精度 * リコール) / (精度のリコール)
このうち、適合率とは、モデルによって陽性例として予測されたサンプルのうち、実際に陽性例であるサンプルの割合を指し、再現率とは、モデルによって陽性例として正しく予測されたサンプル数と、実際に陽性例であるサンプル数の割合を指します。ポジティブな例。 F1 スコアは精度と再現率の調和平均であり、モデルの精度と包括性を総合的に考慮してモデルのパフォーマンスを評価できます。 F1 スコアは、精度と再現率の間のトレードオフを提供するため重要です。精度と再現率のバランスを見つけたい場合、または一般的なアプリケーションの場合は、F1 スコア
總結
在本文中,我們詳細介紹了混淆矩陣、準確度、精確度、召回率和F1分數,並指出這些指標可以有效評估和提升模型的效能
以上が分類モデルの評価指標を 1 つの記事で読むの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

ロボットプロセスオートメーション(RPA)を専門とする多くの企業は、繰り返しタスクを自動化するためのボットを提供しています。 一方、プロセスマイニング、オーケストレーション、インテリジェントドキュメント処理スペシャル

AIの未来は、単純な単語の予測と会話シミュレーションを超えて動いています。 AIエージェントは出現しており、独立したアクションとタスクの完了が可能です。 このシフトは、AnthropicのClaudeのようなツールですでに明らかです。 AIエージェント:研究a

急速な技術の進歩は、仕事の未来に関する将来の見通しの視点を必要とします。 AIが単なる生産性向上を超えて、私たちの社会構造の形成を開始するとどうなりますか? Topher McDougalの今後の本、Gaia Wakes:

多くの場合、Harmonized System(HS)などのシステムからの「HS 8471.30」などの複雑なコードを含む製品分類は、国際貿易と国内販売に不可欠です。 これらのコードは、すべてのINVに影響を与える正しい税申請を保証します

データセンターと気候技術投資におけるエネルギー消費の将来 この記事では、AIが推進するデータセンターのエネルギー消費の急増と気候変動への影響を調査し、この課題に対処するための革新的なソリューションと政策の推奨事項を分析します。 エネルギー需要の課題:大規模で超大規模なデータセンターは、数十万の普通の北米の家族の合計に匹敵する巨大な力を消費し、新たなAIの超大規模なセンターは、これよりも数十倍の力を消費します。 2024年の最初の8か月で、Microsoft、Meta、Google、Amazonは、AIデータセンターの建設と運用に約1,250億米ドルを投資しました(JP Morgan、2024)(表1)。 エネルギー需要の成長は、挑戦と機会の両方です。カナリアメディアによると、迫り来る電気

生成AIは、映画とテレビの制作に革命をもたらしています。 LumaのRay 2モデル、滑走路のGen-4、OpenaiのSora、GoogleのVEO、その他の新しいモデルは、前例のない速度で生成されたビデオの品質を向上させています。これらのモデルは、複雑な特殊効果と現実的なシーンを簡単に作成できます。短いビデオクリップやカメラ認知モーション効果も達成されています。これらのツールの操作と一貫性を改善する必要がありますが、進歩の速度は驚くべきものです。 生成ビデオは独立した媒体になりつつあります。アニメーション制作が得意なモデルもあれば、実写画像が得意なモデルもあります。 AdobeのFireflyとMoonvalleyのMAであることは注目に値します

ChatGptユーザーエクスペリエンスは低下します:それはモデルの劣化ですか、それともユーザーの期待ですか? 最近、多数のCHATGPT有料ユーザーがパフォーマンスの劣化について不満を述べています。 ユーザーは、モデルへの応答が遅く、答えが短い、助けの欠如、さらに多くの幻覚を報告しました。一部のユーザーは、ソーシャルメディアに不満を表明し、ChatGptは「お世辞になりすぎて」、重要なフィードバックを提供するのではなく、ユーザービューを検証する傾向があることを指摘しています。 これは、ユーザーエクスペリエンスに影響を与えるだけでなく、生産性の低下やコンピューティングリソースの無駄など、企業の顧客に実際の損失をもたらします。 パフォーマンスの劣化の証拠 多くのユーザーは、特にGPT-4などの古いモデル(今月末にサービスから廃止される)で、ChatGPTパフォーマンスの大幅な分解を報告しています。 これ

ジェネレーションアルファとAI革命 Generation Alpha(2010年から2024年生まれ)は独自に配置されています。彼らは、生成AIと一緒に成長しています。これは、日常生活に深く織り込まれています。 ただし、主にiが享受しているこの広範なアクセス


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

Dreamweaver Mac版
ビジュアル Web 開発ツール

mPDF
mPDF は、UTF-8 でエンコードされた HTML から PDF ファイルを生成できる PHP ライブラリです。オリジナルの作者である Ian Back は、Web サイトから「オンザフライ」で PDF ファイルを出力し、さまざまな言語を処理するために mPDF を作成しました。 HTML2FPDF などのオリジナルのスクリプトよりも遅く、Unicode フォントを使用すると生成されるファイルが大きくなりますが、CSS スタイルなどをサポートし、多くの機能強化が施されています。 RTL (アラビア語とヘブライ語) や CJK (中国語、日本語、韓国語) を含むほぼすべての言語をサポートします。ネストされたブロックレベル要素 (P、DIV など) をサポートします。

SublimeText3 Linux 新バージョン
SublimeText3 Linux 最新バージョン

AtomエディタMac版ダウンロード
最も人気のあるオープンソースエディター

PhpStorm Mac バージョン
最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

ホットトピック









