シックス・トリプル・エイトの感動的な物語では、彼らの使命の最初のステップは、大量の未配達メールを評価して整理することでした。天井までそびえ立つこれらのスタックは、進歩を遂げる前に分類され、理解される必要がありました。現代の機械学習の世界では、この初期段階は探索的データ分析 (EDA) に似ています。
このシリーズでは、CSV データセットを使用してこのプロセスを複製します。各行にはカテゴリ (「テクノロジー」、「ビジネス」など) とそれに関連付けられたテキストが含まれています。カテゴリはラベルとして機能し、各テキストがどこに属するかを示します。データ操作のための Pandas、視覚化のための Matplotlib、テキスト分析のための WordCloud、トークン分析のための Tiktoken、テキスト処理のための NLTK などのツールは、データセットを理解するのに役立ちます。
このステップでは、次のことを行います:
データをロードし、その構造を検査します。
モデルのパフォーマンスを妨げる可能性のある欠落値または矛盾した値を特定します。
カテゴリの分布を調査して、ラベル間のバランスを理解します。
テキスト データ内の単語の頻度を視覚化してパターンを明らかにします。
Tiktoken を使用してトークン数を分析し、複雑さを測定します。
この EDA フェーズは、秩序をもたらす前に混乱を理解する必要があった シックス・トリプル・エイトの細心の注意を払った選別の取り組みを反映しています。データセットを詳細に理解することで、テキストを正確に分類して解釈できる、微調整された LLM を構築するための基礎を築きます。
導入
探索的データ分析 (EDA) は、大量に積み上げられ、整理されておらず、未開発の可能性が詰まった、気の遠くなるようなデータのバックログに取り組むことに似ています。第二次世界大戦中にシックス・トリプル・エイト部隊が未配達郵便の圧倒的な未処理の処理に取り組んだのと同じように、EDA は混乱を選別して洞察を明らかにし、傾向を特定し、データ分析の次の段階に備えるための私たちの手段です。
この調査では、BBC ニュース記事のデータセットを詳しく調査し、その構造を解明し、不一致に対処し、データ内に埋もれたストーリーを明らかにします。」
バックログの評価: データセットの概要
まず、データセットの規模と構造を理解する必要があります。 BBC ニュース記事データセットは、ビジネス、スポーツ、政治、テクノロジー、エンターテイメントの 5 つのカテゴリに分散された 2,234 のエントリで構成されています。各エントリには 2 つの主な機能があります:
- カテゴリ: 記事のトピックまたはセクション。
- テキスト: 記事の全内容。
作業内容をより明確に把握するために、データを Pandas DataFrame にロードし、簡単な検査を実行して、次のことを発見しました。
バックログのクリーニング
シックス・トリプル・エイトが未分類の郵便の山に取り組んだように、私たちもデータセットを整理する必要があります。クリーニングプロセスには、いくつかの重要な手順が含まれます:
重複の削除
重複した記事によりデータセットが乱雑になりました。これらの冗長性を特定して削除した後。欠損値の処理
私たちのデータセットは比較的きれいでしたが、最終的なデータに空のエントリが残らないように、潜在的な null 値がすべて対処されるようにしました。」
カテゴリを細分化する
バックログが解消されたので、主要なテーマを特定するためにカテゴリ間の記事の分布を分析しました。私たちが見つけたものは次のとおりです:
トップ カテゴリ: ビジネスとスポーツが最大のシェアを占めており、それぞれ 512 件の記事が含まれています。
小カテゴリ: エンターテインメント、政治、テクノロジーに関する記事は少なかったが、独自の洞察が得られました。
この分布により、データセットのバランスが取れていることが確認され、カテゴリの不均衡が顕著であることを心配することなく、より深い分析に集中できるようになりました。」
ズームイン: 顕微鏡下のスポーツ記事
郵便物を宛先ごとに分類するのと同じように、さらに詳しく調べるためにスポーツ カテゴリに焦点を当てることにしました。目標は、テキストの内容を分析し、意味のあるパターンを抽出することでした。」
トークン化とストップワードの削除
NLTK ライブラリを使用して、テキストを個々の単語にトークン化し、一般的なストップワード (「and」、「the」、「is」など) を削除しました。これにより、そのカテゴリにとってより重要な単語に焦点を当てることができました。」-
単語頻度分析
スポーツ記事で最も一般的な用語を特定するために頻度分布が作成されました。当然のことながら、コンテンツの競争的な性質を反映して、「試合」、「チーム」、「ゲーム」などの単語が優勢でした。」 調査結果の視覚化: ワードクラウド
シックス・トリプル・エイトが未処理の郵便物を細心の注意を払って分類して配信したのと同じように、私たちのEDAプロセスはBBCニュース・データセットの構造化された洞察力に富んだビューを明らかにしました。
コード
!pip install tiktoken !pip install matplotlib !pip install wordcloud !pip install nltk !pip install pandas import pandas as pd df = pd.read_csv('/content/bbc.csv', on_bad_lines='skip') df.head() df.info() df.describe() label_count = df['category'].value_counts() len(df['text']) df.drop_duplicates(inplace=True) null_values = df.isnull().sum() df.dropna(inplace=True) import nltk from nltk.corpus import stopwords from nltk.tokenize import word_tokenize from wordcloud import WordCloud from collections import Counter import matplotlib.pyplot as plt nltk.download('punkt') nltk.download('stopwords') nltk.download('punkt_tab') target_label ="sport" target_df = df[df['category'] == target_label] target_word = [ word.lower() for text in target_df['text'] for word in word_tokenize(text) if word.isalnum() and word not in stopwords.words('english') ] target_word_count = Counter(target_word) word_cloud = WordCloud().generate_from_frequencies(target_word_count) plt.figure(figsize=(10, 5)) plt.imshow(word_cloud, interpolation='bilinear') plt.axis('off') plt.show()
以上が探索的データ分析: バックログを掘り下げるの詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

PythonとCにはそれぞれ独自の利点があり、選択はプロジェクトの要件に基づいている必要があります。 1)Pythonは、簡潔な構文と動的タイピングのため、迅速な開発とデータ処理に適しています。 2)Cは、静的なタイピングと手動メモリ管理により、高性能およびシステムプログラミングに適しています。

PythonまたはCの選択は、プロジェクトの要件に依存します。1)迅速な開発、データ処理、およびプロトタイプ設計が必要な場合は、Pythonを選択します。 2)高性能、低レイテンシ、および緊密なハードウェアコントロールが必要な場合は、Cを選択します。

毎日2時間のPython学習を投資することで、プログラミングスキルを効果的に改善できます。 1.新しい知識を学ぶ:ドキュメントを読むか、チュートリアルを見る。 2。練習:コードと完全な演習を書きます。 3。レビュー:学んだコンテンツを統合します。 4。プロジェクトの実践:実際のプロジェクトで学んだことを適用します。このような構造化された学習計画は、Pythonを体系的にマスターし、キャリア目標を達成するのに役立ちます。

2時間以内にPythonを効率的に学習する方法は次のとおりです。1。基本的な知識を確認し、Pythonのインストールと基本的な構文に精通していることを確認します。 2。変数、リスト、関数など、Pythonのコア概念を理解します。 3.例を使用して、基本的および高度な使用をマスターします。 4.一般的なエラーとデバッグテクニックを学習します。 5.リストの概念を使用したり、PEP8スタイルガイドに従ったりするなど、パフォーマンスの最適化とベストプラクティスを適用します。

Pythonは初心者やデータサイエンスに適しており、Cはシステムプログラミングとゲーム開発に適しています。 1. Pythonはシンプルで使いやすく、データサイエンスやWeb開発に適しています。 2.Cは、ゲーム開発とシステムプログラミングに適した、高性能と制御を提供します。選択は、プロジェクトのニーズと個人的な関心に基づいている必要があります。

Pythonはデータサイエンスと迅速な発展により適していますが、Cは高性能およびシステムプログラミングにより適しています。 1. Python構文は簡潔で学習しやすく、データ処理と科学的コンピューティングに適しています。 2.Cには複雑な構文がありますが、優れたパフォーマンスがあり、ゲーム開発とシステムプログラミングでよく使用されます。

Pythonを学ぶために1日2時間投資することは可能です。 1.新しい知識を学ぶ:リストや辞書など、1時間で新しい概念を学びます。 2。練習と練習:1時間を使用して、小さなプログラムを書くなどのプログラミング演習を実行します。合理的な計画と忍耐力を通じて、Pythonのコアコンセプトを短時間で習得できます。

Pythonは学習と使用が簡単ですが、Cはより強力ですが複雑です。 1。Python構文は簡潔で初心者に適しています。動的なタイピングと自動メモリ管理により、使いやすくなりますが、ランタイムエラーを引き起こす可能性があります。 2.Cは、高性能アプリケーションに適した低レベルの制御と高度な機能を提供しますが、学習しきい値が高く、手動メモリとタイプの安全管理が必要です。


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。

人気の記事

ホットツール

VSCode Windows 64 ビットのダウンロード
Microsoft によって発売された無料で強力な IDE エディター

DVWA
Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

PhpStorm Mac バージョン
最新(2018.2.1)のプロフェッショナル向けPHP統合開発ツール

SublimeText3 英語版
推奨: Win バージョン、コードプロンプトをサポート!

AtomエディタMac版ダウンロード
最も人気のあるオープンソースエディター
