搜尋
首頁後端開發Python教學探索性資料分析:挖掘待辦事項

六三八的鼓舞人心的故事中,他們的任務的第一步是評估和整理大量積壓的未投遞郵件。這些高聳入雲的堆疊必須先進行分類和理解,然後才能取得任何進展。在現代機器學習的世界中,這個初始階段類似於探索性資料分析 (EDA)。

對於本系列,我們將使用 CSV 資料集複製此過程,其中每一行包含一個類別(例如「技術」、「商業」)以及與其關聯的文字。類別充當標籤,指示每段文字所屬的位置。用於資料操作的 Pandas、用於視覺化的 Matplotlib、用於文字洞察的 WordCloud、用於標記分析的 Tiktoken 以及用於文字處理的 NLTK 等工具將幫助我們理解我們的資料集。

在這一步驟中,我們將:

  1. 載入資料並檢查其結構。

  2. 辨識可能影響模型表現的缺失或不一致的值。

  3. 探索類別分佈以了解標籤之間的平衡。

  4. 視覺化文字資料中的詞頻以發現模式。

  5. 使用 Tiktoken 分析代幣計數來衡量複雜性。

這個 EDA 階段反映了六三八細緻的排序工作,他們必須先理清混亂,然後才能帶來秩序。透過詳細了解我們的資料集,我們為建立能夠精確分類和解釋文本的微調法學碩士奠定了基礎。

介紹

探索性資料分析 (EDA) 類似於處理令人畏懼的積壓資料-堆積如山、無組織且充滿未開發的潛力。就像二戰期間六三八單位處理大量積壓的未投遞郵件一樣,EDA 是我們在混亂中篩選以發現見解、識別趨勢並為下一階段的數據分析做好準備的方式。

在這次探索中,我們將深入研究 BBC 新聞文章的資料集,闡明其結構,解決不一致問題,並揭示隱藏在資料中的故事。 ”

評估待辦事項:資料集概述

首先,我們必須先了解資料集的規模和結構。 BBC 新聞文章資料集包含 2,234 個條目,分佈在五個類別:商業、體育、政治、科技和娛樂。每個條目都有兩個主要特點:

  • 類別:文章的主題或部分。
  • text:文章的完整內容。

為了更清楚地了解我們正在處理的內容,我們將資料載入到 Pandas DataFrame 中,進行快速檢查,並發現:

清理積壓訂單

隨著六三八處理未分類的郵件堆,我們也需要組織我們的資料集。清潔過程涉及幾個關鍵步驟:

  • 刪除重複項
    重複的文章使資料集變得混亂。識別並刪除這些冗餘後。

  • 處理缺失值
    儘管我們的資料集相對乾淨,但我們確保解決了任何潛在的空值,從而在最終資料中不留下任何空白條目。 ”

細分類別

積壓的訂單被清除後,我們分析了文章在類別之間的分佈,以確定主導主題。這是我們的發現:

  • 熱門類別:商業和運動並列佔比最大,每個類別包含 512 篇文章。

  • 較小的類別:娛樂、政治和科技,文章較少,但提供了獨特的見解。

分佈確認資料集是平衡的,使我們能夠專注於更深入的分析,而不必擔心嚴重的類別不平衡。 ”

放大:顯微鏡下的體育文章

就像按目的地對郵件進行分類一樣,我們選擇專注於體育類別以進行更深入的研究。目標是分析文字內容並提取有意義的模式。 ”

  • 標記化與停用詞刪除
    使用 NLTK 庫,我們將文字標記為單字並刪除了常見的停用詞(例如「and」、「the」、「is」)。這使我們能夠專注於對該類別更重要的單字。 ”

  • 詞頻分析
    創建頻率分佈是為了識別體育文章中最常見的術語。不出所料,「比賽」、「團隊」和「遊戲」等詞語佔據主導地位,反映了內容的競爭性質。 ”

視覺化結果:詞雲
為了捕捉體育文章的精髓,我們生成了詞雲。最常用的術語顯得更大,生動地描繪了該類別的核心主題。 ”

Exploratory Data Analysis: Digging Through the Backlog

重點

正如六三八精心分類和交付積壓的郵件一樣,我們的 EDA 流程揭示了 BBC 新聞資料集的結構化且富有洞察力的視圖。

代碼

!pip install tiktoken
!pip install matplotlib
!pip install wordcloud
!pip install nltk
!pip install pandas

import pandas as pd

df = pd.read_csv('/content/bbc.csv', on_bad_lines='skip')  


df.head()

df.info()

df.describe()

label_count = df['category'].value_counts()


len(df['text'])


df.drop_duplicates(inplace=True)

null_values = df.isnull().sum()

df.dropna(inplace=True)

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from wordcloud import WordCloud
from collections import Counter
import matplotlib.pyplot as plt


nltk.download('punkt')
nltk.download('stopwords')
nltk.download('punkt_tab') 


target_label ="sport"
target_df = df[df['category'] == target_label]



target_word = [ word.lower()  for text in target_df['text']
                 for word in word_tokenize(text)
                 if word.isalnum() and word not in stopwords.words('english')
                   ]

target_word_count = Counter(target_word)


word_cloud = WordCloud().generate_from_frequencies(target_word_count)


plt.figure(figsize=(10, 5))
plt.imshow(word_cloud, interpolation='bilinear')
plt.axis('off')
plt.show()

以上是探索性資料分析:挖掘待辦事項的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
如何使用Python查找文本文件的ZIPF分佈如何使用Python查找文本文件的ZIPF分佈Mar 05, 2025 am 09:58 AM

本教程演示如何使用Python處理Zipf定律這一統計概念,並展示Python在處理該定律時讀取和排序大型文本文件的效率。 您可能想知道Zipf分佈這個術語是什麼意思。要理解這個術語,我們首先需要定義Zipf定律。別擔心,我會盡量簡化說明。 Zipf定律 Zipf定律簡單來說就是:在一個大型自然語言語料庫中,最頻繁出現的詞的出現頻率大約是第二頻繁詞的兩倍,是第三頻繁詞的三倍,是第四頻繁詞的四倍,以此類推。 讓我們來看一個例子。如果您查看美國英語的Brown語料庫,您會注意到最頻繁出現的詞是“th

如何在Python中下載文件如何在Python中下載文件Mar 01, 2025 am 10:03 AM

Python 提供多種從互聯網下載文件的方法,可以使用 urllib 包或 requests 庫通過 HTTP 進行下載。本教程將介紹如何使用這些庫通過 Python 從 URL 下載文件。 requests 庫 requests 是 Python 中最流行的庫之一。它允許發送 HTTP/1.1 請求,無需手動將查詢字符串添加到 URL 或對 POST 數據進行表單編碼。 requests 庫可以執行許多功能,包括: 添加表單數據 添加多部分文件 訪問 Python 的響應數據 發出請求 首

python中的圖像過濾python中的圖像過濾Mar 03, 2025 am 09:44 AM

處理嘈雜的圖像是一個常見的問題,尤其是手機或低分辨率攝像頭照片。 本教程使用OpenCV探索Python中的圖像過濾技術來解決此問題。 圖像過濾:功能強大的工具圖像過濾器

我如何使用美麗的湯來解析HTML?我如何使用美麗的湯來解析HTML?Mar 10, 2025 pm 06:54 PM

本文解釋瞭如何使用美麗的湯庫來解析html。 它詳細介紹了常見方法,例如find(),find_all(),select()和get_text(),以用於數據提取,處理不同的HTML結構和錯誤以及替代方案(SEL)

如何使用Python使用PDF文檔如何使用Python使用PDF文檔Mar 02, 2025 am 09:54 AM

PDF 文件因其跨平台兼容性而廣受歡迎,內容和佈局在不同操作系統、閱讀設備和軟件上保持一致。然而,與 Python 處理純文本文件不同,PDF 文件是二進製文件,結構更複雜,包含字體、顏色和圖像等元素。 幸運的是,借助 Python 的外部模塊,處理 PDF 文件並非難事。本文將使用 PyPDF2 模塊演示如何打開 PDF 文件、打印頁面和提取文本。關於 PDF 文件的創建和編輯,請參考我的另一篇教程。 準備工作 核心在於使用外部模塊 PyPDF2。首先,使用 pip 安裝它: pip 是 P

如何在django應用程序中使用redis緩存如何在django應用程序中使用redis緩存Mar 02, 2025 am 10:10 AM

本教程演示瞭如何利用Redis緩存以提高Python應用程序的性能,特別是在Django框架內。 我們將介紹REDIS安裝,Django配置和性能比較,以突出顯示BENE

引入自然語言工具包(NLTK)引入自然語言工具包(NLTK)Mar 01, 2025 am 10:05 AM

自然語言處理(NLP)是人類語言的自動或半自動處理。 NLP與語言學密切相關,並與認知科學,心理學,生理學和數學的研究有聯繫。在計算機科學

如何使用TensorFlow或Pytorch進行深度學習?如何使用TensorFlow或Pytorch進行深度學習?Mar 10, 2025 pm 06:52 PM

本文比較了Tensorflow和Pytorch的深度學習。 它詳細介紹了所涉及的步驟:數據準備,模型構建,培訓,評估和部署。 框架之間的關鍵差異,特別是關於計算刻度的

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

AI Hentai Generator

AI Hentai Generator

免費產生 AI 無盡。

熱門文章

R.E.P.O.能量晶體解釋及其做什麼(黃色晶體)
2 週前By尊渡假赌尊渡假赌尊渡假赌
倉庫:如何復興隊友
4 週前By尊渡假赌尊渡假赌尊渡假赌
Hello Kitty Island冒險:如何獲得巨型種子
3 週前By尊渡假赌尊渡假赌尊渡假赌

熱工具

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

SublimeText3 Mac版

SublimeText3 Mac版

神級程式碼編輯軟體(SublimeText3)

SublimeText3漢化版

SublimeText3漢化版

中文版,非常好用

Safe Exam Browser

Safe Exam Browser

Safe Exam Browser是一個安全的瀏覽器環境,安全地進行線上考試。該軟體將任何電腦變成一個安全的工作站。它控制對任何實用工具的訪問,並防止學生使用未經授權的資源。

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具