搜尋
首頁後端開發Python教學探索性資料分析:挖掘待辦事項

六三八的鼓舞人心的故事中,他們的任務的第一步是評估和整理大量積壓的未投遞郵件。這些高聳入雲的堆疊必須先進行分類和理解,然後才能取得任何進展。在現代機器學習的世界中,這個初始階段類似於探索性資料分析 (EDA)。

對於本系列,我們將使用 CSV 資料集複製此過程,其中每一行包含一個類別(例如「技術」、「商業」)以及與其關聯的文字。類別充當標籤,指示每段文字所屬的位置。用於資料操作的 Pandas、用於視覺化的 Matplotlib、用於文字洞察的 WordCloud、用於標記分析的 Tiktoken 以及用於文字處理的 NLTK 等工具將幫助我們理解我們的資料集。

在這一步驟中,我們將:

  1. 載入資料並檢查其結構。

  2. 辨識可能影響模型表現的缺失或不一致的值。

  3. 探索類別分佈以了解標籤之間的平衡。

  4. 視覺化文字資料中的詞頻以發現模式。

  5. 使用 Tiktoken 分析代幣計數來衡量複雜性。

這個 EDA 階段反映了六三八細緻的排序工作,他們必須先理清混亂,然後才能帶來秩序。透過詳細了解我們的資料集,我們為建立能夠精確分類和解釋文本的微調法學碩士奠定了基礎。

介紹

探索性資料分析 (EDA) 類似於處理令人畏懼的積壓資料-堆積如山、無組織且充滿未開發的潛力。就像二戰期間六三八單位處理大量積壓的未投遞郵件一樣,EDA 是我們在混亂中篩選以發現見解、識別趨勢並為下一階段的數據分析做好準備的方式。

在這次探索中,我們將深入研究 BBC 新聞文章的資料集,闡明其結構,解決不一致問題,並揭示隱藏在資料中的故事。 ”

評估待辦事項:資料集概述

首先,我們必須先了解資料集的規模和結構。 BBC 新聞文章資料集包含 2,234 個條目,分佈在五個類別:商業、體育、政治、科技和娛樂。每個條目都有兩個主要特點:

  • 類別:文章的主題或部分。
  • text:文章的完整內容。

為了更清楚地了解我們正在處理的內容,我們將資料載入到 Pandas DataFrame 中,進行快速檢查,並發現:

清理積壓訂單

隨著六三八處理未分類的郵件堆,我們也需要組織我們的資料集。清潔過程涉及幾個關鍵步驟:

  • 刪除重複項
    重複的文章使資料集變得混亂。識別並刪除這些冗餘後。

  • 處理缺失值
    儘管我們的資料集相對乾淨,但我們確保解決了任何潛在的空值,從而在最終資料中不留下任何空白條目。 ”

細分類別

積壓的訂單被清除後,我們分析了文章在類別之間的分佈,以確定主導主題。這是我們的發現:

  • 熱門類別:商業和運動並列佔比最大,每個類別包含 512 篇文章。

  • 較小的類別:娛樂、政治和科技,文章較少,但提供了獨特的見解。

分佈確認資料集是平衡的,使我們能夠專注於更深入的分析,而不必擔心嚴重的類別不平衡。 ”

放大:顯微鏡下的體育文章

就像按目的地對郵件進行分類一樣,我們選擇專注於體育類別以進行更深入的研究。目標是分析文字內容並提取有意義的模式。 ”

  • 標記化與停用詞刪除
    使用 NLTK 庫,我們將文字標記為單字並刪除了常見的停用詞(例如「and」、「the」、「is」)。這使我們能夠專注於對該類別更重要的單字。 ”

  • 詞頻分析
    創建頻率分佈是為了識別體育文章中最常見的術語。不出所料,「比賽」、「團隊」和「遊戲」等詞語佔據主導地位,反映了內容的競爭性質。 ”

視覺化結果:詞雲
為了捕捉體育文章的精髓,我們生成了詞雲。最常用的術語顯得更大,生動地描繪了該類別的核心主題。 ”

Exploratory Data Analysis: Digging Through the Backlog

重點

正如六三八精心分類和交付積壓的郵件一樣,我們的 EDA 流程揭示了 BBC 新聞資料集的結構化且富有洞察力的視圖。

代碼

!pip install tiktoken
!pip install matplotlib
!pip install wordcloud
!pip install nltk
!pip install pandas

import pandas as pd

df = pd.read_csv('/content/bbc.csv', on_bad_lines='skip')  


df.head()

df.info()

df.describe()

label_count = df['category'].value_counts()


len(df['text'])


df.drop_duplicates(inplace=True)

null_values = df.isnull().sum()

df.dropna(inplace=True)

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from wordcloud import WordCloud
from collections import Counter
import matplotlib.pyplot as plt


nltk.download('punkt')
nltk.download('stopwords')
nltk.download('punkt_tab') 


target_label ="sport"
target_df = df[df['category'] == target_label]



target_word = [ word.lower()  for text in target_df['text']
                 for word in word_tokenize(text)
                 if word.isalnum() and word not in stopwords.words('english')
                   ]

target_word_count = Counter(target_word)


word_cloud = WordCloud().generate_from_frequencies(target_word_count)


plt.figure(figsize=(10, 5))
plt.imshow(word_cloud, interpolation='bilinear')
plt.axis('off')
plt.show()

以上是探索性資料分析:挖掘待辦事項的詳細內容。更多資訊請關注PHP中文網其他相關文章!

陳述
本文內容由網友自願投稿,版權歸原作者所有。本站不承擔相應的法律責任。如發現涉嫌抄襲或侵權的內容,請聯絡admin@php.cn
Python vs. C:了解關鍵差異Python vs. C:了解關鍵差異Apr 21, 2025 am 12:18 AM

Python和C 各有優勢,選擇應基於項目需求。 1)Python適合快速開發和數據處理,因其簡潔語法和動態類型。 2)C 適用於高性能和系統編程,因其靜態類型和手動內存管理。

Python vs.C:您的項目選擇哪種語言?Python vs.C:您的項目選擇哪種語言?Apr 21, 2025 am 12:17 AM

選擇Python還是C 取決於項目需求:1)如果需要快速開發、數據處理和原型設計,選擇Python;2)如果需要高性能、低延遲和接近硬件的控制,選擇C 。

達到python目標:每天2小時的力量達到python目標:每天2小時的力量Apr 20, 2025 am 12:21 AM

通過每天投入2小時的Python學習,可以有效提升編程技能。 1.學習新知識:閱讀文檔或觀看教程。 2.實踐:編寫代碼和完成練習。 3.複習:鞏固所學內容。 4.項目實踐:應用所學於實際項目中。這樣的結構化學習計劃能幫助你係統掌握Python並實現職業目標。

最大化2小時:有效的Python學習策略最大化2小時:有效的Python學習策略Apr 20, 2025 am 12:20 AM

在兩小時內高效學習Python的方法包括:1.回顧基礎知識,確保熟悉Python的安裝和基本語法;2.理解Python的核心概念,如變量、列表、函數等;3.通過使用示例掌握基本和高級用法;4.學習常見錯誤與調試技巧;5.應用性能優化與最佳實踐,如使用列表推導式和遵循PEP8風格指南。

在Python和C之間進行選擇:適合您的語言在Python和C之間進行選擇:適合您的語言Apr 20, 2025 am 12:20 AM

Python適合初學者和數據科學,C 適用於系統編程和遊戲開發。 1.Python簡潔易用,適用於數據科學和Web開發。 2.C 提供高性能和控制力,適用於遊戲開發和系統編程。選擇應基於項目需求和個人興趣。

Python與C:編程語言的比較分析Python與C:編程語言的比較分析Apr 20, 2025 am 12:14 AM

Python更適合數據科學和快速開發,C 更適合高性能和系統編程。 1.Python語法簡潔,易於學習,適用於數據處理和科學計算。 2.C 語法複雜,但性能優越,常用於遊戲開發和系統編程。

每天2小時:Python學習的潛力每天2小時:Python學習的潛力Apr 20, 2025 am 12:14 AM

每天投入兩小時學習Python是可行的。 1.學習新知識:用一小時學習新概念,如列表和字典。 2.實踐和練習:用一小時進行編程練習,如編寫小程序。通過合理規劃和堅持不懈,你可以在短時間內掌握Python的核心概念。

Python與C:學習曲線和易用性Python與C:學習曲線和易用性Apr 19, 2025 am 12:20 AM

Python更易學且易用,C 則更強大但複雜。 1.Python語法簡潔,適合初學者,動態類型和自動內存管理使其易用,但可能導致運行時錯誤。 2.C 提供低級控制和高級特性,適合高性能應用,但學習門檻高,需手動管理內存和類型安全。

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序,用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具,輕鬆在任何影片中換臉!

熱工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

SublimeText3 英文版

SublimeText3 英文版

推薦:為Win版本,支援程式碼提示!

mPDF

mPDF

mPDF是一個PHP庫,可以從UTF-8編碼的HTML產生PDF檔案。原作者Ian Back編寫mPDF以從他的網站上「即時」輸出PDF文件,並處理不同的語言。與原始腳本如HTML2FPDF相比,它的速度較慢,並且在使用Unicode字體時產生的檔案較大,但支援CSS樣式等,並進行了大量增強。支援幾乎所有語言,包括RTL(阿拉伯語和希伯來語)和CJK(中日韓)。支援嵌套的區塊級元素(如P、DIV),

DVWA

DVWA

Damn Vulnerable Web App (DVWA) 是一個PHP/MySQL的Web應用程序,非常容易受到攻擊。它的主要目標是成為安全專業人員在合法環境中測試自己的技能和工具的輔助工具,幫助Web開發人員更好地理解保護網路應用程式的過程,並幫助教師/學生在課堂環境中教授/學習Web應用程式安全性。 DVWA的目標是透過簡單直接的介面練習一些最常見的Web漏洞,難度各不相同。請注意,該軟體中

MinGW - Minimalist GNU for Windows

MinGW - Minimalist GNU for Windows

這個專案正在遷移到osdn.net/projects/mingw的過程中,你可以繼續在那裡關注我們。 MinGW:GNU編譯器集合(GCC)的本機Windows移植版本,可自由分發的導入函式庫和用於建置本機Windows應用程式的頭檔;包括對MSVC執行時間的擴展,以支援C99功能。 MinGW的所有軟體都可以在64位元Windows平台上運作。