cari
Rumahpembangunan bahagian belakangTutorial PythonAnalisis Data Penerokaan: Menggali Melalui Tunggakan

Dalam kisah inspirasi Six Triple Eight, langkah pertama misi mereka adalah untuk menilai dan mengatur banyak tunggakan mel yang tidak dihantar. Tindanan ini, menjulang ke siling, perlu dikategorikan dan difahami sebelum sebarang kemajuan boleh dibuat. Dalam dunia pembelajaran mesin moden, fasa awal ini serupa dengan Analisis Data Penerokaan (EDA).

Untuk siri ini, kami akan meniru proses ini menggunakan set data CSV, di mana setiap baris mengandungi kategori (mis., "teknologi," "perniagaan") dan teks yang dikaitkan dengannya. Kategori berfungsi sebagai label, menunjukkan di mana setiap bahagian teks berada. Alat seperti Pandas untuk manipulasi data, Matplotlib untuk visualisasi, WordCloud untuk cerapan teks, Tiktoken untuk analisis token dan NLTK untuk pemprosesan teks akan membantu kami memahami set data kami.

Dalam langkah ini, kami akan:

  1. Muatkan data dan periksa strukturnya.

  2. Kenal pasti nilai yang hilang atau tidak konsisten yang boleh menghalang prestasi model kami.

  3. Teroka pengedaran kategori untuk memahami keseimbangan antara label.

  4. Visualkan kekerapan perkataan dalam data teks untuk mendedahkan corak.

  5. Analisis kiraan token menggunakan Tiktoken untuk mengukur kerumitan.

Fasa EDA ini mencerminkan usaha pengisihan teliti Six Triple Eight, yang perlu memahami keadaan huru-hara sebelum mereka dapat mengatur. Dengan memahami set data kami secara terperinci, kami meletakkan asas untuk membina LLM diperhalusi yang mampu mengkategorikan dan mentafsir teks dengan tepat.

pengenalan

Analisis Data Penerokaan (EDA) adalah serupa dengan menangani tunggakan data yang menakutkan—bertindan tinggi, tidak teratur dan penuh dengan potensi yang belum diterokai. Sama seperti unit Six Triple Eight yang menangani tunggakan mel yang tidak dihantar semasa Perang Dunia II, EDA ialah cara kami menyaring kekacauan untuk mendedahkan cerapan, mengenal pasti arah aliran dan bersedia untuk peringkat analisis data seterusnya.

Dalam penerokaan ini, kami akan menyelami set data artikel berita BBC, membongkar strukturnya, menangani ketidakkonsistenan dan mendedahkan cerita yang terkubur dalam data."

Menilai Backlog: Gambaran Keseluruhan Set Data

Untuk bermula, kami mesti memahami skala dan struktur set data kami terlebih dahulu. Set data artikel berita BBC terdiri daripada 2,234 entri yang diedarkan merentas lima kategori: perniagaan, sukan, politik, teknologi dan hiburan. Setiap entri mempunyai dua ciri utama:

  • kategori: Topik atau bahagian artikel.
  • teks: Kandungan penuh artikel.

Untuk mendapatkan pandangan yang lebih jelas tentang perkara yang sedang kami usahakan, kami memuatkan data ke dalam Pandas DataFrame, melakukan pemeriksaan pantas dan menemui:

Membersihkan Backlog

Memandangkan Six Triple Eight menangani longgokan mel yang tidak diisih, kami juga perlu menyusun set data kami. Proses pembersihan melibatkan beberapa langkah utama:

  • Mengalih Keluar Pendua
    Artikel pendua mengeruhkan set data. Selepas mengenal pasti dan mengalih keluar lebihan ini.

  • Mengendalikan Nilai Yang Hilang
    Walaupun set data kami agak bersih, kami memastikan bahawa sebarang nilai null berpotensi ditangani, tidak meninggalkan entri kosong dalam data akhir."

Memecahkan Kategori

Dengan tunggakan dihapuskan, kami menganalisis pengedaran artikel merentas kategori untuk mengenal pasti tema dominan. Inilah yang kami temui:

  • Kategori Teratas: Perniagaan dan sukan terikat untuk bahagian terbesar, setiap satu mengandungi 512 artikel.

  • Kategori Lebih Kecil: Hiburan, politik dan teknologi mempunyai lebih sedikit artikel tetapi menawarkan cerapan unik.

Pengagihan mengesahkan bahawa set data adalah seimbang, membolehkan kami menumpukan pada analisis yang lebih mendalam tanpa perlu risau tentang ketidakseimbangan kategori yang ketara."

Zum Masuk: Artikel Sukan Di Bawah Mikroskop

Sama seperti mengisih mel mengikut destinasinya, kami memilih untuk menumpukan pada kategori sukan untuk menyelam lebih mendalam. Matlamatnya adalah untuk menganalisis kandungan teks dan mengekstrak corak yang bermakna."

  • Penyingkiran Tokenisasi dan Kata Henti
    Menggunakan pustaka NLTK, kami menandakan teks menjadi perkataan individu dan mengalih keluar kata henti biasa (cth., 'dan,' 'the,' 'is'). Ini membolehkan kami menumpukan pada perkataan yang lebih penting kepada kategori."

  • Analisis Kekerapan Perkataan
    Taburan kekerapan telah dibuat untuk mengenal pasti istilah yang paling biasa dalam artikel sukan. Tidak mengejutkan, perkataan seperti 'perlawanan,' 'pasukan' dan 'permainan' didominasi, mencerminkan sifat daya saing kandungan."

Membayangkan Penemuan: Awan Kata
Untuk menangkap intipati artikel sukan, kami menghasilkan awan perkataan. Istilah yang paling kerap digunakan kelihatan lebih besar, melukiskan gambaran jelas tentang tema teras kategori."

Exploratory Data Analysis: Digging Through the Backlog

Pengambilan Utama

Sama seperti Six Triple Eight menyusun dan menghantar mel tertunggak dengan teliti, proses EDA kami telah mendedahkan pandangan tersusun dan berwawasan bagi set data berita BBC.

Kod

!pip install tiktoken
!pip install matplotlib
!pip install wordcloud
!pip install nltk
!pip install pandas

import pandas as pd

df = pd.read_csv('/content/bbc.csv', on_bad_lines='skip')  


df.head()

df.info()

df.describe()

label_count = df['category'].value_counts()


len(df['text'])


df.drop_duplicates(inplace=True)

null_values = df.isnull().sum()

df.dropna(inplace=True)

import nltk
from nltk.corpus import stopwords
from nltk.tokenize import word_tokenize
from wordcloud import WordCloud
from collections import Counter
import matplotlib.pyplot as plt


nltk.download('punkt')
nltk.download('stopwords')
nltk.download('punkt_tab') 


target_label ="sport"
target_df = df[df['category'] == target_label]



target_word = [ word.lower()  for text in target_df['text']
                 for word in word_tokenize(text)
                 if word.isalnum() and word not in stopwords.words('english')
                   ]

target_word_count = Counter(target_word)


word_cloud = WordCloud().generate_from_frequencies(target_word_count)


plt.figure(figsize=(10, 5))
plt.imshow(word_cloud, interpolation='bilinear')
plt.axis('off')
plt.show()

Atas ialah kandungan terperinci Analisis Data Penerokaan: Menggali Melalui Tunggakan. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!

Kenyataan
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn
Bagaimana saya menggunakan sup yang indah untuk menghuraikan html?Bagaimana saya menggunakan sup yang indah untuk menghuraikan html?Mar 10, 2025 pm 06:54 PM

Artikel ini menerangkan cara menggunakan sup yang indah, perpustakaan python, untuk menghuraikan html. Ia memperincikan kaedah biasa seperti mencari (), find_all (), pilih (), dan get_text () untuk pengekstrakan data, pengendalian struktur dan kesilapan HTML yang pelbagai, dan alternatif (sel

Bagaimana untuk menyelesaikan masalah kebenaran yang dihadapi semasa melihat versi Python di Terminal Linux?Bagaimana untuk menyelesaikan masalah kebenaran yang dihadapi semasa melihat versi Python di Terminal Linux?Apr 01, 2025 pm 05:09 PM

Penyelesaian kepada Isu Kebenaran Semasa Melihat Versi Python di Terminal Linux Apabila anda cuba melihat versi Python di Terminal Linux, masukkan Python ...

Modul Matematik dalam Python: StatistikModul Matematik dalam Python: StatistikMar 09, 2025 am 11:40 AM

Modul Statistik Python menyediakan keupayaan analisis statistik data yang kuat untuk membantu kami dengan cepat memahami ciri -ciri keseluruhan data, seperti biostatistik dan analisis perniagaan. Daripada melihat titik data satu demi satu, cuma melihat statistik seperti min atau varians untuk menemui trend dan ciri dalam data asal yang mungkin diabaikan, dan membandingkan dataset besar dengan lebih mudah dan berkesan. Tutorial ini akan menjelaskan cara mengira min dan mengukur tahap penyebaran dataset. Kecuali dinyatakan sebaliknya, semua fungsi dalam modul ini menyokong pengiraan fungsi min () dan bukan hanya menjumlahkan purata. Nombor titik terapung juga boleh digunakan. Import secara rawak Statistik import dari fracti

Serialization dan deserialisasi objek python: Bahagian 1Serialization dan deserialisasi objek python: Bahagian 1Mar 08, 2025 am 09:39 AM

Serialization dan deserialization objek Python adalah aspek utama dari mana-mana program bukan remeh. Jika anda menyimpan sesuatu ke fail python, anda melakukan siri objek dan deserialization jika anda membaca fail konfigurasi, atau jika anda menjawab permintaan HTTP. Dalam erti kata, siri dan deserialization adalah perkara yang paling membosankan di dunia. Siapa yang peduli dengan semua format dan protokol ini? Anda mahu berterusan atau mengalirkan beberapa objek python dan mengambilnya sepenuhnya pada masa yang akan datang. Ini adalah cara yang baik untuk melihat dunia pada tahap konseptual. Walau bagaimanapun, pada tahap praktikal, skim siri, format atau protokol yang anda pilih boleh menentukan kelajuan, keselamatan, kebebasan status penyelenggaraan, dan aspek lain dari program

Bagaimana untuk melakukan pembelajaran mendalam dengan Tensorflow atau Pytorch?Bagaimana untuk melakukan pembelajaran mendalam dengan Tensorflow atau Pytorch?Mar 10, 2025 pm 06:52 PM

Artikel ini membandingkan tensorflow dan pytorch untuk pembelajaran mendalam. Ia memperincikan langkah -langkah yang terlibat: penyediaan data, bangunan model, latihan, penilaian, dan penempatan. Perbezaan utama antara rangka kerja, terutamanya mengenai grap pengiraan

Mengikis halaman web dalam python dengan sup yang indah: carian dan pengubahsuaian domMengikis halaman web dalam python dengan sup yang indah: carian dan pengubahsuaian domMar 08, 2025 am 10:36 AM

Tutorial ini dibina pada pengenalan sebelumnya kepada sup yang indah, memberi tumpuan kepada manipulasi DOM di luar navigasi pokok mudah. Kami akan meneroka kaedah dan teknik carian yang cekap untuk mengubahsuai struktur HTML. Satu kaedah carian dom biasa ialah Ex

Apakah beberapa perpustakaan Python yang popular dan kegunaan mereka?Apakah beberapa perpustakaan Python yang popular dan kegunaan mereka?Mar 21, 2025 pm 06:46 PM

Artikel ini membincangkan perpustakaan Python yang popular seperti Numpy, Pandas, Matplotlib, Scikit-Learn, Tensorflow, Django, Flask, dan Permintaan, memperincikan kegunaan mereka dalam pengkomputeran saintifik, analisis data, visualisasi, pembelajaran mesin, pembangunan web, dan h

Bagaimana untuk membuat antara muka baris arahan (CLI) dengan python?Bagaimana untuk membuat antara muka baris arahan (CLI) dengan python?Mar 10, 2025 pm 06:48 PM

Artikel ini membimbing pemaju Python mengenai bangunan baris baris komando (CLI). Butirannya menggunakan perpustakaan seperti Typer, Klik, dan ArgParse, menekankan pengendalian input/output, dan mempromosikan corak reka bentuk mesra pengguna untuk kebolehgunaan CLI yang lebih baik.

See all articles

Alat AI Hot

Undresser.AI Undress

Undresser.AI Undress

Apl berkuasa AI untuk mencipta foto bogel yang realistik

AI Clothes Remover

AI Clothes Remover

Alat AI dalam talian untuk mengeluarkan pakaian daripada foto.

Undress AI Tool

Undress AI Tool

Gambar buka pakaian secara percuma

Clothoff.io

Clothoff.io

Penyingkiran pakaian AI

AI Hentai Generator

AI Hentai Generator

Menjana ai hentai secara percuma.

Artikel Panas

R.E.P.O. Kristal tenaga dijelaskan dan apa yang mereka lakukan (kristal kuning)
2 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Tetapan grafik terbaik
2 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌
R.E.P.O. Cara Memperbaiki Audio Jika anda tidak dapat mendengar sesiapa
3 minggu yang laluBy尊渡假赌尊渡假赌尊渡假赌

Alat panas

Dreamweaver CS6

Dreamweaver CS6

Alat pembangunan web visual

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Penyesuai Pelayan SAP NetWeaver untuk Eclipse

Integrasikan Eclipse dengan pelayan aplikasi SAP NetWeaver.

mPDF

mPDF

mPDF ialah perpustakaan PHP yang boleh menjana fail PDF daripada HTML yang dikodkan UTF-8. Pengarang asal, Ian Back, menulis mPDF untuk mengeluarkan fail PDF "dengan cepat" dari tapak webnya dan mengendalikan bahasa yang berbeza. Ia lebih perlahan dan menghasilkan fail yang lebih besar apabila menggunakan fon Unicode daripada skrip asal seperti HTML2FPDF, tetapi menyokong gaya CSS dsb. dan mempunyai banyak peningkatan. Menyokong hampir semua bahasa, termasuk RTL (Arab dan Ibrani) dan CJK (Cina, Jepun dan Korea). Menyokong elemen peringkat blok bersarang (seperti P, DIV),

PhpStorm versi Mac

PhpStorm versi Mac

Alat pembangunan bersepadu PHP profesional terkini (2018.2.1).

Dreamweaver Mac版

Dreamweaver Mac版

Alat pembangunan web visual