Jupyter Notebooks sebagai Penyelesaian Analitis Hujung-ke-Hujung

pengenalan

Awak bangun. Anda melihat senarai tugasan anda, dan terdapat tugas daripada ahli pasukan. Mereka mahu anda melakukan beberapa jenis analisis dan menghasilkan laporan. Permintaan itu sendiri agak kompleks, bermakna anda mungkin perlu memecahkannya menggunakan pernyataan masalah, menarik data daripada sumber data, menerokainya, mengumpulkan cerapan anda dan kemudian menceritakan penemuan anda kepada ahli pasukan.

Begini cara menyelesaikan masalah ini:

• Bina pernyataan masalah dalam platform penjejakan tugas (cth Trello, Jira)
• Tarik data daripada sumber data (cth pangkalan data SQL, menggunakan antara muka seperti SSMS, Power Query)
• Lakukan analisis data penerokaan dan transformasi kompleks dalam alat analisis (Python, R, Excel)
• Kenal pasti cerapan dan kemudian tunjukkannya dalam cara yang mudah dihadam kepada muggle (powerpoint, atau jika anda pedas, alat visualisasi seperti Tableau atau Power BI)

Kedengarannya seperti hari standard dalam kehidupan profesional data, bukan? Walau bagaimanapun, saya tidak tahu tentang anda, tetapi mengalihkan data merentasi banyak alatan itu boleh menjadi agak mengelirukan. Ia menjadikan aliran kerja yang sangat tidak cekap. Tetapi bagaimana jika saya memberitahu anda ada cara yang lebih baik? Bahawa anda boleh menyediakan penyataan masalah anda, menulis pertanyaan SQL anda, melakukan analisis anda DAN membentangkan penemuan anda semua di satu tempat? Jika anda menggunakan data dan Python, anda mungkin sudah biasa dengan Buku Nota Jupyter sebagai alat yang sangat baik untuk analitik adhoc. Persekitaran interaktif Notebook membolehkan analisis berurutan dan bercerita. Tetapi kecantikan Notebook tidak hanya berakhir pada perkahwinannya dengan IPython. Buku Nota Jupyter pada asasnya dibina menggunakan HTML, CSS dan JS; yang bermaksud bahawa kita boleh menggunakan teknologi tersebut untuk mengembangkan cpabiliti Buku Nota. Dalam artikel ini, saya akan menunjukkan kepada anda cara kami boleh memanfaatkan antara muka web Jupyter Notebook dan pustaka data kaya Python untuk membina penyelesaian pelaporan hujung ke hujung.

Untuk mengikuti, anda memerlukan perisian dan/atau pakej berikut untuk dipasang pada sistem anda:

SQL Server: Ini adalah dialek SQL yang akan kami berinteraksi untuk pengekstrakan data kami
Pangkalan Data Aventure Works: Ini ialah koleksi pangkalan data yang akan kami tanyakan kepada data kami. AW db biasanya disertakan dengan pemasangan SQL Server secara lalai. Tetapi jika tidak, klik pada pautan dan ikut arahan tentang cara memuatkannya ke dalam pemasangan SQL Server anda.
Python dan Jupyter: Cara paling mudah untuk memasang kedua-dua Python dan Jupyter pada masa yang sama adalah dengan menggunakan pengedaran anaconda. Jika anda sudah mempunyai Python tetapi hanya mahu memasang Jupyter, gunakan pautan ini.
Perpustakaan Python:

• pyodbc
• panda
• sqlalchemy
• plot
• mlxtend
• rangkaianx

Sekarang kita telah berjaya mengatasinya, mari kita selami terus ke dalam Buku Nota Jupyter kami. Anda boleh menemuinya dibenamkan di bawah:

NB: Benam di atas adalah daripada repo github, yang anda boleh klon di sini. Walau bagaimanapun, kerana ia dihoskan pada github, semua interaktiviti JS dilumpuhkan, jadi "Butang Togol" tidak akan dipaparkan. Jika anda mengklon repo ke mesin anda dan menjalankan buku nota secara setempat, walau bagaimanapun, anda akan melihat bahawa butang akan kelihatan seperti ini:

Dan dengan mengklik "Butang Togol", sel input disembunyikan dan anda dibiarkan dengan sesuatu seperti ini:

Dan itu sahaja. Ringkasnya, inilah yang kami dapat lakukan dalam satu persekitaran (Buku Nota):

takrifkan Pernyataan Masalah dan kembangkan objektif
sambung ke dan tanya data terus daripada pangkalan data SQL
lakukan analisis kami
visualisasi plot
formatkan bahagian, reka letak dan hasil kami menggunakan markdown untuk menceritakan kisah dan menjadikan laporan kami boleh dibaca oleh khalayak bukan teknikal
menyediakan fungsi yang menyembunyikan input teknikal kami, hanya meninggalkan cerita dan pandangan kami

Aliran kerja analitik hujung ke hujung yang lengkap, semuanya dalam satu persekitaran. Langkah seterusnya ialah membina rangka kerja, teknologi dan/atau saluran paip yang membolehkan kami berkongsi laporan kami dengan pihak berkepentingan dengan mudah. Sekiranya artikel ini mendapat perhatian yang mencukupi, saya akan menulis mengenainya seterusnya. ?

Atas ialah kandungan terperinci Jupyter Notebooks sebagai Penyelesaian Analitis Hujung-ke-Hujung. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!