格式化和清洗資料的 Python 工具包

世界很雜亂，來自現實世界的數據也一樣雜亂。近來一份調查報告顯示資料科學家60%的時間都花在整理資料上。不幸的是，57%的人認為這是工作中最頭痛的部分。

整理資料非常消耗時間，不過也有許多工具被開發出來讓這關鍵的一步變得稍微可以忍受。 Python 社群提供了許多函式庫讓資料變得清晰有序——從格式化 DataFrame 到匿名化資料集。

告訴我們你覺得有用的函式庫－我們一直致力於優化放入Mode Python Notebooks中的函式庫。

Dora

Dora是為探索性分析而設計的。特別是自動化分析中最痛苦的部分——例如特徵選取和提取，視覺化，還有你能猜到的——資料清潔。資料清潔相關的函數可以：

讀取含有缺失資料和沒有標準化的資料表

給缺失資料賦值

標準化變數

開發者:Nathan Epstein
更多資料:https://github.com/ NathanEpstein/Dora

datacleaner

號外號外，datacleaner 清洗你的資料－不過只有在你的資料是pandas DataFrame 實例的時候。開發者Randy Olson說：「datacleaner 不是魔法，它無法神奇的解析你沒有結構的數據。」

它可以刪除含有缺失數據的行，或者利用列的眾數或中位數填充缺失數據，將非數值型變數轉換為數值型變數。這個函式庫很新，但考慮到DataFrame 是 Python 資料分析的基本資料結構，這個函式庫還是值得試試看的。

開發者:Randy Olson
更多資料:https://github.com/rhiever/datacleaner

PrettyPandas

DataFrame 很強大，但是它們無法製作出你可以直接給你的老闆看的表。 PrettyPandas 利用了pandas 風格 API 將 DataFrame 轉換成可以示範的表格。產生資料摘要，設定風格，調整資料格式，列和行。附加福利：強健，可讀性高的使用文件。

開發者:Henry Hammond
更多資料:https://github.com/HHammond/PrettyPandas

tabulate

tabulate 可以讓你只用一個函數呼叫產生小型耐看的表格。非常適合透過調整小數點列對齊，資料格式，表頭和其他讓表格可讀性更高。

它有一個超酷的功能是可以讓表格輸出成不同的格式：HTML, PHP 或 Markdown Extra，這樣你可以用其他的工具或語言繼續在使用你已經表格化的資料。

開發者: Sergey Astanin
更多資料:https://pypi.python.org/pypi/tabulate

scrubadub

健康領域和金融領域的資料科學家常常需要匿名化資料集。 scrubadub可以將 私人資訊 (PII) 從文字從文字移除。例如：

姓名(名詞)

Email地址

網絡鏈接

電話號碼

用戶名/密碼組

Skype 用戶名

社會保險號

社會保險號碼

自訂 scrubadub 的行為，例如定義新的PII 或保留特定的PII。

開發者:Datascope Analytics
更多資料:http://scrubadub.readthedocs.io/en/stable/index.html

Arrow

讓我們實話實說：在Python 裡處理日期和時間是很痛苦的。當地時區無法被自動辨識。得用好幾行不那麼讓人舒服的程式碼來轉換時區和時間戳記。

Arrow 旨於解決這個問題並且填補這個功能空白，從而讓你可以用更少的程式碼和引入函式庫來完成對日期和時間的操作。跟 Python 的標準時間庫不同的是，Arrow 預設會自動辨識時區和 UTC。你可以只用一行程式碼來完成時區轉換或分析時間字串。

開發者:Chris Smith
更多資料:http://arrow.readthedocs.io/en/latest/

Beautifier

Beautifier 的任務很簡單：清洗 URL 和 Email 地址並讓它們看起來更漂亮。你可以透過網域名稱和使用者名稱來解析 email ； 透過網域名稱和參數來解析URL。 (UTM 或標記）

開發者:Sachin Philip Mathew
更多資料:https://github.com/sachinvettithanam/beautifier

ftfy

ftfy (fixes text for you) takes in code , it fixes all the junk characters. â€œquotesâ€x9d becomes "quotes"; ü becomes ü; 

ftfy (fixes text for you)將雜亂的Unicode轉化為可識別的Unicode。簡單的說，它處理所有的垃圾字元。 “quotesâ€x9d 變成 "quotes"; ü 變成 ü; 

開發者:Luminoso
更多資料:https://github.com/LuminosoInsight/python-ftf🜟