Linux下導出資料庫檔案進行統計+去重

本文主要講述如何在Linux中實現資料庫檔案統計數據以及去重，有興趣的朋友可以來學習一下！

1. 把資料庫表匯出到文字檔案

mysql -h主機-P埠-u使用者-p密碼-A 資料庫-e "select email,domain,time from ent_login_01_000" > ent_login_01_000.txt

總共要統計最近3個月的登陸用戶, 按月份分錶,並且每月有128張表, 全部導出到文件中, 總共有80G

#2. grep 查出所有的2018-12 2019-01 2019-02

find ./ -type f -name "ent_login_*" | xargs cat |grep "2018-12" > 2018-12.txt
find ./ -type f -name "ent_login_*" |xargs cat |grep "2019-01" > 2019-01.txt# #find ./ -type f -name "ent_login_*" |xargs cat |grep "2019-02" > 2019-02.且

3.使用awk  sort 和uniq 只取出前面的使用者,txt先去重複行

cat 2019-02.txt|awk -F " " '{print $1"@"$2}'|sort -T /mnt/public/phpdev/187_test/tmp/|uniq > 2019-02-awk-sort-uniq.txt

cat 2019-01.txt|awk -F " " '{print $1"@"$2}'|sort -T /mnt/public/ phpdev/187_test/tmp/|uniq > 2019-01-awk-sort-uniq.txt

cat 2018-12.txt|awk -F " " '{print $1"@"$2}'| sort -T /mnt/public/phpdev/187_test/tmp/|uniq > 2018-12-awk-sort-uniq.txt

uniq 只移除連續的重複行, sort可以把行排成連續的-T是因為預設佔用/tmp的臨時目錄, 根目錄我的不夠用了,因此改一下臨時目錄

這幾個檔案佔用了100多G

 想學習更多關於Linux教程，請關注PHP中文網的

Linux影片教學！

以上是Linux下導出資料庫檔案進行統計+去重的詳細內容。更多資訊請關注PHP中文網其他相關文章！