本文將使用 php 和 linux sort 指令兩種方法,分別實作檔案內容去重及排序,並提供完成示範程式碼。
寫入1000000個數字,每行一個數字
<?php $file = 'user_id.txt'; $num = 1000000; $tmp = ''; for($i=0; $i<$num; $i++){ $tmp .= mt_rand(0,999999).PHP_EOL; if($i>0 && $i%1000==0 || $i==$num-1){ file_put_contents($file, $tmp, FILE_APPEND); $tmp = ''; } }?>
查看檔案行數
wc -l user_id.txt 1000000 user_id.txt
因要處理1000000行數據,因此將php可使用的記憶體設定為256m ,防止執行過程中記憶體不足。
<?php/** * 文件内容去重及排序 * @param String $source 源文件 * @param String $dest 目标文件 * @param String $order 排序顺序 * @param Int $sort_flag 排序类型 */function fileUniSort($source, $dest, $order='asc', $sort_flag=SORT_NUMERIC){ // 读取文件内容 $file_data = file_get_contents($source); // 文件内容按行分割为数组 $file_data_arr = explode(PHP_EOL, $file_data); // 去除空行数据 $file_data_arr = array_filter($file_data_arr, 'filter'); // 去重 $file_data_arr = array_flip($file_data_arr); $file_data_arr = array_flip($file_data_arr); // 排序 if($order=='asc'){ sort($file_data_arr, $sort_flag); }else{ rsort($file_data_arr, $sort_flag); } // 数组合拼为文件内容 $file_data = implode(PHP_EOL, $file_data_arr).PHP_EOL; // 写入文件 file_put_contents($dest, $file_data, true); }// 过滤空行function filter($data){ if(!$data && $data!=='0'){ return false; } return true; }// 设置可使用内存为256mini_set('memory_limit', '256m');$source = 'user_id.txt';$dest = 'php_sort_user_id.txt'; fileUniSort($source, $dest);?>
查看去重及排序後的檔案
wc -l php_sort_user_id.txt 632042 php_sort_user_id.txt head php_sort_user_id.txt 012357891112...
linux sort指令用於文字檔案依行排序
格式:
sort [OPTION]... [FILE]...
參數說明:
-u 去重
-n 數字排序類型
-r 降序
#-o 輸出檔案的路徑
使用sort執行去重及排序
sort -uno linux_sort_user_id.txt user_id.txt
查看去重及排序後的檔案
wc -l linux_sort_user_id.txt 632042 linux_sort_user_id.txt head linux_sort_user_id.txt 012357891112...
總結:使用php或linux sort指令都可以實作檔案去重及排序,執行時間相差不大,但建議對於檔案類別的操作,直接使用系統命令實作更為簡單。
本文將使用php 和linux sort 指令兩種方法,分別實作檔案內容去重及排序,並提供完成示範程式碼。
以上是php實作檔案內容去重及排序的範例程式碼分享的詳細內容。更多資訊請關注PHP中文網其他相關文章!