詳解文件內容去重及排序 的相關內容

本文將使用 php 和 linux sort 指令兩種方法，分別實作檔案內容去重及排序，並提供完成示範程式碼。

1.建立測試檔案

寫入1000000個數字，每行一個數字

<?php$file = &#39;user_id.txt&#39;;$num = 1000000;$tmp = &#39;&#39;;for($i=0; $i<$num; $i++){    $tmp .= mt_rand(0,999999).PHP_EOL;    if($i>0 && $i%1000==0 || $i==$num-1){
        file_put_contents($file, $tmp, FILE_APPEND);        $tmp = &#39;&#39;;
    }
}?>

查看檔案行數

wc -l user_id.txt
 1000000 user_id.txt

2.php實作去重及排序

因要處理1000000行數據，因此將php可使用的記憶體設定為256m，防止執行過程中記憶體不足。

<?php/**
 * 文件内容去重及排序
 * @param String $source    源文件
 * @param String $dest      目标文件
 * @param String $order     排序顺序
 * @param Int    $sort_flag 排序类型
 */function fileUniSort($source, $dest, $order=&#39;asc&#39;, $sort_flag=SORT_NUMERIC){

    // 读取文件内容
    $file_data = file_get_contents($source);    // 文件内容按行分割为数组
    $file_data_arr = explode(PHP_EOL, $file_data);    // 去除空行数据
    $file_data_arr = array_filter($file_data_arr, &#39;filter&#39;);    // 去重
    $file_data_arr = array_flip($file_data_arr);    $file_data_arr = array_flip($file_data_arr);    // 排序
    if($order==&#39;asc&#39;){
        sort($file_data_arr, $sort_flag);
    }else{
        rsort($file_data_arr, $sort_flag);
    }    // 数组合拼为文件内容
    $file_data = implode(PHP_EOL, $file_data_arr).PHP_EOL;    // 写入文件
    file_put_contents($dest, $file_data, true);

}// 过滤空行function filter($data){
    if(!$data && $data!==&#39;0&#39;){        return false;
    }    return true;
}// 设置可使用内存为256mini_set(&#39;memory_limit&#39;, &#39;256m&#39;);$source = &#39;user_id.txt&#39;;$dest = &#39;php_sort_user_id.txt&#39;;

fileUniSort($source, $dest);?>

查看去重及排序後的檔案

wc -l php_sort_user_id.txt 
  632042 php_sort_user_id.txt

head php_sort_user_id.txt 
012357891112...

3.linux sort指令實作去重及排序

linux sort指令用於文字檔案依行排序

格式：

sort [OPTION]... [FILE]...

 
參數說明：

-u 去重
-n 數字排序類型
-r 降序
#-o 輸出檔案的路徑
 
使用sort執行去重及排序

sort -uno linux_sort_user_id.txt user_id.txt

 
檢視去重及排序後的檔案

wc -l linux_sort_user_id.txt 
  632042 linux_sort_user_id.txt

head linux_sort_user_id.txt 
012357891112...

 
總結：使用php或linux sort指令都可以實作檔案去重及排序，執行時間相差不大，但建議對於檔案類別的操作，直接使用系統命令實作更為簡單。

本文將使用 php 和 linux sort 指令兩種方法，分別實作檔案內容去重及排序，並提供完成示範程式碼。 

本篇說明了文件內容去重及排序 的相關內容，更多內容請關注php中文網。

相關建議：

 解讀mysql大小寫敏感設定問題

如何使用php合併陣列並保留鍵值的方法

如何利用phpcurl實作多進程下載檔案類別

#

以上是詳解文件內容去重及排序 的相關內容的詳細內容。更多資訊請關注PHP中文網其他相關文章！