下面小編就為大家帶來一篇完美解決java讀取大檔案記憶體溢出的問題。小編覺得蠻不錯的,現在就分享給大家,也給大家做個參考。一起跟著小編過來看看吧
1. 傳統方式:在記憶體中讀取檔案內容
讀取檔案行的標準方式是在記憶體中讀取,Guava 和Apache Commons IO都提供瞭如下所示快速讀取文件行的方法:
Files.readLines(new File(path), Charsets.UTF_8); FileUtils.readLines(new File(path));
實際上是使用BufferedReader或者其子類別LineNumberReader來讀取的。
傳統方式的問題: 是檔案的所有行都被存放在記憶體中,當檔案夠大時很快就會導致程式拋出OutOfMemoryError 異常。
問題思考:我們通常不需要把檔案的所有行一次性放入記憶體中,相反,我們只需要遍歷檔案的每一行,然後做相應的處理,處理完之後把它丟掉。所以我們可 以透過行迭代方式來讀取,而不是把所有行都放在記憶體中。
2. 大檔案讀取處理方式
#不重複讀取與不耗盡記憶體的情況下處理大檔案:
(1)檔案流方式:使用java.util.Scanner類別掃描檔案的內容,一行一行連續讀取
FileInputStream inputStream = null; Scanner sc = null; try { inputStream = new FileInputStream(path); sc = new Scanner(inputStream, UTF-8); while (sc.hasNextLine()) { String line = sc.nextLine(); // System.out.println(line); } }catch(IOException e){ logger.error(e); }finally { if (inputStream != null) { inputStream.close(); } if (sc != null) { sc.close(); } }
該方案將會遍歷檔案中的所有行,允許對每一行進行處理,而不保持對它的參考。 總之沒有把它們存放在記憶體中!
(2)Apache Commons IO流:使用Commons IO庫實現,利用該庫提供的自訂LineIterator
LineIterator it = FileUtils.lineIterator(theFile, UTF-8); try { while (it.hasNext()) { String line = it.nextLine(); // do something with line } } finally { LineIterator.closeQuietly(it); }
此方案由於整個檔案不是全部存放在記憶體中,這也就導致相當保守的記憶體消耗。
以上是Java讀取大檔案記憶體溢位的解決辦法的詳細內容。更多資訊請關注PHP中文網其他相關文章!