参考:
有一个1G大小的一个文件,内存限制大小是10M,有序返回频数最高的50个词,该怎么做?
网上有很多该问题的解决方案,都是用分而治之的思想,提到了遍历整个文件。
那么我的问题是:
如果单纯地逐行读取大文件,算是把1G文件全都加载进内存吗?
或者说是读取大于内存的文件应该怎么读?
伊谢尔伦2017-04-18 10:57:16
try (BufferedReader in = new BufferedReader(new FileReader(file))) {
String line;
while ((line = in.readLine()) != null) {
// parse line
}
}
file再大,只要每一行的長度有限,整個檔案讀完會需要不少的時間,但不會佔用太大的記憶體。
怪我咯2017-04-18 10:57:16
內存就好比草稿紙,寫滿一篇就翻篇。 用過、沒用的數據就丟掉了。
簡單舉例,創建一個變數 buff,設定好它的大小,打開檔案流往裡填,填滿以後查你要的內容,查到就統計到另外一個變數裡計數。 然後清空buff,繼續之前讀取的位置再次裝載內容… 直到讀取完畢,統計也就完成了。