Bagaimana untuk menyelesaikan pengecualian membaca fail besar Java

Kaedah untuk menyelesaikan pengecualian pembacaan fail besar Java: 1. Gunakan pemprosesan penstriman; 3. Gunakan bacaan blok; 5. Laraskan saiz timbunan JVM; . Optimumkan kod dan struktur data 8. Gunakan alat dan perpustakaan luaran; Pengenalan terperinci: 1. Menggunakan pemprosesan penstriman, Java8 memperkenalkan konsep pemprosesan penstriman, membolehkan anda memproses data secara deklaratif, dsb.

Sistem pengendalian tutorial ini: sistem Windows 10, komputer DELL G3.

Apabila memproses fail besar dalam Java, anda mungkin menghadapi pengecualian OutOfMemoryError kerana memuatkan keseluruhan fail besar ke dalam memori sekaligus boleh menyebabkan ingatan tidak mencukupi. Untuk menyelesaikan masalah ini, kaedah berikut boleh digunakan:

1 Gunakan Pemprosesan Strim: Java 8 memperkenalkan konsep pemprosesan aliran, membolehkan anda memproses data secara deklaratif. Untuk fail besar, anda boleh menggunakan penstriman untuk membaca fail baris demi baris atau blok demi blok, dan bukannya memuatkan keseluruhan fail sekaligus. Sebagai contoh, anda boleh menggunakan kelas BufferedReader Java untuk membaca fail baris demi baris.

try (BufferedReader br = new BufferedReader(new FileReader("largefile.txt"))) {  
    String line;  
    while ((line = br.readLine()) != null) {  
        // 处理每一行数据  
    }  
} catch (IOException e) {  
    e.printStackTrace();  
}

2. Gunakan MappedByteBuffer: MappedByteBuffer ialah kelas dalam Java NIO yang boleh memetakan fail ke dalam memori dan melaksanakan fail dipetakan memori. Kaedah ini boleh mengurangkan penggunaan memori dan meningkatkan kecekapan membaca dan menulis fail.

RandomAccessFile raf = new RandomAccessFile("largefile.txt", "r");  
FileChannel channel = raf.getChannel();  
MappedByteBuffer mbb = channel.map(FileChannel.MapMode.READ_ONLY, 0, channel.size());

3 Gunakan Bacaan Berpotongan: Buat fail besar menjadi berbilang ketulan kecil, dan kemudian proses ketulan kecil ini satu demi satu. Pendekatan ini mengelakkan memuatkan keseluruhan fail ke dalam memori sekaligus. Anda boleh menggunakan kelas FileInputStream dan BufferedInputStream Java untuk melaksanakan bacaan chunked.

try (FileInputStream fis = new FileInputStream("largefile.txt");  
     BufferedInputStream bis = new BufferedInputStream(fis)) {  
    byte[] buffer = new byte[1024]; // 定义块大小  
    int bytesRead;  
    while ((bytesRead = bis.read(buffer)) != -1) {  
        // 处理缓冲区中的数据  
    }  
} catch (IOException e) {  
    e.printStackTrace();  
}

4 Gunakan pemprosesan selari: Jika aplikasi anda berbilang teras dan boleh memproses bahagian fail yang berlainan secara selari, maka pertimbangkan untuk menggunakan pemprosesan selari. Anda boleh memecahkan fail besar kepada ketulan yang lebih kecil dan memproses ketulan tersebut secara serentak dalam berbilang benang. Ini boleh menggunakan sepenuhnya prestasi CPU berbilang teras dan mempercepatkan pemprosesan fail. Walau bagaimanapun, perlu diambil perhatian bahawa pemprosesan selari boleh menyebabkan masalah penyegerakan antara benang dan perlu dikendalikan dengan berhati-hati.

5 Laraskan saiz timbunan JVM: Jika tiada kaedah di atas dapat menyelesaikan masalah, anda juga boleh cuba melaraskan saiz timbunan JVM. Dengan meningkatkan saiz timbunan, lebih banyak data boleh ditampung. Anda boleh menetapkan saiz timbunan maksimum melalui parameter JVM -Xmx. Walau bagaimanapun, ambil perhatian bahawa meningkatkan saiz timbunan boleh meningkatkan overhed kutipan sampah dan boleh menyebabkan masalah lain. Oleh itu, terdapat pertukaran apabila saiz timbunan.

6. Gunakan pangkalan data atau storan luaran: Untuk fail yang sangat besar, anda mungkin ingin mempertimbangkan untuk menyimpannya dalam pangkalan data atau storan luaran dan bukannya terus dalam ingatan. Ini mengelakkan isu kehabisan ingatan sambil menyediakan pengurusan data dan keupayaan pertanyaan yang lebih baik. Walau bagaimanapun, pendekatan ini meningkatkan kerumitan sistem dan memerlukan pertimbangan yang teliti.

7. Optimumkan kod dan struktur data: Kadangkala, punca masalah mungkin bukan saiz fail, tetapi kecekapan kod dan struktur data. Semak sama ada kod anda boleh dioptimumkan, seperti menggunakan struktur data atau algoritma yang lebih cekap. Ini mungkin termasuk mengurangkan peruntukan memori yang tidak perlu, menggunakan semula objek, mengoptimumkan gelung, dsb. Dengan mengoptimumkan struktur kod dan data, anda boleh mengurangkan penggunaan memori dan meningkatkan prestasi program.

8 Gunakan alatan dan perpustakaan luaran: Sesetengah alatan dan perpustakaan luaran direka khusus untuk mengendalikan fail besar, dan ia mungkin menyediakan cara yang lebih cekap untuk membaca, memproses dan menganalisis fail besar. Contohnya, rangka kerja pengkomputeran teragih seperti Hadoop dan Spark boleh mengendalikan set data berskala besar, termasuk fail besar. Pertimbangkan untuk menggunakan alatan dan perpustakaan ini yang boleh membantu menyelesaikan masalah anda.

9 Alat pemantauan dan analisis: Menggunakan alat pemantauan dan analisis boleh membantu anda mendiagnosis masalah. Contohnya, alat VisualVM Java boleh membantu anda memantau penggunaan memori, menganalisis longgokan timbunan dan tindanan benang, dan banyak lagi. Alat lain seperti JProfiler, YourKit, dsb. juga boleh menyediakan fungsi analisis dan pemantauan yang lebih mendalam. Dengan alat pemantauan dan analisis, anda boleh lebih memahami penggunaan memori program anda supaya anda boleh mencari punca masalah dan mengambil tindakan yang sewajarnya.

10 Pembelajaran dan penambahbaikan berterusan: Teknologi sentiasa berkembang, dan alat serta kaedah baharu sentiasa muncul. Memberi perhatian dan mempelajari teknologi dan kaedah baharu secara berterusan boleh membantu anda menyelesaikan masalah yang sama dan meningkatkan kemahiran dan pengetahuan anda. Rangkaian dan perkongsian pengalaman dengan pembangun lain juga merupakan cara terbaik untuk belajar dan menambah baik. Melalui pembelajaran dan penambahbaikan berterusan, anda boleh menghadapi pelbagai cabaran dengan lebih baik dan meningkatkan keupayaan pembangunan anda.

Atas ialah kandungan terperinci Bagaimana untuk menyelesaikan pengecualian membaca fail besar Java. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!