Mengapa Pertanyaan Sarang Saya COUNT(*) Mengembalikan Kiraan Baris Berbeza Bergantung pada Klausa WHERE?

*Hive COUNT() hasil pertanyaan berbeza-beza bergantung pada klausa WHERE**

Apabila menggunakan jadual Hive, anda mungkin menghadapi gelagat yang tidak dijangka apabila mengira baris dengan atau tanpa nilai nol. Perbezaan ini boleh dijelaskan oleh statistik pertanyaan.

Jika Hive mengesan kehadiran statistik pertanyaan dalam jadual, ia mungkin menggunakan maklumat ini untuk mengoptimumkan prestasi pertanyaan. Apabila anda melaksanakan pertanyaan tanpa klausa WHERE, contohnya:

SELECT COUNT(*) AS c FROM mytable

Hive boleh menggunakan statistik ini untuk menganggarkan bilangan baris dalam jadual tanpa benar-benar membaca data. Jika statistik tidak dikemas kini, ini boleh menyebabkan keputusan yang tidak tepat.

Sebaliknya, apabila anda menambah klausa WHERE dengan keadaan bukan nol, contohnya:

SELECT COUNT(*) AS c FROM mytable WHERE master_id IS NOT NULL

Hive akan dipaksa membaca data untuk menapis baris dengan nilai master_id kosong. Kiraan tepat ini mungkin lebih tinggi daripada anggaran berdasarkan maklumat statistik.

Untuk mengelakkan tingkah laku ini dan memastikan kiraan baris yang tepat, anda boleh melumpuhkan pengoptimuman pertanyaan berdasarkan statistik dengan menetapkan:

SET hive.compute.query.using.stats=false;

Sebagai alternatif, anda boleh menganalisis jadual secara eksplisit menggunakan arahan ANALYZE TABLE untuk mengemas kini statistik. Anda juga boleh menetapkan:

SET hive.stats.autogather=true;

Ini akan mengumpul statistik secara automatik semasa operasi INSERT TULISAN, memastikannya dikemas kini dan mengurangkan perbezaan kiraan baris.

Atas ialah kandungan terperinci Mengapa Pertanyaan Sarang Saya COUNT(*) Mengembalikan Kiraan Baris Berbeza Bergantung pada Klausa WHERE?. Untuk maklumat lanjut, sila ikut artikel berkaitan lain di laman web China PHP!