為什麼我的 Hive COUNT(*) 查詢顯示的行數比非空計數查詢少？

Hive 查詢計數差異：非空計數大於總計數

在 Hive 中，我們觀察到一個關於行計數計算的有趣現象。假設有一個名為 mytable 的表，其中包含一個名為 master_id 的欄位。執行以下查詢時，檢索到的總行數為 1,129,563：

SELECT COUNT(*) AS c FROM mytable;

但是，當查詢非空 master_id 值的行數時，計數增加到 1,134,041：

SELECT COUNT(*) AS c FROM mytable WHERE master_id IS NOT NULL;

這種差異出現的原因是，預設情況下，不帶 WHERE 子句的查詢可能會使用統計資訊來估計行數。若要解決此問題，可以將參數 hive.compute.query.using.stats 設為 false 以停用統計估計。

或者，可以使用 ANALYZE TABLE 語句明確計算表統計信息，或者將 hive.stats.autogather 設為 true，以便在通過 INSERT OVERWRITE 操作批量導入數據時收集統計信息。這將確保查詢結果準確一致，避免類似這種情況的意外結果。

以上是為什麼我的 Hive COUNT(*) 查詢顯示的行數比非空計數查詢少？的詳細內容。更多資訊請關注PHP中文網其他相關文章！