concurrency - java並發處理一個表中的大量數據，如何設定檢查點，以便用於失敗恢復，而不是重複處理處理過的數據？

Question

java並發處理一個表中的大量數據，如何設定檢查點，以便用於失敗恢復，而不是重複處理處理過的數據？

例如在處理過程中，系統當機，kill -9強制殺死之前，設定一個檢查點，一遍下次從檢查點開始恢復處理？

Answer 1

1，定期寫入checkpoint，宕機不怕
2，資料處理要有冪等性，應對已經處理但沒有寫入checkpoint的資料

如果你用事務即時寫入checkpoint，那就沒上面的事了。