concurrency - java并发处理一个表中的大量数据，如何设置检查点，以便用于失败恢复，而不是重复处理处理过的数据？

Question

java并发处理一个表中的大量数据，如何设置检查点，以便用于失败恢复，而不是重复处理处理过的数据？

比如在处理过程中，系统宕机，kill -9强制杀死之前，设置一个检查点，一遍下次从检查点开始恢复处理？

Answer 1

1，定期写入checkpoint，宕机不怕
2，数据处理要有幂等性，应对已经处理但没有写入checkpoint的数据

如果你用事务实时写入checkpoint，那就没上面的事了。