Parallelität - Java verarbeitet gleichzeitig eine große Datenmenge in einer Tabelle. Wie legt man Prüfpunkte fest, damit sie zur Wiederherstellung nach Fehlern verwendet werden können, anstatt die verarbeiteten Daten wiederholt zu verarbeiten?

Question

Java verarbeitet eine große Datenmenge gleichzeitig in einer Tabelle, anstatt die verarbeiteten Daten wiederholt zu verarbeiten.

Wenn beispielsweise das System während der Verarbeitung ausfällt und kill -9 verwendet wird, um den Kill zu erzwingen, einen Prüfpunkt festlegen und die Verarbeitung beim nächsten Mal vom Prüfpunkt aus fortsetzen?

Answer 1

1，定期写入checkpoint，宕机不怕
2，数据处理要有幂等性，应对已经处理但没有写入checkpoint的数据

如果你用事务实时写入checkpoint，那就没上面的事了。