redis - 軽量の Python プログラムとスクリプト用のキャッシュを作成するにはどうすればよいですか?

Question

運用保守の初心者ですが、最近社内ログの簡単な処理をした後、リストにある程度追加し、ESインターフェースを使って別のElasticSearchにデータを一括追加して表示させました。いくつかの点で。ここで問題があり、データを挿入すると例外が発生します。たとえば、挿入する es ホストがクラッシュするなどしますが、データ ソースには問題ありません。これにより、処理されたデータがキャッシュに移動され、プログラムが停止されます。 (データソースはkafkaです。プログラムが停止していても、再起動すれば利用可能です。)
そこでお聞きしたいのですが、比較的軽量なPythonプログラムやスクリプトの場合、これらの例外はどのように格納されるべきでしょうか?最初に保存する必要があるデータは何ですか?

Answer 1

es が異常な場合、py スクリプトが例外をキャプチャした後、cPickle或者pickle 将处理好的数据序列化后保存到一个文件上(你可以理解成写入一个文件, 不同在于cPickle和pickle を使用して辞書やリストなどのオブジェクトをファイルに直接書き込むことができます)、es が回復するのを待って py スクリプトを再起動すると、スクリプトは次のようになります。この一時ファイルが存在するかどうかを検出する優先順位。一時ファイルが存在し、空でない場合、その中のデータが取り出され、es

に書き込まれます。