PHP は、キューを使用して非常に大きなデータをデータベースからエクスポートし、ダウンロードしたいと考えています。これを実現するにはどうすればよいでしょうか?

Question

PHP を使用すると、データベースに何百万ものデータがありますが、それを直接チェックアウトするだけでは十分ではなく、複雑な計算を実行し、計算後にエクスポートする必要があります。したがって、キューを使用してこの問題を解決したいと考えています。または、他のアイデアもあります。また、ajax を使用してキューの実行を監視することもできます。

注: 非同期である必要はありません。同期でも問題ありません。
注: MySQL には最適化の余地がないため、クエリの後にデータ処理を実行する必要があります。
注: 通常の ajax ループを使用して PHP を呼び出してメソッドを完了するのではなく、単純にキューの実行を監視するために ajax を使用したいだけです

Answer 1

計算してエクスポートするための php スクリプトを記述し、処理中に同期的に処理の進行状況をキャッシュに書き込み、対応するキャッシュをクエリするコントローラーを記述するだけで、処理の進行状況がわかります。 。 。処理が完了したら、エクスポートしたファイルのパスをダウンロードアドレスとして使用すると良いのではないでしょうか？

Answer 2

1. 非同期処理、CLIモード

2. データコンポーネント

Answer 3

処理ロジックが複雑でない場合は、ETL ツール、informatica、または Kettle を使用することをお勧めします。