カールに関するいくつかの小さな問題

最新のデータを取得するためにcurlを使用するにはどうすればよいですか?
たとえば、Web サイトのすべての情報をクロールし、その後 Web サイトが更新された場合、クロールを繰り返さずに更新されたアイテムをクロールするにはどうすればよいでしょうか?

ディスカッション (解決策) への返信

クロール後、ローカル データベースに保存します。次に、最新のパターンにどのようなパターンがあるかを調べます。区別できる場合は、以前のローカル データベースを変更します。本当に違いがない場合は、キャプチャしたデータをすべて一度保存します。保存が成功した場合は、前のデータをクリーンアップするだけです。

それが新しいかどうかは、見たときにのみわかります

curl は CURLOPT_WRITEFUNCTION 属性を使用します
コールバック関数でクロールが早期に終了できるかどうかを判断できます

ああ、データベース内の最大の ID を取得し、取得しますそのメッセージの ID は、Web ページによって取得された ID が、データベースから取得された最新の ID よりも大きくなります。
しかし、この方法では、すべてのデータを一度に判断する必要はありません。効率が非常に低くなりませんか?

わかりました、この時間は無視して構いません、投稿してくれてありがとう