外国商品の発掘プロジェクトは会社名がないため申請できないため、フロントエンドマシンはAlibaba Cloud香港ECS上に配置され、追加のAlibaba Cloud杭州ECSを使用して実行されますcrontab——クローラーの実行、写真の保存 Alibaba Cloud OSS へのアクセスなど。最近、杭州 ECS が少し冗長だと感じたので (もともと杭州 RDS がありましたが、香港 RDS に移動されました)、削除する予定だったので、杭州 ECS 上のすべての crontab を香港 ECS に戻しました。これにより、多くの問題が発生しました。 それはどのような問題を引き起こしましたか?中心的な問題は、香港の ECS が国際的なネットワーク環境にあり、本土のサーバーにアクセスするときにネットワークのジッターが頻繁に発生することであり、これは非常に解決不可能です。より具体的には、たとえば、香港 ECS が Alibaba Cloud Hangzhou open search
にクエリを実行するとき (open search
には香港ノードがありません、親愛なる╥﹏╥)。 ..)、エラーがよく報告されます。別の例として、香港 ECS が画像をキャプチャして杭州 OSS にアップロードすることがあります (OSS には香港ノードがありますが、問題は画像処理サービスがないことです)。これはぼったくりだと思いますか?)、2 つ目は遅さで、エラーが報告されるまでしばらく停止することがよくあります。これにより、アップロードが非常に非効率になります (この理由だけでバックログが発生することをお伝えしておきます)。クロールされた何千もの商品が棚に並べられる前に写真のアップロードを待っています)。
open search
の問題はまだ簡単に解決できます。SDK ではタイムアウト制限を少し大きく設定しています (5 秒)。基本的にエラーは報告されません。 open search
(open search
没有香港节点呀亲 ╥﹏╥...)查询的时候,经常报错;又比如香港ECS抓到图片后上传杭州OSS(OSS是有香港节点,问题是没有图片处理的服务啊,你们说这不是坑死人吗),慢是其次,经常卡住一段时间后才报错,这使得上传的效率极其低下(我会告诉你就因为这个原因,积压了好几千爬回来的商品等着上传图片才能上架吗)。
open search
的问题还是很好解决的,SDK有提供超时的配置,我把超时限制设大了一点(5秒),基本上就不会报错了。
而OSS的SDK根本没有提供这方面的配置,为了解决这个问题,我决定深入到这SDK来修改源码。
OSS的SDK是通过php-curl
来请求api的,经调查后,我发现此SDK有个名为requestcore.class.php
的文件中定义了一个RequestCore
类,很明显,这个类就是负责发送请求的。其中,prep_request()
负责配置curl,send_request($parse = false)
则负责执行curl(即真正发送请求)。
首先来看看prep_request()
,其中包含两个php-curl
的两个超时配置:CURLOPT_TIMEOUT
以及CURLOPT_CONNECTTIMEOUT
curl_setopt($curl_handle, CURLOPT_TIMEOUT, 5184000);
curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 120);
CURLOPT_TIMEOUT
好理解,就是整个curl请求过程(http request & response)的超时限制,以秒为单位,设置为0则无限制。CURLOPT_CONNECTTIMEOUT
比较难理解,目前确认的是,这是curl请求过程中的一小部分,因此必须要设得比CURLOPT_TIMEOUT
小,不然CURLOPT_TIMEOUT
无意义。网上的资料是这么说的:
CURLOPT_CONNECTTIMEOUT 在发起连接前等待的时间,如果设置为0,则无限等待。
这个发起连接前等待的时间
比较模糊,我倾向于这指的是完成TCP三次握手
过程前所耗费的时间,或者换句话说,TCP三次握手
的整个过程必须要在CURLOPT_CONNECTTIMEOUT
内完成,否则就超时。TCP三次握手
无法在指定时间内完成表示服务器正处在繁忙/奔溃的状态或网络异常,这正符合本文所提到的场景。
基于这一猜想下,我把CURLOPT_CONNECTTIMEOUT
设成3秒:
curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 3);
如此,就不需要在网络抖动的时候等待2分钟(SDK设定的CURLOPT_CONNECTTIMEOUT
是120秒)才报错了。
PS:如果想要设置超时时间少于1秒,需要用到CURLOPT_TIMEOUT_MS
OSS SDK はこの設定をまったく提供していません。この問題を解決するために、SDK を深く掘り下げてソースコードを変更することにしました。
php-curl
を通じて API をリクエストします。調査の結果、この SDK には requestcore.class.php
という名前のファイルが定義されていることがわかりました。 RequestCore クラス。明らかに、このクラスはリクエストの送信を担当します。このうち、prep_request()
はcurlの設定を担当し、send_request($parse = false)
はcurlの実行(つまり、実際のリクエストの送信)を担当します。 まず、prep_request()
を見てみましょう。これには、2 つの php-curl
の 2 つのタイムアウト設定が含まれています: CURLOPT_TIMEOUT
と CURLOPT_CONNECTTIMEOUT
🎜curl_setopt($curl_handle, CURLOPT_TIMEOUT, 5184000);
curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 120);🎜
CURLOPT_TIMEOUT
わかりやすいです。 curl リクエスト全体 プロセス (http リクエストとレスポンス) のタイムアウト制限 (秒単位)。制限なしの場合は 0 に設定します。 🎜CURLOPT_CONNECTTIMEOUT
は理解するのが難しいですが、これはcurl リクエスト プロセスの一部であることが現在確認されているため、CURLOPT_TIMEOUT
より小さく設定する必要があります。それ以外の場合は です。 CURLOPT_TIMEOUT
意味がありません。インターネット上の情報には次のように書かれています: 🎜🎜CURLOPT_CONNECTTIMEOUT は、接続を開始するまでの待機時間です。0 に設定すると、無期限に待機します。 🎜🎜 この
接続を開始するまでの待機時間
は、TCP スリーウェイ ハンドシェイク
プロセスを完了するのにかかる時間を指すことが多いです。つまり、TCP スリーウェイ ハンドシェイク
のプロセス全体は CURLOPT_CONNECTTIMEOUT
以内に完了する必要があります。完了しないとタイムアウトになります。 TCP スリーウェイ ハンドシェイク
が指定時間内に完了しない場合は、サーバーがビジー/クラッシュ状態にあるか、ネットワークが異常であることを示します。これは、この記事で説明したシナリオと一致します。 🎜この推測に基づいて、CURLOPT_CONNECTTIMEOUT
を 3 秒に設定しました。 🎜🎜curl_setopt($curl_handle, CURLOPT_CONNECTTIMEOUT, 3);🎜🎜 この方法では、ネットワークに接続します。シェイク中は、エラーが報告されるまで 2 分間待機します (SDK によって設定されている
CURLOPT_CONNECTTIMEOUT
は 120 秒です)。 🎜🎜追記: タイムアウトを 1 秒未満に設定したい場合は、CURLOPT_TIMEOUT_MS
を使用する必要がありますが、Niao 兄弟によると、この設定にはバグがあり、テストされていないため、注意してください。 『カールのミリ秒タイムアウト「バグ」』🎜
🎜
上記では、crontab や画像の保存など、過酷なネットワーク環境に対処する方法、サーバーの停止を防ぐための php-curl のタイムアウト制限の設定方法を紹介しました。PHP チュートリアルに興味のある友人に役立つことを願っています。 🎜
🎜
🎜
curl和Pythonrequests都是发送HTTP请求的强大工具。虽然curl是一种命令行工具,可让您直接从终端发送请求,但Python的请求库提供了一种更具编程性的方式来从Python代码中发送请求。将curl转换为Pythonrequestscurl命令的基本语法如下所示:curl[OPTIONS]URL将curl命令转换为Python请求时,我们需要将选项和URL转换为Python代码。这是一个示例curlPOST命令:curl-XPOSThttps://example.com/api

在Linux下更新curl版本,您可以按照以下步骤进行操作:检查当前curl版本:首先,您需要确定当前系统中安装的curl版本。打开终端,并执行以下命令:curl--version该命令将显示当前curl的版本信息。确认可用的curl版本:在更新curl之前,您需要确定可用的最新版本。您可以访问curl的官方网站(curl.haxx.se)或相关的软件源,查找最新版本的curl。下载curl源代码:使用curl或浏览器,下载您选择的curl版本的源代码文件(通常为.tar.gz或.tar.bz2

PHP8.1发布:引入curl多个请求并发处理近日,PHP官方发布了最新版本的PHP8.1,其中引入了一个重要的特性:curl多个请求并发处理。这个新特性为开发者提供了一个更加高效和灵活的方式来处理多个HTTP请求,极大地提升了性能和用户体验。在以往的版本中,处理多个请求往往需要通过创建多个curl资源,并使用循环来分别发送和接收数据。这种方式虽然能够实现目

keepalive_timeouthttp有一个keepalive模式,它告诉webserver在处理完一个请求后保持这个tcp连接的打开状态。若接收到来自客户端的其它请求,服务端会利用这个未被关闭的连接,而不需要再建立一个连接。httpkeep-alive,網頁的每一個請求都是http(圖片,css等),而打開http請求是要先建立tcp連接,而如果一個頁面每個請求都要打開及關閉一個tcp連接就會做成資源的浪費.keepalive_timeout就是當一個http請求完成,其tcp連接會存留下

不少的用户在升级完win11系统后会出现蓝屏的现象,例如:clockwatchdogtimeout蓝屏,那么这要怎么解决?用户们可以看看更新驱动程序或者是检查过热问题等等来进行操作,下面就让本站来为用户们来仔细的介绍一下clockwatchdogtimeout蓝屏win11解决方法吧。clockwatchdogtimeout蓝屏win11解决方法1、更新驱动程序:更新CPU和主板驱动程序可能会解决问题。可以通过访问制造商的网站下载最新的驱动程序。2、检查过热问题:过热也可能是导致此错误的原因之一

在Vue应用中使用axios时出现“Error:timeoutofxxxmsexceeded”怎么办?随着互联网的快速发展,前端技术也在不断地更新迭代,Vue作为一种优秀的前端框架,近年来受到大家的欢迎。在Vue应用中,我们常常需要使用axios来进行网络请求,但是有时候会出现“Error:timeoutofxxxmsexceeded”的错误

从头到尾:如何使用php扩展cURL进行HTTP请求引言:在Web开发中,经常需要与第三方API或其他远程服务器进行通信。而使用cURL进行HTTP请求是一种常见而强大的方式。本文将介绍如何使用php扩展cURL来执行HTTP请求,并提供一些实用的代码示例。一、准备工作首先,确保php已安装cURL扩展。可以在命令行执行php-m|grepcurl查

在Vue应用开发中,使用vue-resource进行HTTP请求是常见的操作。尽管vue-resource提供了很多方便的功能,但有时我们会遇到“Error:timeoutofxxxmsexceeded”这样的错误提示。这种错误通常是因为请求超时而导致的。那么,在这种情况下,我们应该怎样解决这个问题呢?1.增加请求超时时间首先,我们可以通过增加请


ホットAIツール

Undresser.AI Undress
リアルなヌード写真を作成する AI 搭載アプリ

AI Clothes Remover
写真から衣服を削除するオンライン AI ツール。

Undress AI Tool
脱衣画像を無料で

Clothoff.io
AI衣類リムーバー

AI Hentai Generator
AIヘンタイを無料で生成します。

人気の記事

ホットツール

Safe Exam Browser
Safe Exam Browser は、オンライン試験を安全に受験するための安全なブラウザ環境です。このソフトウェアは、あらゆるコンピュータを安全なワークステーションに変えます。あらゆるユーティリティへのアクセスを制御し、学生が無許可のリソースを使用するのを防ぎます。

DVWA
Damn Vulnerable Web App (DVWA) は、非常に脆弱な PHP/MySQL Web アプリケーションです。その主な目的は、セキュリティ専門家が法的環境でスキルとツールをテストするのに役立ち、Web 開発者が Web アプリケーションを保護するプロセスをより深く理解できるようにし、教師/生徒が教室環境で Web アプリケーションを教え/学習できるようにすることです。安全。 DVWA の目標は、シンプルでわかりやすいインターフェイスを通じて、さまざまな難易度で最も一般的な Web 脆弱性のいくつかを実践することです。このソフトウェアは、

SublimeText3 英語版
推奨: Win バージョン、コードプロンプトをサポート!

EditPlus 中国語クラック版
サイズが小さく、構文の強調表示、コード プロンプト機能はサポートされていません

SublimeText3 Linux 新バージョン
SublimeText3 Linux 最新バージョン
