python - Scrapy 总是出现卡顿的情况

Question

最近发现部分服务器上出现几个情况：

请教scrapy大神，

1. scrapy在执行scrapy crawl price 后总是停顿十几秒才会打印出下一步的输出结果。

2. 自动设置use-agent，会卡顿十几秒换下一个use-agent继续卡住。

有没有大神读过源码，知道这是什么情况吗？

Answer 1

Je ne rencontrerai pas de retards à long terme au début, mais des retards à long terme se produiront après une longue période de temps.

Answer 2

Il n'y a rien de mal avec cela et le code source. Vous devez jeter un œil à votre code, ou publier le code spider pour y jeter un œil. Ce n'est qu'alors que nous pourrons connaître le problème spécifique

Answer 3

Au moins, j'explore les données maintenant et il n'y a pas de décalage comme vous l'avez mentionné. Il n'y aura qu'un léger décalage au début du démarrage, je suppose que c'est parce qu'il y a trop de fichiers chargés. Votre situation en retard. Vous devez voir si c'est à cause du robot que vous avez écrit. Veuillez poster le code.