python - Scrapy 总是出现卡顿的情况

Question

最近发现部分服务器上出现几个情况：

请教scrapy大神，

1. scrapy在执行scrapy crawl price 后总是停顿十几秒才会打印出下一步的输出结果。

2. 自动设置use-agent，会卡顿十几秒换下一个use-agent继续卡住。

有没有大神读过源码，知道这是什么情况吗？

Answer 1

처음에는 장기 지연이 발생하지 않지만 오랜 시간이 지나면 장기 지연이 발생합니다.

Answer 2

이것과 소스코드에는 아무런 문제가 없습니다. 코드를 살펴보시거나 스파이더 코드를 게시하여 살펴보셔야 합니다. 그래야만 구체적인 문제를 알 수 있습니다

Answer 3

적어도 지금은 데이터를 크롤링하고 있는데 말씀하신 것처럼 지연은 없습니다. 시작 시 약간의 지연이 있을 뿐입니다. 로드된 파일이 너무 많기 때문인 것 같습니다. 당신의 뒤쳐진 상황. 자신이 작성한 크롤러 때문인지 확인해야 합니다. 코드를 게시해 주세요.