网页爬虫 - python requests 爬取网页出现 IncompleteRead(2048 bytes read))

Question

requests.exceptions.ChunkedEncodingError: ('Connection broken: IncompleteRead(2048 bytes read)', IncompleteRead(2048 bytes read))

这个错误出现的时间不固定，有时几分钟就出现了 有时几个小时才出现

Answer 1

可能是chunked编码不完整导致的。
详细请看这里：http://blog.csdn.net/wangzuxi/article/details/40377467

Answer 2

典型的一个缓冲区的尺寸。实际上IncompleteRead是python原生库httplib的异常。

HTTP通道返回0字节，或者返回一定字节后卡住太正常了。如果返回数据的可靠性很重要，请注意设置合理的超时并捕获相关的错误，如有必要甚至可以考虑手工验证HTTP头数据的Content-Length字段。