>  기사  >  웹 프론트엔드  >  在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose

在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose

WBOY
WBOY원래의
2016-06-24 12:25:321149검색

我写的程序可以运行,但是总会出现以下异常中断运行,然后再运行程序时,就没问题了,很多次了

1.java.net.SocketTimeoutException: Read timed out

2.java.net.SocketTimeoutException: connect timed out

3.java.net.ConnectException: Connection timed out: connect

以上三个异常,经过跟踪确定都是在执行这句代码时出现的:

doc = Jsoup.connect( url)  .data("query", "Java")
 .userAgent("Mozilla") 
 .cookie("auth", "token")
 .timeout(300000)
 .post();
请问各位大神我这是什么个情况,该怎么解决啊?  因为这程序是用来爬取网页数据的,一直要循环加载上万条子网页的 url,是不是因为这个造成的啊?我该怎么解决呢?求各位大虾指点,泣不成声,泣不成声....


回复讨论(解决方案)

网络不稳定或者请求网页过时

你没有用个异常处理
你现在是io操作而且是远程的 
整个运行环境你并不能完全确认是 不会出现问题

所以你至少要捕获异常 并且重新开始你刚才在异常下中断的任务

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.