Heim  >  Artikel  >  Web-Frontend  >  在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose

在运行爬虫程序时总会出现以下异常_html/css_WEB-ITnose

WBOY
WBOYOriginal
2016-06-24 12:25:321148Durchsuche

我写的程序可以运行,但是总会出现以下异常中断运行,然后再运行程序时,就没问题了,很多次了

1.java.net.SocketTimeoutException: Read timed out

2.java.net.SocketTimeoutException: connect timed out

3.java.net.ConnectException: Connection timed out: connect

以上三个异常,经过跟踪确定都是在执行这句代码时出现的:

doc = Jsoup.connect( url)  .data("query", "Java")
 .userAgent("Mozilla") 
 .cookie("auth", "token")
 .timeout(300000)
 .post();
请问各位大神我这是什么个情况,该怎么解决啊?  因为这程序是用来爬取网页数据的,一直要循环加载上万条子网页的 url,是不是因为这个造成的啊?我该怎么解决呢?求各位大虾指点,泣不成声,泣不成声....


回复讨论(解决方案)

网络不稳定或者请求网页过时

你没有用个异常处理
你现在是io操作而且是远程的 
整个运行环境你并不能完全确认是 不会出现问题

所以你至少要捕获异常 并且重新开始你刚才在异常下中断的任务

Stellungnahme:
Der Inhalt dieses Artikels wird freiwillig von Internetnutzern beigesteuert und das Urheberrecht liegt beim ursprünglichen Autor. Diese Website übernimmt keine entsprechende rechtliche Verantwortung. Wenn Sie Inhalte finden, bei denen der Verdacht eines Plagiats oder einer Rechtsverletzung besteht, wenden Sie sich bitte an admin@php.cn