Rumah  >  Artikel  >  pembangunan bahagian belakang  >  请问如何更快速有效的爬网站?

请问如何更快速有效的爬网站?

WBOY
WBOYasal
2016-08-31 08:41:071304semak imbas

大家好,其实我是门外汉,我上学的时候,玩过大话西游,QQ幻想,后来洛奇,学了一点按键精灵(一种和vb差不多的编程语言),辅助我玩游戏来着。这是我的编程基础。

要是我爬别人的网站,就会先把需要爬的url保存在TXT,或者Excel文件里。

用按键精灵打开浏览器,模拟手动(快捷键或者鼠标点击)输入TXT或者Excel的网址。

然后模拟手动全选,然后用 处理字符串函数,mid,right,left,len,instr 这些提取需要的字符串。

然后保存到Excel,或者是 txt 。

这样做其实很费机器,CPU使用很高,而且网速占用也很高。因为要加载很多不需要的图片,如图片,flash,mpg文件等。
而且经常出错,可能是excel出错,也可能是脚本出错,很多时候是浏览器出错。

请问大家,你们是怎么做的呢?

我目前会php,MySQL,JavaScript,jQuery,ajax 等编程语言。对json,xml,html 的数据,也都了解了。

希望大家结合我会的,当然以方便为主,有更方便的也可以告诉一下。

另外对于浏览器的调试信息,也就是f12的面板,我就会看js的输出。

只要有思路,欢迎大家回答,我起点低,基本是个回答都对我有帮助,谢谢了!

Kenyataan:
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn