cari

Rumah  >  Soal Jawab  >  teks badan

curl - 使用php抓取网页数据时，速度太慢

抓取天猫的商品列表数据，但是一页的数据量是60条商品，一页的数据量大小为530k，有效的列表数据是200k左右。
现在抓取的时间太慢了,我使用的是 curl 进行抓取，在执行curl_exec的时候，执行时间达到了7-9s

通过正则去分解列表页我觉得是做不到，好像是可以规定从多少k的数据量大小的位置进行抓取，到哪里结束？？

黄舟黄舟2776 hari yang lalu741

membalas semua(6)saya akan balas

  • ringa_lee

    ringa_lee2017-04-10 17:17:12

    普通的网页服务器一般不设分段下载的机制，所以也没法拆分数据。如果仅500K的内容就抓这么久，看来你需要检查CURL的配置或者网络问题了。

    balas
    0
  • 大家讲道理

    大家讲道理2017-04-10 17:17:12

    看样子是网速问题，建议多开几个抓取进程。

    balas
    0
  • 迷茫

    迷茫2017-04-10 17:17:12

    @有明 求助<!--!

    balas
    0
  • 伊谢尔伦

    伊谢尔伦2017-04-10 17:17:12

    试试curl_multi

    balas
    0
  • 怪我咯

    怪我咯2017-04-10 17:17:12

    php还想怎样

    balas
    0
  • PHPz

    PHPz2017-04-10 17:17:12

    你抓取tmall 抓取链接地址是哪个呢? 抓取速度如何?

    balas
    0
  • Batalbalas