首頁  >  問答  >  主體

curl爬取網頁是數據

如果url連結給的是https://mbd.baidu.com/newspage/data/landingsuper?context={"nid":"news_4480296238548479181"}&n_type=0&p_from=1

#的連結怎麼爬取網頁資訊

phpcn_u68041phpcn_u680412481 天前1150

全部回覆(5)我來回復

  • phpcn_u68041

    phpcn_u680412017-12-07 16:41:30

    用curl來爬取網站注意https

    回覆
    0
  • ringa_lee

    ringa_lee2017-12-07 14:20:17

    是的,1樓的說的很完整,取得頁面資訊通常用的也就這兩種方法,file_get_contents和透過curl請求

    回覆
    0
  • NULL

    NULL2017-12-07 13:23:13

    可以用file_get_contents    或curl 程式碼:

    function getHTTPS($url) {
      $ch = curl_init();
      curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
      curl_setopt($ch, CURLOPT_HEADER, false);
      curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
      curl_setopt($ch, CURLOPT_URL, $url);
      curl_setopt($ch, CURLOPT_REFERER, $url);
      curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
      $result = curl_exec($ch);
      curl_close($ch);
      return $result;
    }


    #

    回覆
    2
  • phpcn_u68041

    curl預設安裝的對https協定不支援還需要加上這個是嗎 curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, false ); curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, false );

    phpcn_u68041 · 2017-12-07 16:44:56
    NULL

    我對curl也不是很了解,這是我在網路上抄的一段程式碼,測試了可以爬HTTPS的網頁資料就發給你了

    NULL · 2017-12-12 10:18:17
  • 取消回覆