Curl は Web ページをクロールしてデータを取得します

Question

URL リンクが https://mbd.baidu.com/newspage/data/landingsuper?context={"nid":"news_4480296238548479181"}&n_type=0&p_from=1

Web ページ情報をクロールする方法

Answer 1

ウェブサイトをクロールするにはcurlを使用してください。httpsに注意してください

Answer 2

はい、1 階で述べたことは非常に完全です。これら 2 つのメソッドは通常、ページ情報を取得するために使用されます、file_get_contents とcurl request

Answer 3

file_get_contents またはカールコードを使用できます:

function getHTTPS($url) {
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
  curl_setopt($ch, CURLOPT_HEADER, false);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_REFERER, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
  $result = curl_exec($ch);
  curl_close($ch);
  return $result;
}