Curl은 데이터를 찾기 위해 웹페이지를 크롤링합니다.

Question

URL 링크가 https://mbd.baidu.com/newspage/data/landingsuper?context=%7B%22nid%22%3A%22news_4480296238548479181%22%7D&n_type=0&p_from=1이면 어떻게 되나요?

웹 정보 크롤링

Answer 1

curl을 사용하여 웹사이트를 크롤링하세요. https에 주의하세요

Answer 2

예, 1층에서 말씀드린 내용은 매우 완벽합니다. 이 두 가지 방법은 일반적으로 페이지 정보, file_get_contents 및 컬 요청을 얻는 데 사용됩니다.

Answer 3

file_get_contents 또는 컬 코드를 사용할 수 있습니다:

function getHTTPS($url) {
  $ch = curl_init();
  curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, FALSE);
  curl_setopt($ch, CURLOPT_HEADER, false);
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, true);
  curl_setopt($ch, CURLOPT_URL, $url);
  curl_setopt($ch, CURLOPT_REFERER, $url);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, TRUE);
  $result = curl_exec($ch);
  curl_close($ch);
  return $result;
}