찾다
php教程php手册curl数据采集系列之单页面采集函数get_html

在做数据采集时经常要使用到curl+正则的方式采集需要的数据 根据自己的工作经验 把自己写的一些常用自定义函数 拿到博客园来分享 如果有写得不恰当的地方 请多多指教

这是一个系列 没办法在一两天写完 所以一篇一篇的发布

大致大纲:

1.curl数据采集系列之单页面采集函数get_html

2.curl数据采集系列之多页面并行采集函数get_htmls

3.curl数据采集系列之正则处理函数get _matches

4.curl数据采集系列之代码分离

5.curl数据采集系列之并行逻辑控制函数web_spider

、、、

单页面采集在数据采集过程中是最常用的一个功能 有时在服务器访问限制的情况下 只能使用这种采集方式 慢 但是可以简单的控制 所以写好一个常用的curl函数调用是很重要的

百度和网易比较熟悉 所以拿这两个网站首页采集来做例子讲解

 

最简单的写法:

复制代码
<span style="color: #008080;">1</span> <span style="color: #800080;">$url</span> = 'http://www.baidu.com'<span style="color: #000000;">;
</span><span style="color: #008080;">2</span> <span style="color: #800080;">$ch</span> = curl_init(<span style="color: #800080;">$url</span><span style="color: #000000;">);
</span><span style="color: #008080;">3</span> curl_setopt(<span style="color: #800080;">$ch</span>,CURLOPT_RETURNTRANSFER,<span style="color: #0000ff;">true</span><span style="color: #000000;">);
</span><span style="color: #008080;">4</span> curl_setopt(<span style="color: #800080;">$ch</span>,CURLOPT_TIMEOUT,5<span style="color: #000000;">);
</span><span style="color: #008080;">5</span> <span style="color: #800080;">$html</span> = curl_exec(<span style="color: #800080;">$ch</span><span style="color: #000000;">);
</span><span style="color: #008080;">6</span> <span style="color: #0000ff;">if</span>(<span style="color: #800080;">$html</span> !== <span style="color: #0000ff;">false</span><span style="color: #000000;">){
</span><span style="color: #008080;">7</span>     <span style="color: #0000ff;">echo</span> <span style="color: #800080;">$html</span><span style="color: #000000;">;
</span><span style="color: #008080;">8</span> }
复制代码

由于使用频繁 可以利用curl_setopt_array写成函数的形式:

复制代码
<span style="color: #008080;"> 1</span> <span style="color: #0000ff;">function</span> get_html(<span style="color: #800080;">$url</span>,<span style="color: #800080;">$options</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">()){
</span><span style="color: #008080;"> 2</span>     <span style="color: #800080;">$options</span>[CURLOPT_RETURNTRANSFER] = <span style="color: #0000ff;">true</span><span style="color: #000000;">;
</span><span style="color: #008080;"> 3</span>     <span style="color: #800080;">$options</span>[CURLOPT_TIMEOUT] = 5<span style="color: #000000;">;
</span><span style="color: #008080;"> 4</span>     <span style="color: #800080;">$ch</span> = curl_init(<span style="color: #800080;">$url</span><span style="color: #000000;">);
</span><span style="color: #008080;"> 5</span>     curl_setopt_array(<span style="color: #800080;">$ch</span>,<span style="color: #800080;">$options</span><span style="color: #000000;">);
</span><span style="color: #008080;"> 6</span>     <span style="color: #800080;">$html</span> = curl_exec(<span style="color: #800080;">$ch</span><span style="color: #000000;">);
</span><span style="color: #008080;"> 7</span>     curl_close(<span style="color: #800080;">$ch</span><span style="color: #000000;">);
</span><span style="color: #008080;"> 8</span>     <span style="color: #0000ff;">if</span>(<span style="color: #800080;">$html</span> === <span style="color: #0000ff;">false</span><span style="color: #000000;">){
</span><span style="color: #008080;"> 9</span>         <span style="color: #0000ff;">return</span> <span style="color: #0000ff;">false</span><span style="color: #000000;">;
</span><span style="color: #008080;">10</span> <span style="color: #000000;">    }
</span><span style="color: #008080;">11</span>     <span style="color: #0000ff;">return</span> <span style="color: #800080;">$html</span><span style="color: #000000;">;
</span><span style="color: #008080;">12</span> }
复制代码
<span style="color: #008080;">1</span> <span style="color: #800080;">$url</span> = 'http://www.baidu.com'<span style="color: #000000;">;
</span><span style="color: #008080;">2</span> <span style="color: #0000ff;">echo</span> get_html(<span style="color: #800080;">$url</span>);

有时候需要传递一些特定的参数才能得到正确的页面 如现在要得到网易的页面:

<span style="color: #008080;">1</span> <span style="color: #800080;">$url</span> = 'http://www.163.com'<span style="color: #000000;">;
</span><span style="color: #008080;">2</span> <span style="color: #0000ff;">echo</span> get_html(<span style="color: #800080;">$url</span>);

会看到一片空白 什么也没有 那么再利用curl_getinfo写一个函数 看看发生了什么:

复制代码
<span style="color: #008080;"> 1</span> <span style="color: #0000ff;">function</span> get_info(<span style="color: #800080;">$url</span>,<span style="color: #800080;">$options</span> = <span style="color: #0000ff;">array</span><span style="color: #000000;">()){
</span><span style="color: #008080;"> 2</span>     <span style="color: #800080;">$options</span>[CURLOPT_RETURNTRANSFER] = <span style="color: #0000ff;">true</span><span style="color: #000000;">;
</span><span style="color: #008080;"> 3</span>     <span style="color: #800080;">$options</span>[CURLOPT_TIMEOUT] = 5<span style="color: #000000;">;
</span><span style="color: #008080;"> 4</span>     <span style="color: #800080;">$ch</span> = curl_init(<span style="color: #800080;">$url</span><span style="color: #000000;">);
</span><span style="color: #008080;"> 5</span>     curl_setopt_array(<span style="color: #800080;">$ch</span>,<span style="color: #800080;">$options</span><span style="color: #000000;">);
</span><span style="color: #008080;"> 6</span>     <span style="color: #800080;">$html</span> = curl_exec(<span style="color: #800080;">$ch</span><span style="color: #000000;">);
</span><span style="color: #008080;"> 7</span>     <span style="color: #800080;">$info</span> = curl_getinfo(<span style="color: #800080;">$ch</span><span style="color: #000000;">);
</span><span style="color: #008080;"> 8</span>     curl_close(<span style="color: #800080;">$ch</span><span style="color: #000000;">);
</span><span style="color: #008080;"> 9</span>     <span style="color: #0000ff;">return</span> <span style="color: #800080;">$info</span><span style="color: #000000;">;
</span><span style="color: #008080;">10</span> <span style="color: #000000;">}
</span><span style="color: #008080;">11</span> <span style="color: #800080;">$url</span> = 'http://www.163.com'<span style="color: #000000;">;
</span><span style="color: #008080;">12</span> <span style="color: #008080;">var_dump</span>(get_info(<span style="color: #800080;">$url</span>));
复制代码

可以看到http_code 302 重定向了 这时候就需要传递一些参数了:

<span style="color: #008080;">1</span> <span style="color: #800080;">$url</span> = 'http://www.163.com'<span style="color: #000000;">;
</span><span style="color: #008080;">2</span> <span style="color: #800080;">$options</span>[CURLOPT_FOLLOWLOCATION] = <span style="color: #0000ff;">true</span><span style="color: #000000;">;
</span><span style="color: #008080;">3</span> <span style="color: #0000ff;">echo</span> get_html(<span style="color: #800080;">$url</span>,<span style="color: #800080;">$options</span>);

会发现 怎么是这样的一个页面 和我们电脑访问的不同???

看来参数还是不够 不够服务器判断我们的客户端是什么设备上的 就返回了个普通版

看来还要传送USERAGENT

 

<span style="color: #008080;">1</span> <span style="color: #800080;">$url</span> = 'http://www.163.com'<span style="color: #000000;">;
</span><span style="color: #008080;">2</span> <span style="color: #800080;">$options</span>[CURLOPT_FOLLOWLOCATION] = <span style="color: #0000ff;">true</span><span style="color: #000000;">;
</span><span style="color: #008080;">3</span> <span style="color: #800080;">$options</span>[CURLOPT_USERAGENT] = 'Mozilla/5.0 (Windows NT 6.1; rv:19.0) Gecko/20100101 Firefox/19.0'<span style="color: #000000;">;
</span><span style="color: #008080;">4</span> <span style="color: #0000ff;">echo</span> get_html(<span style="color: #800080;">$url</span>,<span style="color: #800080;">$options</span>);

 

 

OK现在页面已经出来了 这样基本这个get_html函数基本能实现这样扩展的功能

当然也有另外的办法可以实现,当你明确的知道网易的网页的时候就可以简单采集了:

<span style="color: #008080;">1</span> <span style="color: #800080;">$url</span> = 'http://www.163.com/index.html'<span style="color: #000000;">;
</span><span style="color: #008080;">2</span> <span style="color: #0000ff;">echo</span> get_html(<span style="color: #800080;">$url</span>);

这样也可以正常的采集

今天先告一段落 byebye!!

성명
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.

핫 AI 도구

Undresser.AI Undress

Undresser.AI Undress

사실적인 누드 사진을 만들기 위한 AI 기반 앱

AI Clothes Remover

AI Clothes Remover

사진에서 옷을 제거하는 온라인 AI 도구입니다.

Undress AI Tool

Undress AI Tool

무료로 이미지를 벗다

Clothoff.io

Clothoff.io

AI 옷 제거제

AI Hentai Generator

AI Hentai Generator

AI Hentai를 무료로 생성하십시오.

뜨거운 도구

ZendStudio 13.5.1 맥

ZendStudio 13.5.1 맥

강력한 PHP 통합 개발 환경

에디트플러스 중국어 크랙 버전

에디트플러스 중국어 크랙 버전

작은 크기, 구문 강조, 코드 프롬프트 기능을 지원하지 않음

맨티스BT

맨티스BT

Mantis는 제품 결함 추적을 돕기 위해 설계된 배포하기 쉬운 웹 기반 결함 추적 도구입니다. PHP, MySQL 및 웹 서버가 필요합니다. 데모 및 호스팅 서비스를 확인해 보세요.

SublimeText3 Linux 새 버전

SublimeText3 Linux 새 버전

SublimeText3 Linux 최신 버전

mPDF

mPDF

mPDF는 UTF-8로 인코딩된 HTML에서 PDF 파일을 생성할 수 있는 PHP 라이브러리입니다. 원저자인 Ian Back은 자신의 웹 사이트에서 "즉시" PDF 파일을 출력하고 다양한 언어를 처리하기 위해 mPDF를 작성했습니다. HTML2FPDF와 같은 원본 스크립트보다 유니코드 글꼴을 사용할 때 속도가 느리고 더 큰 파일을 생성하지만 CSS 스타일 등을 지원하고 많은 개선 사항이 있습니다. RTL(아랍어, 히브리어), CJK(중국어, 일본어, 한국어)를 포함한 거의 모든 언어를 지원합니다. 중첩된 블록 수준 요소(예: P, DIV)를 지원합니다.