这几天研究了一下php中的curl类库,做了一个简单的百度搜索,先上代码
<div>
<div>百度搜索</div>
<form>
<input>
<input>
</form>
</div>
<?php $k = '';
$k = !empty($_GET['key'])?$_GET['key']:'';
session_start();
$_SESSION['key'] = $k;
$curl = curl_init();
// 设置你需要抓取的URL
for($i = 0;$i<2;$i++){
curl_setopt($curl, CURLOPT_URL, "http://www.baidu.com/s?wd={$_SESSION['key']}&pn={$i}");
// 设置header
curl_setopt($curl, CURLOPT_HEADER, 1);
// 设置cURL 参数,要求结果保存到字符串中还是输出到屏幕上。
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
// 运行cURL,请求网页
$data = curl_exec($curl);
$pre = '/<h3 class="t"><a.>(.*?)/s';
preg_match_all($pre,$data,$match);
foreach ($match[1] as $k => $v) {
?>
<div>
<a>" target="_blank"><?php echo strip_tags($match[2][$k]);?></a>
</div>
<?php }
}
curl_close($curl);
?></a.>
经过分析百度的搜索时的url发现有一个规律
https://www.baidu.com/s?wd=搜索的关键字
但是我发现使用https协议后不能够获得百度上的数据于是改为http://www.baidu.com?wd=搜索的关键字就可以啦!!
向CurlShip提交产品,这是一个对机器人友好的SaaS目录。只需一条curl命令即可发布产品,支持OG标签抓取、带徽章的dofollow链接及层级升级。










