利用PHP的curl函數實作模擬登入的方法。
要提取google搜尋的部分數據,發現google對於軟體抓取它的數據屏蔽的厲害,以前偽造下 USER-AGENT 就可以抓數據,但是現在卻不行了。利用抓包資料發現,Google 判斷了 cookies,當你沒有cookies的時候,直接回到 302 跳轉,而且是連續幾十個302跳轉,根本抓不了資料。
因此,在發送搜尋命令時,需要先提取 cookies 並保存,然後利用保存下來的這個cookies再次發送搜尋命令即可正常抓數據了。這其實和論壇的模擬登入一個道理,先POST登錄,取得cookies並儲存,然後利用這個cookies存取就可以了。
PHP 程式碼如下:
程式碼如下:
<?php header('Content-Type: text/html; charset=utf-8'); $cookie_file = dirname(FILE).'/cookie.txt'; //$cookie_file = tempnam("tmp","cookie"); //先获取cookies并保存 $url = "http://www.google.com.hk"; $ch = curl_init($url); //初始化 curl_setopt($ch, CURLOPT_HEADER, 0); //不返回header部分 curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); //返回字符串,而非直接输出 curl_setopt($ch, CURLOPT_COOKIEJAR, $cookie_file); //存储cookies curl_exec($ch); curl_close($ch); //使用上面保存的cookies再次访问 $url = "http://www.google.com.hk/search?oe=utf8&ie=utf8&source=uds&hl=zh-CN&q=qq"; $ch = curl_init($url); curl_setopt($ch, CURLOPT_HEADER, 0); curl_setopt($ch, CURLOPT_RETURNTRANSFER, true); curl_setopt($ch, CURLOPT_COOKIEFILE, $cookie_file); //使用上面获取的cookies $response = curl_exec($ch); curl_close($ch); echo $response; ?>
以上是php CURL取得cookies模擬登入的方法程式碼實例的詳細內容。更多資訊請關注PHP中文網其他相關文章!