搜尋
首頁後端開發php教程浅谈利用php爬取和分析知乎用户数据的方法

浅谈利用php爬取和分析知乎用户数据的方法

PHPz
PHPz
May 16, 2016 pm 07:59 PM
php爬蟲

本文给大家介绍的是利用php的curl编写的爬取知乎用户数据的爬虫，并分析用户的各种属性。有一定的参考价值，有需要的朋友可以参考一下，希望对大家有所帮助。

浅谈利用php爬取和分析知乎用户数据的方法

移动端分析数据截图

1.png

pc端分析数据截图

2.png

整个爬取，分析，展现过程大概分如下几步，小拽将分别介绍

  • curl爬取知乎网页数据

  • 正则分析知乎网页数据

  • 数据数据入库和程序部署

  • 数据分析和呈现

curl爬取网页数据

PHP的curl扩展是PHP支持的，允许你与各种服务器使用各种类型的协议进行连接和通信的库。是一个非常便捷的抓取网页的工具，同时，支持多线程扩展。

本程序抓取的是知乎对外提供用户访问的个人信息页面https://www.zhihu.com/people/xxx,抓取过程需要携带用户cookie才能获取页面。直接上码

获取页面cookie

代码如下：

// 登录知乎，打开个人中心，打开控制台，获取cookie

document.cookie

"_za=67254197-3wwb8d-43f6-94f0-fb0e2d521c31; _ga=GA1.2.2142818188.1433767929; q_c1=78ee1604225d47d08cddd8142a08288b23|1452172601000|1452172601000; _xsrf=15f0639cbe6fb607560c075269064393; cap_id="N2QwMTExNGQ0YTY2NGVddlMGIyNmQ4NjdjOTU0YTM5MmQ=|1453444256|49fdc6b43dc51f702b7d6575451e228f56cdaf5d"; __utmt=1; unlock_ticket="QUJDTWpmM0lsZdd2dYQUFBQVlRSlZUVTNVb1ZaNDVoQXJlblVmWGJ0WGwyaHlDdVdscXdZU1VRPT0=|1453444421|c47a2afde1ff334d416bafb1cc267b41014c9d5f"; __utma=51854390.21428dd18188.1433767929.1453187421.1453444257.3; __utmb=51854390.14.8.1453444425011; __utmc=51854390; __utmz=51854390.1452846679.1.dd1.utmcsr=google|utmccn=(organic)|utmcmd=organic|utmctr=(not%20provided); __utmv=51854390.100-1|2=registration_date=20150823=1^dd3=entry_date=20150823=1"

通过curl，携带cookie，先抓取本人中心页面

/**
 * 通过用户名抓取个人中心页面并存储
 * 
 * @param $username str :用户名 flag
 * @return boolean   :成功与否标志
 */
public function spiderUser($username)
{
  $cookie = "xxxx" ;
  $url_info = 'http://www.zhihu.com/people/' . $username; //此处cui-xiao-zhuai代表用户ID,可以直接看url获取本人id
  $ch = curl_init($url_info); //初始化会话
  curl_setopt($ch, CURLOPT_HEADER, 0);
  curl_setopt($ch, CURLOPT_COOKIE, $cookie); //设置请求COOKIE
  curl_setopt($ch, CURLOPT_USERAGENT, $_SERVER['HTTP_USER_AGENT']);
  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1); //将curl_exec()获取的信息以文件流的形式返回，而不是直接输出。
  curl_setopt($ch, CURLOPT_FOLLOWLOCATION, 1);
  $result = curl_exec($ch);

   file_put_contents('/home/work/zxdata_ch/php/zhihu_spider/file/'.$username.'.html',$result);
   return true;
 }

正则分析网页数据分析新链接，进一步爬取

对于抓取过来的网页进行存储，要想进行进一步的爬取，页面必须包含有可用于进一步爬取用户的链接。通过对知乎页面分析发现：在个人中心页面中有关注人和部分点赞人和被关注人。
如下所示

 代码如下:

// 抓取的html页面中发现了新的用户，可用于爬虫
<a class="zm-item-link-avatar avatar-link" href="/people/new-user" data-tip="p$t$new-user">

ok，这样子就可以通过自己-》关注人-》关注人的关注人-》。。。进行不断爬取。接下来就是通过正则匹配提取该信息

 代码如下:

// 匹配到抓取页面的所有用户
preg_match_all(&#39;/\/people\/([\w-]+)\"/i&#39;, $str, $match_arr);
// 去重合并入新的用户数组,用户进一步抓取
self::$newUserArr = array_unique(array_merge($match_arr[1], self::$newUserArr));

到此，整个爬虫过程就可以顺利进行了。

如果需要大量的抓取数据，可以研究下curl_multi和pcntl进行多线程的快速抓取，此处不做赘述。

分析用户数据，提供分析

通过正则可以进一步匹配出更多的该用户数据，直接上码。

// 获取用户头像
preg_match(&#39;/<img.+src=\"?([^\s]+\.(jpg|gif|bmp|bnp|png))\"?.+>/i&#39;, $str, $match_img);
$img_url = $match_img[1];

// 匹配用户名：
// <span class="name">崔小拽</span>
preg_match(&#39;/<span.+class=\"?name\"?>([\x{4e00}-\x{9fa5}]+).+span>/u&#39;, $str, $match_name);
$user_name = $match_name[1];

// 匹配用户简介
// class bio span 中文
preg_match(&#39;/<span.+class=\"?bio\"?.+\>([\x{4e00}-\x{9fa5}]+).+span>/u&#39;, $str, $match_title);
$user_title = $match_title[1];

// 匹配性别
//<input type="radio" name="gender" value="1" checked="checked" class="male"/> 男  
// gender value1 ;结束 中文
preg_match(&#39;/<input.+name=\"?gender\"?.+value=\"?1\"?.+([\x{4e00}-\x{9fa5}]+).+\;/u&#39;, $str, $match_sex);
$user_sex = $match_sex[1];

// 匹配地区
//<span class="location item" title="北京">
preg_match(&#39;/<span.+class=\"?location.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//<span class="employment item" title="人见人骂的公司">人见人骂的公司</span>
preg_match(&#39;/<span.+class=\"?employment.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配职位
// <span class="position item" title="程序猿"><a href="/topic/19590046" title="程序猿" class="topic-link" data-token="19590046" data-topicid="13253">程序猿</a></span>
preg_match(&#39;/<span.+class=\"?position.+\"?.+\"([\x{4e00}-\x{9fa5}]+).+\">/u&#39;, $str, $match_position);
$user_position = $match_position[1];

// 匹配学历
// <span class="education item" title="研究僧">研究僧</span>
preg_match(&#39;/<span.+class=\"?education.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_education);
$user_education = $match_education[1];

// 工作情况
// <span class="education-extra item" title=&#39;挨踢&#39;>挨踢</span>
preg_match(&#39;/<span.+class=\"?education-extra.+\"?.+>([\x{4e00}-
\x{9fa5}]+)</u&#39;, $str, $match_education_extra);
$user_education_extra = $match_education_extra[1];


// 匹配关注话题数量
// class="zg-link-litblue"><strong>41 个话题</strong></a>
preg_match(&#39;/class=\"?zg-link-litblue\"?><strong>(\d+)\s.+strong>/i&#39;, $str, $match_topic);
$user_topic = $match_topic[1];

// 关注人数
// <span class="zg-gray-normal">关注了
preg_match_all(&#39;/<strong>(\d+)<.+<label>/i&#39;, $str, $match_care);
$user_care = $match_care[1][0];
$user_be_careed = $match_care[1][1];

// 历史浏览量
// <span class="zg-gray-normal">个人主页被 <strong>17</strong> 人浏览</span>
preg_match(&#39;/class=\"?zg-gray-normal\"?.+>(\d+)<.+span>/i&#39;, $str, $match_browse);
$user_browse = $match_browse[1];

在抓取的过程中，有条件的话，一定要通过redis入库，确实能提升抓取和入库效率。没有条件的话只能通过sql优化。这里来几发心德。

数据库表设计索引一定要慎重。在spider爬取的过程中，建议出了用户名，左右字段都不要索引，包括主键都不要，尽可能的提高入库效率，试想5000w的数据，每次添加一个，建立索引需要多少消耗。等抓取完毕，需要分析数据时，批量建立索引。

数据入库和更新操作，一定要批量。 mysql 官方给出的增删改的建议和速度：http://dev.mysql.com/doc/refman/5.7/en/insert-speed.html

# 官方的最优批量插入
INSERT INTO yourtable VALUES (1,2), (5,5), ...;

部署操作。程序在抓取过程中，有可能会出现异常挂掉，为了保证高效稳定，尽可能的写一个定时脚本。每隔一段时间干掉，重新跑，这样即使异常挂掉也不会浪费太多宝贵时间，毕竟，time is money。

#!/bin/bash

# 干掉
ps aux |grep spider |awk &#39;{print $2}&#39;|xargs kill -9
sleep 5s

# 重新跑
nohup /home/cuixiaohuan/lamp/php5/bin/php /home/cuixiaohuan/php/zhihu_spider/spider_new.php &

数据分析呈现

数据的呈现主要使用echarts 3.0，感觉对于移动端兼容还不错。兼容移动端的页面响应式布局主要通过几个简单的css控制，代码如下

// 获取用户头像
preg_match(&#39;/<img.+src=\"?([^\s]+\.(jpg|gif|bmp|bnp|png))\"?.+>/i&#39;, $str, $match_img);
$img_url = $match_img[1];

// 匹配用户名：
// <span class="name">崔小拽</span>
preg_match(&#39;/<span.+class=\"?name\"?>([\x{4e00}-\x{9fa5}]+).+span>/u&#39;, $str, $match_name);
$user_name = $match_name[1];

// 匹配用户简介
// class bio span 中文
preg_match(&#39;/<span.+class=\"?bio\"?.+\>([\x{4e00}-\x{9fa5}]+).+span>/u&#39;, $str, $match_title);
$user_title = $match_title[1];

// 匹配性别
//<input type="radio" name="gender" value="1" checked="checked" class="male"/> 男  
// gender value1 ;结束 中文
preg_match(&#39;/<input.+name=\"?gender\"?.+value=\"?1\"?.+([\x{4e00}-\x{9fa5}]+).+\;/u&#39;, $str, $match_sex);
$user_sex = $match_sex[1];

// 匹配地区
//<span class="location item" title="北京">
preg_match(&#39;/<span.+class=\"?location.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_city);
$user_city = $match_city[1];

// 匹配工作
//<span class="employment item" title="人见人骂的公司">人见人骂的公司</span>
preg_match(&#39;/<span.+class=\"?employment.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_employment);
$user_employ = $match_employment[1];

// 匹配职位
// <span class="position item" title="程序猿"><a href="/topic/19590046" title="程序猿" class="topic-link" data-token="19590046" data-topicid="13253">程序猿</a></span>
preg_match(&#39;/<span.+class=\"?position.+\"?.+\"([\x{4e00}-\x{9fa5}]+).+\">/u&#39;, $str, $match_position);
$user_position = $match_position[1];

// 匹配学历
// <span class="education item" title="研究僧">研究僧</span>
preg_match(&#39;/<span.+class=\"?education.+\"?.+\"([\x{4e00}-\x{9fa5}]+)\">/u&#39;, $str, $match_education);
$user_education = $match_education[1];

// 工作情况
// <span class="education-extra item" title=&#39;挨踢&#39;>挨踢</span>
preg_match(&#39;/<span.+class=\"?education-extra.+\"?.+>([\x{4e00}-
\x{9fa5}]+)</u&#39;, $str, $match_education_extra);
$user_education_extra = $match_education_extra[1];


// 匹配关注话题数量
// class="zg-link-litblue"><strong>41 个话题</strong></a>
preg_match(&#39;/class=\"?zg-link-litblue\"?><strong>(\d+)\s.+strong>/i&#39;, $str, $match_topic);
$user_topic = $match_topic[1];

// 关注人数
// <span class="zg-gray-normal">关注了
preg_match_all(&#39;/<strong>(\d+)<.+<label>/i&#39;, $str, $match_care);
$user_care = $match_care[1][0];
$user_be_careed = $match_care[1][1];

// 历史浏览量
// <span class="zg-gray-normal">个人主页被 <strong>17</strong> 人浏览</span>
preg_match(&#39;/class=\"?zg-gray-normal\"?.+>(\d+)<.+span>/i&#39;, $str, $match_browse);
$user_browse = $match_browse[1];

推荐学习：《PHP视频教程》

陳述
本文轉載於：脚本之家。如有侵權，請聯絡admin@php.cn刪除
相關文章
高流量網站的PHP性能調整高流量網站的PHP性能調整May 14, 2025 am 12:13 AM

TheSecretTokeEpingAphp-PowerEdwebSiterUnningSmoothlyShyunderHeavyLoadInVolvOLVOLVOLDEVERSALKEYSTRATICES：1）emplactopCodeCachingWithOpcachingWithOpCacheToreCescriptexecution Time，2）使用atabasequercachingCachingCachingWithRedataBasEndataBaseLeSendataBaseLoad，3）

PHP中的依賴注入：初學者的代碼示例PHP中的依賴注入：初學者的代碼示例May 14, 2025 am 12:08 AM

你應該關心DependencyInjection(DI)，因為它能讓你的代碼更清晰、更易維護。 1)DI通過解耦類，使其更模塊化，2)提高了測試的便捷性和代碼的靈活性，3)使用DI容器可以管理複雜的依賴關係，但要注意性能影響和循環依賴問題，4)最佳實踐是依賴於抽象接口，實現鬆散耦合。

PHP性能：是否可以優化應用程序？PHP性能：是否可以優化應用程序？May 14, 2025 am 12:04 AM

是的，優化papplicationispossibleandessential.1）empartcachingingcachingusedapcutorediucedsatabaseload.2）優化的atabaseswithexing，高效Quereteries，and ConconnectionPooling.3）EnhanceCodeWithBuilt-unctions，避免使用，避免使用ingglobalalairaiables，並避免使用

PHP性能優化：最終指南PHP性能優化：最終指南May 14, 2025 am 12:02 AM

theKeyStrategiestosigantificallyBoostPhpaPplicationPerformenCeare：1）UseOpCodeCachingLikeLikeLikeLikeLikeCacheToreDuceExecutiontime，2）優化AtabaseInteractionswithPreparedStateTementStatementStatementAndProperIndexing，3）配置

PHP依賴注入容器：快速啟動PHP依賴注入容器：快速啟動May 13, 2025 am 12:11 AM

aphpdepentioncontiveContainerIsatoolThatManagesClassDeptions，增強codemodocultion，可驗證性和Maintainability.itactsasaceCentralHubForeatingingIndections，因此reducingTightCightTightCoupOulplingIndeSingantInting。

PHP中的依賴注入與服務定位器PHP中的依賴注入與服務定位器May 13, 2025 am 12:10 AM

選擇DependencyInjection(DI)用於大型應用，ServiceLocator適合小型項目或原型。 1)DI通過構造函數注入依賴，提高代碼的測試性和模塊化。 2)ServiceLocator通過中心註冊獲取服務，方便但可能導致代碼耦合度增加。

PHP性能優化策略。PHP性能優化策略。May 13, 2025 am 12:06 AM

phpapplicationscanbeoptimizedForsPeedAndeffificeby：1）啟用cacheInphp.ini，2）使用preparedStatatementSwithPdoforDatabasequesies，3）3）替換loopswitharray_filtaray_filteraray_maparray_mapfordataprocrocessing，4）conformentnginxasaseproxy，5）

PHP電子郵件驗證：確保正確發送電子郵件PHP電子郵件驗證：確保正確發送電子郵件May 13, 2025 am 12:06 AM

phpemailvalidation invoLvesthreesteps：1）格式化進行regulareXpressecthemailFormat; 2）dnsvalidationtoshethedomainhasavalidmxrecord; 3）

See all articles

熱AI工具

Undresser.AI Undress

Undresser.AI Undress

人工智慧驅動的應用程序，用於創建逼真的裸體照片

AI Clothes Remover

AI Clothes Remover

用於從照片中去除衣服的線上人工智慧工具。

Undress AI Tool

Undress AI Tool

免費脫衣圖片

Clothoff.io

Clothoff.io

AI脫衣器

Video Face Swap

Video Face Swap

使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！

顯示更多

熱門文章

如何修復KB5055612無法在Windows 10中安裝？
4 週前ByDDD
<🎜>：種植花園 - 完整的突變指南
3 週前ByDDD
<🎜>：泡泡膠模擬器無窮大 - 如何獲取和使用皇家鑰匙
3 週前By尊渡假赌尊渡假赌尊渡假赌
北端：融合系統，解釋
4 週前By尊渡假赌尊渡假赌尊渡假赌
Mandragora：巫婆樹的耳語 - 如何解鎖抓鉤
3 週前By尊渡假赌尊渡假赌尊渡假赌
顯示更多

熱工具

MantisBT

MantisBT

Mantis是一個易於部署的基於Web的缺陷追蹤工具，用於幫助產品缺陷追蹤。它需要PHP、MySQL和一個Web伺服器。請查看我們的演示和託管服務。

EditPlus 中文破解版

EditPlus 中文破解版

體積小，語法高亮，不支援程式碼提示功能

Dreamweaver Mac版

Dreamweaver Mac版

視覺化網頁開發工具

Atom編輯器mac版下載

Atom編輯器mac版下載

最受歡迎的的開源編輯器

WebStorm Mac版

WebStorm Mac版

好用的JavaScript開發工具

顯示更多

熱門話題

Java教學
1669
14
CakePHP 教程
1428
52
Laravel 教程
1329
25
PHP教程
1273
29
C# 教程
1256
24
顯示更多