Warum treten 403-Probleme auf, wenn Sie einen Crawler zum Crawlen von Daten zu Zhihu-Inhalten verwenden?

Ich möchte die Follow-Informationen von Benutzern auf Zhihu erfassen, z. B. überprüfen, wem A folgt, und die Liste der Follower über die Seite www.zhihu.com/people/XXX/followees abrufen, aber während der Erfassung ist ein 403-Problem aufgetreten.
1. Der Crawler dient nur zum Sammeln von Benutzerinformationen und wird für akademische Forschung verwendet, nicht für kommerzielle oder andere Zwecke
2. Verwenden Sie PHP, verwenden Sie Curl, um Anfragen zu erstellen, und verwenden Sie simple_html_dom, um Dokumente zu analysieren
3. Im Benutzer Die Liste der Follower (Followees) sollte Ajax verwenden, um dynamisch mehr Follower zu laden. Ich möchte also die Daten der Schnittstelle direkt crawlen. Ich kann sehen, dass das Laden weiterer Follower über http:// www.zhihu.com/node/ProfileFolloweesListV2, und die Post-Daten umfassen _xsrf, Methode, Parmas usw Ich habe simuliert, während ich noch angemeldet bin, eine Anfrage an diesen Link mit den für die Veröffentlichung erforderlichen Parametern zu senden, aber es wird eine 403 zurückgegeben. 4. Wenn ich aber auch die Anmeldung simuliere, kann ich Daten analysieren, die kein Ajax erfordern, wie z. B. die Anzahl der Likes und Dankeschöns.
5 Stellen Sie den Anforderungsheader so ein, dass er mit dem Anforderungsheader der von mir im Browser übermittelten Anforderung übereinstimmt. Dies führte jedoch immer noch zu einem 403-Fehler
6. Ich habe versucht, den Anforderungsheader von Curl auszudrucken, um ihn mit dem Anforderungsheader zu vergleichen vom Browser gesendet, aber nichts Finden Sie den richtigen Weg (curl_getinfo() von Baidu scheint die entsprechende Nachricht auszudrucken)
7. Viele Leute sind auf 403 gestoßen, weil User-Agent oder X-Requested-With nicht festgelegt war, aber Ich beschreibe die Einstellungen in 5. Die Anforderungsheader sind alle festgelegt
8. Wenn die Beschreibung unklar ist und Sie den Code posten müssen, kann ich den Code posten
9. Dieser Crawler ist Teil meines endgültigen Designs und ich Sie müssen Daten für die nächste Arbeit erhalten, z. B. 1 Wie ich bereits sagte, dient das Crawlen von Daten ausschließlich der akademischen Forschung
Antwortinhalt:

Wenn der Server über eine Firewall-Funktion verfügt, kann das kontinuierliche Crawlen unterbrochen werden, es sei denn, Sie verfügen über viele Proxyserver. Oder der einfachste Weg ist, ADSL zu verwenden, um die IP ständig erneut anzuwählen und zu ändern. Sie suchen sich zunächst einen Browser und studieren den HTTP-Header der Anfrage, bevor Sie darauf zugreifen. In den letzten zwei Tagen habe ich gerade einen Crawler erstellt, um mithilfe von Python die Follower und Follower von Benutzern zu erfassen. Hier ist ein Teil des Python-Codes für Sie. Sie können sich den Code ansehen, um Ihr Codeproblem zu erkennen.

403 sollte bedeuten, dass einige Daten während der Anfrage falsch gesendet wurden. Der Inhalt im Text ist die ID des Benutzers und hat ihn eingefügt Ende.

<code class="language-python3"><span class="c">#encoding=utf8</span>
<span class="kn">import</span> <span class="nn">urllib2</span>
<span class="kn">import</span> <span class="nn">json</span>
<span class="kn">import</span> <span class="nn">requests</span>
<span class="kn">from</span> <span class="nn">bs4</span> <span class="k">import</span> <span class="n">BeautifulSoup</span>

<span class="n">Default_Header</span> <span class="o">=</span> <span class="p">{</span><span class="s">'X-Requested-With'</span><span class="p">:</span> <span class="s">'XMLHttpRequest'</span><span class="p">,</span>
                  <span class="s">'Referer'</span><span class="p">:</span> <span class="s">'http://www.zhihu.com'</span><span class="p">,</span>
                  <span class="s">'User-Agent'</span><span class="p">:</span> <span class="s">'Mozilla/5.0 (X11; Ubuntu; Linux x86_64; '</span>
                                <span class="s">'rv:39.0) Gecko/20100101 Firefox/39.0'</span><span class="p">,</span>
                  <span class="s">'Host'</span><span class="p">:</span> <span class="s">'www.zhihu.com'</span><span class="p">}</span>
<span class="n">_session</span> <span class="o">=</span> <span class="n">requests</span><span class="o">.</span><span class="n">session</span><span class="p">()</span>
<span class="n">_session</span><span class="o">.</span><span class="n">headers</span><span class="o">.</span><span class="n">update</span><span class="p">(</span><span class="n">Default_Header</span><span class="p">)</span> 
<span class="n">resourceFile</span> <span class="o">=</span> <span class="nb">open</span><span class="p">(</span><span class="s">'/root/Desktop/UserId.text'</span><span class="p">,</span><span class="s">'r'</span><span class="p">)</span>
<span class="n">resourceLines</span> <span class="o">=</span> <span class="n">resourceFile</span><span class="o">.</span><span class="n">readlines</span><span class="p">()</span>
<span class="n">resultFollowerFile</span> <span class="o">=</span> <span class="nb">open</span><span class="p">(</span><span class="s">'/root/Desktop/userIdFollowees.text'</span><span class="p">,</span><span class="s">'a+'</span><span class="p">)</span>
<span class="n">resultFolloweeFile</span> <span class="o">=</span> <span class="nb">open</span><span class="p">(</span><span class="s">'/root/Desktop/userIdFollowers.text'</span><span class="p">,</span><span class="s">'a+'</span><span class="p">)</span>

<span class="n">BASE_URL</span> <span class="o">=</span> <span class="s">'https://www.zhihu.com/'</span>
<span class="n">CAPTURE_URL</span> <span class="o">=</span> <span class="n">BASE_URL</span><span class="o">+</span><span class="s">'captcha.gif?r=1466595391805&type=login'</span>
<span class="n">PHONE_LOGIN</span> <span class="o">=</span> <span class="n">BASE_URL</span> <span class="o">+</span> <span class="s">'login/phone_num'</span>

<span class="k">def</span> <span class="nf">login</span><span class="p">():</span>
    <span class="sd">'''登录知乎'''</span>
    <span class="n">username</span> <span class="o">=</span> <span class="s">''</span><span class="c">#用户名</span>
    <span class="n">password</span> <span class="o">=</span> <span class="s">''</span><span class="c">#密码，注意我这里用的是手机号登录，用邮箱登录需要改一下下面登录地址</span>
    <span class="n">cap_content</span> <span class="o">=</span> <span class="n">urllib2</span><span class="o">.</span><span class="n">urlopen</span><span class="p">(</span><span class="n">CAPTURE_URL</span><span class="p">)</span><span class="o">.</span><span class="n">read</span><span class="p">()</span>
    <span class="n">cap_file</span> <span class="o">=</span> <span class="nb">open</span><span class="p">(</span><span class="s">'/root/Desktop/cap.gif'</span><span class="p">,</span><span class="s">'wb'</span><span class="p">)</span>
    <span class="n">cap_file</span><span class="o">.</span><span class="n">write</span><span class="p">(</span><span class="n">cap_content</span><span class="p">)</span>
    <span class="n">cap_file</span><span class="o">.</span><span class="n">close</span><span class="p">()</span>
    <span class="n">captcha</span> <span class="o">=</span> <span class="n">raw_input</span><span class="p">(</span><span class="s">'capture:'</span><span class="p">)</span>
    <span class="n">data</span> <span class="o">=</span> <span class="p">{</span><span class="s">"phone_num"</span><span class="p">:</span><span class="n">username</span><span class="p">,</span><span class="s">"password"</span><span class="p">:</span><span class="n">password</span><span class="p">,</span><span class="s">"captcha"</span><span class="p">:</span><span class="n">captcha</span><span class="p">}</span>
    <span class="n">r</span> <span class="o">=</span> <span class="n">_session</span><span class="o">.</span><span class="n">post</span><span class="p">(</span><span class="n">PHONE_LOGIN</span><span class="p">,</span> <span class="n">data</span><span class="p">)</span>
    <span class="nb">print</span> <span class="p">(</span><span class="n">r</span><span class="o">.</span><span class="n">json</span><span class="p">())[</span><span class="s">'msg'</span><span class="p">]</span>
    
<span class="k">def</span> <span class="nf">readFollowerNumbers</span><span class="p">(</span><span class="n">followerId</span><span class="p">,</span><span class="n">followType</span><span class="p">):</span>
    <span class="sd">'''读取每一位用户的关注者和追随者，根据type进行判断'''</span>
    <span class="nb">print</span> <span class="n">followerId</span>
    <span class="n">personUrl</span> <span class="o">=</span> <span class="s">'https://www.zhihu.com/people/'</span> <span class="o">+</span> <span class="n">followerId</span><span class="o">.</span><span class="n">strip</span><span class="p">(</span><span class="s">'</span><span class="se">\n</span><span class="s">'</span><span class="p">)</span>
    <span class="n">xsrf</span> <span class="o">=</span><span class="n">getXsrf</span><span class="p">()</span>
    <span class="n">hash_id</span> <span class="o">=</span> <span class="n">getHashId</span><span class="p">(</span><span class="n">personUrl</span><span class="p">)</span>
    <span class="n">headers</span> <span class="o">=</span> <span class="nb">dict</span><span class="p">(</span><span class="n">Default_Header</span><span class="p">)</span>
    <span class="n">headers</span><span class="p">[</span><span class="s">'Referer'</span><span class="p">]</span><span class="o">=</span> <span class="n">personUrl</span> <span class="o">+</span> <span class="s">'/follow'</span><span class="o">+</span><span class="n">followType</span>
    <span class="n">followerUrl</span> <span class="o">=</span> <span class="s">'https://www.zhihu.com/node/ProfileFollow'</span><span class="o">+</span><span class="n">followType</span><span class="o">+</span><span class="s">'ListV2'</span>
    <span class="n">params</span> <span class="o">=</span> <span class="p">{</span><span class="s">"offset"</span><span class="p">:</span><span class="mi">0</span><span class="p">,</span><span class="s">"order_by"</span><span class="p">:</span><span class="s">"created"</span><span class="p">,</span><span class="s">"hash_id"</span><span class="p">:</span><span class="n">hash_id</span><span class="p">}</span>
    <span class="n">params_encode</span> <span class="o">=</span> <span class="n">json</span><span class="o">.</span><span class="n">dumps</span><span class="p">(</span><span class="n">params</span><span class="p">)</span>
    <span class="n">data</span> <span class="o">=</span> <span class="p">{</span><span class="s">"method"</span><span class="p">:</span><span class="s">"next"</span><span class="p">,</span><span class="s">"params"</span><span class="p">:</span><span class="n">params_encode</span><span class="p">,</span><span class="s">'_xsrf'</span><span class="p">:</span><span class="n">xsrf</span><span class="p">}</span>
    
    <span class="n">signIndex</span> <span class="o">=</span> <span class="mi">20</span>
    <span class="n">offset</span> <span class="o">=</span> <span class="mi">0</span>
    <span class="k">while</span> <span class="n">signIndex</span> <span class="o">==</span> <span class="mi">20</span><span class="p">:</span>
        <span class="n">params</span><span class="p">[</span><span class="s">'offset'</span><span class="p">]</span> <span class="o">=</span> <span class="n">offset</span>
        <span class="n">data</span><span class="p">[</span><span class="s">'params'</span><span class="p">]</span> <span class="o">=</span> <span class="n">json</span><span class="o">.</span><span class="n">dumps</span><span class="p">(</span><span class="n">params</span><span class="p">)</span>
        <span class="n">followerUrlJSON</span> <span class="o">=</span> <span class="n">_session</span><span class="o">.</span><span class="n">post</span><span class="p">(</span><span class="n">followerUrl</span><span class="p">,</span><span class="n">data</span><span class="o">=</span><span class="n">data</span><span class="p">,</span><span class="n">headers</span> <span class="o">=</span> <span class="n">headers</span><span class="p">)</span>
        <span class="n">signIndex</span> <span class="o">=</span> <span class="nb">len</span><span class="p">((</span><span class="n">followerUrlJSON</span><span class="o">.</span><span class="n">json</span><span class="p">())[</span><span class="s">'msg'</span><span class="p">])</span>
        <span class="n">offset</span> <span class="o">=</span> <span class="n">offset</span> <span class="o">+</span> <span class="n">signIndex</span>
        <span class="n">followerHtml</span> <span class="o">=</span>  <span class="p">(</span><span class="n">followerUrlJSON</span><span class="o">.</span><span class="n">json</span><span class="p">())[</span><span class="s">'msg'</span><span class="p">]</span>
        <span class="k">for</span> <span class="n">everHtml</span> <span class="ow">in</span> <span class="n">followerHtml</span><span class="p">:</span>
            <span class="n">everHtmlSoup</span> <span class="o">=</span> <span class="n">BeautifulSoup</span><span class="p">(</span><span class="n">everHtml</span><span class="p">)</span>
            <span class="n">personId</span> <span class="o">=</span>  <span class="n">everHtmlSoup</span><span class="o">.</span><span class="n">a</span><span class="p">[</span><span class="s">'href'</span><span class="p">]</span>
            <span class="n">resultFollowerFile</span><span class="o">.</span><span class="n">write</span><span class="p">(</span><span class="n">personId</span><span class="o">+</span><span class="s">'</span><span class="se">\n</span><span class="s">'</span><span class="p">)</span>
            <span class="nb">print</span> <span class="n">personId</span>
            
    
<span class="k">def</span> <span class="nf">getXsrf</span><span class="p">():</span>
    <span class="sd">'''获取用户的xsrf这个是当前用户的'''</span>
    <span class="n">soup</span> <span class="o">=</span> <span class="n">BeautifulSoup</span><span class="p">(</span><span class="n">_session</span><span class="o">.</span><span class="n">get</span><span class="p">(</span><span class="n">BASE_URL</span><span class="p">)</span><span class="o">.</span><span class="n">content</span><span class="p">)</span>
    <span class="n">_xsrf</span> <span class="o">=</span> <span class="n">soup</span><span class="o">.</span><span class="n">find</span><span class="p">(</span><span class="s">'input'</span><span class="p">,</span><span class="n">attrs</span><span class="o">=</span><span class="p">{</span><span class="s">'name'</span><span class="p">:</span><span class="s">'_xsrf'</span><span class="p">})[</span><span class="s">'value'</span><span class="p">]</span>
    <span class="k">return</span> <span class="n">_xsrf</span>
    
<span class="k">def</span> <span class="nf">getHashId</span><span class="p">(</span><span class="n">personUrl</span><span class="p">):</span>
    <span class="sd">'''这个是需要抓取的用户的hashid，不是当前登录用户的hashid'''</span>
    <span class="n">soup</span> <span class="o">=</span> <span class="n">BeautifulSoup</span><span class="p">(</span><span class="n">_session</span><span class="o">.</span><span class="n">get</span><span class="p">(</span><span class="n">personUrl</span><span class="p">)</span><span class="o">.</span><span class="n">content</span><span class="p">)</span>
    <span class="n">hashIdText</span> <span class="o">=</span> <span class="n">soup</span><span class="o">.</span><span class="n">find</span><span class="p">(</span><span class="s">'script'</span><span class="p">,</span> <span class="n">attrs</span><span class="o">=</span><span class="p">{</span><span class="s">'data-name'</span><span class="p">:</span> <span class="s">'current_people'</span><span class="p">})</span>
    <span class="k">return</span> <span class="n">json</span><span class="o">.</span><span class="n">loads</span><span class="p">(</span><span class="n">hashIdText</span><span class="o">.</span><span class="n">text</span><span class="p">)[</span><span class="mi">3</span><span class="p">]</span>

<span class="k">def</span> <span class="nf">main</span><span class="p">():</span>
    <span class="n">login</span><span class="p">()</span>
    <span class="n">followType</span> <span class="o">=</span> <span class="nb">input</span><span class="p">(</span><span class="s">'请配置抓取类别：0-抓取关注了谁 其它-被哪些人关注'</span><span class="p">)</span>
    <span class="n">followType</span> <span class="o">=</span> <span class="s">'ees'</span> <span class="k">if</span> <span class="n">followType</span> <span class="o">==</span> <span class="mi">0</span> <span class="k">else</span> <span class="s">'ers'</span>
    <span class="k">for</span> <span class="n">followerId</span> <span class="ow">in</span> <span class="n">resourceLines</span><span class="p">:</span>
        <span class="k">try</span><span class="p">:</span>
            <span class="n">readFollowerNumbers</span><span class="p">(</span><span class="n">followerId</span><span class="p">,</span><span class="n">followType</span><span class="p">)</span>
            <span class="n">resultFollowerFile</span><span class="o">.</span><span class="n">flush</span><span class="p">()</span>
        <span class="k">except</span><span class="p">:</span>
            <span class="k">pass</span>
   
<span class="k">if</span> <span class="n">__name__</span><span class="o">==</span><span class="s">'__main__'</span><span class="p">:</span>
    <span class="n">main</span><span class="p">()</span>
</code>

Es handelt sich um nichts anderes als Useragent, Referrer, Token und Cookie Ich denke, es kann zwei Gründe haben:

1. Keine Cookies
2. _xsrf- oder hash_id-Fehler

Lassen Sie mich diese Frage beantworten. Es handelt sich nicht um den von der Homepage erhaltenen _xsrf-Wert, sondern um den über das Cookie zurückgegebenen Wert Holen Sie sich den richtigen Wert, sonst wird immer ein 403-Fehler gemeldet (ich habe das herausgefunden, als Post eine Frage stellte, ich glaube, Sie haben ähnliche Probleme, also gehen Sie direkt zum Code):

/// < Zusammenfassung>
/// Zhihu-Frage
///
/// Fragetitel
// / < ;param name="question_detail">Details
/// Nach dem Anmelden erhaltenes Cookie
public void ZhiHuFaTie( string questions_title,string question_detail,CookieContainer cookie)
{
question_title=“Frageinhalt“;
question_detail=“Frageausführliche Beschreibung“;

//Cookies durchlaufen und den Wert von _xsrf
var abrufen list = GetAllCookies(cookie);
foreach (var item in list)
{
if (item.Name == "_xsrf")
{
xsrf = item Value;
break;
}
}
//Post
var FaTiePostUrl = "http://www.zhihu.com/question/add ";
var dd = topicStr.ToCharArray();
var FaTiePostStr = "question_title=" HttpUtility.UrlEncode(question_title) "&question_detail=" HttpUtility.UrlEncode(question_detail) " &anon=0&topic_ids= " topicId "&new_topics=&_xsrf=" xsrf;
var FaTieResult = nhp.PostResultHtml(FaTiePostUrl, cookie, "http://www.zhihu.com/", FaTiePostStr);
}


///

/// Traverse CookieContainer
///

/// < ;/param>
///
public static List GetAllCookies(CookieContainer cc)
{
List lstCookies = new List
Hashtable table = (Hashtable)cc.GetType().InvokeMember("m_domainTable",
System.Reflection.BindingFlags.NonPublic | System.Reflection.BindingFlags.GetField |
System.Reflection. BindingFlags.Instance, null, cc, neues Objekt[] { });

foreach (object pathList in table.Values)
{
SortedList lstCookieCol = (SortedList)pathList(). InvokeMember("m_list",
System.Reflection.BindingFlags.NonPublic | System.Reflection.BindingFlags.GetField
| System.Reflection.BindingFlags.Instance, null, pathList, neues Objekt[] { } );
foreach (CookieCollection colCookies in lstCookieCol.Values)
foreach (Cookie c in colCookies) lstCookies.Add(c);
}
return lstCookies;
} Ändern Sie das X-Forwarded-For-Feld des Headers, um die IP-Adresse zu verschleiern Was für ein Zufall, ich bin erst gestern Abend auf dieses Problem gestoßen. Dafür kann es viele Gründe geben. Ich erzähle Ihnen nur, was mir begegnet ist, nur als Referenz und um eine Idee zu vermitteln. Ich habe Sina Weibo gecrawlt und einen Proxy verwendet. Der 403 erscheint, weil die Website beim Zugriff abgelehnt wird. Wenn ich mir nur ein paar Webseiten ansehe, wird 403 angezeigt, aber es ist in Ordnung, wenn ich sie ein paar Mal aktualisiere. Die Implementierung im Code besteht darin, mehrmals anzufordern. Nachdem ich die obige Antwort gelesen hatte, war ich sofort fassungslos. Es gibt so viele tolle Leute, aber ich schlage vor, Sie fragen Kai-Fu Lee~ Haha Lassen Sie uns darüber sprechen, wie die Schnittstelle abgefangen wird ... Warum kann ich die Schnittstelle nicht mit Firebug abfangen? ist regelmäßig.