So erstellen Sie eine einfache Suchmaschine

Manchmal durchsuchen wir aufgrund der Arbeit und unserer eigenen Bedürfnisse verschiedene Websites, um die Daten zu erhalten, die wir benötigen. Daher sind Crawler entstanden. Das Folgende ist mein Prozess zur Entwicklung eines einfachen Crawlers und die Probleme, auf die ich gestoßen bin.

Das letzte Mal bekam Xiaobai einen kleinen Webcrawler, der fleißig und fleißig war. Es schien, als würde ihm dieser kleine Crawler leidtun, wenn er nicht eine Reihe kleiner Dinge verursachte, also begann Xiaobai zu basteln mit Informationen von verschiedenen Experten ist eine einfache Suchmaschine, die auf Grundprinzipien basiert.

Der vorherige Crawler hat nur den Quellcode der Webseite abgerufen, ohne ihn zu verarbeiten. Da es sich um einen einmaligen kleinen Crawler handelte, verwendete Xiaobai reguläre Ausdrücke, um den Inhalt der Webseite abzugleichen und die URL abzurufen. Und dann kann der kleine Crawler uns dabei helfen, Webseiten bis zum Tod zu crawlen. Es wird gesagt, dass das Beautifulsoup-Modul ein leistungsstarkes Tool zum Web-Crawling und zur Extraktion ist Xiaobao ist noch nicht fertig, als ich erst später von dem Namen hörte und es bereute, ihn nicht ausprobieren zu können. Sobald er sich jedoch mit den regulären Ausdrücken auskennt, ist es auch sehr einfach Verwenden Sie zum Beispiel die URL zum Extrahieren des Quellcodes einer Webseite:

 

    link_list = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\&#39;).+?(?=\&#39;)", html)

    这一句就提出个七七八八来，当然这么粗糙鱼目混珠的情况也是少不了的，但是还是非常好用的，
    虽然看起来很复杂但是只要掌握了(?<pre class="brush:php;toolbar:false">    有了爬取下来的网页内容下面就应该是得到其中真正呈现在网页中的东西了。
    写过网页的同学们都应该知道网页内容一般都在<p>之中，title和链接什么的也有对应的标签，
    运用正则表单式理论上可以分离出来，不过小白亲身时间发现只匹配一次效果非常不好，
    匹配的内容的确包括想要的内容，但是因为标签一般都是嵌套的嘛而且小白技术毕竟也不好正则表达式可能表述的也有问题，
    所以总是会将内容嵌套在标签中返回，这里就有一个比较笨的方法供大家参考，咳咳，
    既然一次不能得到，那么就对内容进行再匹配，咳咳，经过了三层匹配外加一些小技巧终于是勉强匹配出来了，
    这里代码过于丑陋就不再贴出来了咳咳。</p>

Verwandte Empfehlungen:

Scrapy-Crawler-Einführungs-Tutorial vier Spider (Crawler )

PHP realisiert die Entwicklung einfacher Crawler, PHP implementiert Crawler

Das obige ist der detaillierte Inhalt vonSo erstellen Sie eine einfache Suchmaschine. Für weitere Informationen folgen Sie bitte anderen verwandten Artikeln auf der PHP chinesischen Website!