Comment créer un moteur de recherche simple

Parfois, en raison du travail et de nos propres besoins, nous parcourons différents sites Web pour obtenir les données dont nous avons besoin, c'est pourquoi les robots d'exploration sont nés. Voici mon processus de développement d'un robot d'exploration simple et les problèmes que j'ai rencontrés.

La dernière fois, Xiaobai a eu un petit robot d'exploration qui travaillait dur et travaillait dur. Il semblait qu'il serait désolé pour ce petit robot s'il ne provoquait pas une série de petites choses, alors Xiaobai a commencé à bricoler. avec des informations provenant de divers experts. L'index inversé est un moteur de recherche simple conçu sur la base de principes de base.

Le robot d'exploration précédent n'obtenait que le code source de la page Web sans effectuer aucun traitement. Il s'agissait d'un petit robot d'exploration unique, donc Xiaobai a utilisé des expressions régulières pour faire correspondre le contenu de la page Web afin d'obtenir l'URL, et puis le petit robot d'exploration Nous pouvons l'utiliser pour nous aider à explorer des pages Web jusqu'à la mort. Je dois mentionner ici beautifulsoup et les expressions régulières. On dit que le module beautifulsoup est un outil puissant pour l'exploration et l'extraction du Web. Xiaobao n'a pas fini. J'ai entendu le nom plus tard et j'ai regretté de ne pas pouvoir l'essayer. Cependant, Xiaobai a personnellement étudié les expressions régulières (maîtrise de force), par exemple, le. URL pour extraire le code source d'une page Web :

 

    link_list = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\&#39;).+?(?=\&#39;)", html)

    这一句就提出个七七八八来，当然这么粗糙鱼目混珠的情况也是少不了的，但是还是非常好用的，
    虽然看起来很复杂但是只要掌握了(?52e6299321e87de75a2b0d13a7b81305be337b902aa7e2394219c5df34c1adf3之中，title和链接什么的也有对应的标签，
    运用正则表单式理论上可以分离出来，不过小白亲身时间发现只匹配一次效果非常不好，
    匹配的内容的确包括想要的内容，但是因为标签一般都是嵌套的嘛而且小白技术毕竟也不好正则表达式可能表述的也有问题，
    所以总是会将内容嵌套在标签中返回，这里就有一个比较笨的方法供大家参考，咳咳，
    既然一次不能得到，那么就对内容进行再匹配，咳咳，经过了三层匹配外加一些小技巧终于是勉强匹配出来了，
    这里代码过于丑陋就不再贴出来了咳咳。

Recommandations associées :

Tutoriel d'introduction au robot Scrapy quatre Spider (crawler)

php implémente le développement de robots simples, php implémente des robots

Ce qui précède est le contenu détaillé de. pour plus d'informations, suivez d'autres articles connexes sur le site Web de PHP en chinois!