如何做一个简易的搜索引擎

有时候因为工作、自身的需求，我们都会去浏览不同网站去获取我们需要的数据，于是爬虫应运而生，下面是我在开发一个简单爬虫的经过与遇到的问题。

      上一次小白已经得到了一个任劳任怨的网络小爬虫，要是不搞一波小事情似乎对不太起这个小爬虫，于是乎小白又鼓捣鼓捣参考各方大神的资料以倒排索引为基础原理设计了一个简答的搜索引擎。

       之前的爬虫只是得到了网页的源码而没有做任何处理，乃是一个一次性的小爬虫，所以小白用正则表达式对网页内容进行匹配得到其中的网址，之后小爬虫就可以利用这个自生自灭至死方休的帮我们爬取网页拉，这里不得不提一下beautifulsoup和正则表达式了，据说beautifulsoup模块是一个网页爬取提取的利器，只可惜小宝在做完之后才听得大名万分遗憾没能试用一番，但是正则表达时小白可是切身的研究了一丢丢，熟练了（强行熟练）也是非常的好用，比如提取网页源码的网址：

      

    link_list = re.findall(r"(?<=href=\").+?(?=\")|(?<=href=\&#39;).+?(?=\&#39;)", html)

    这一句就提出个七七八八来，当然这么粗糙鱼目混珠的情况也是少不了的，但是还是非常好用的，
    虽然看起来很复杂但是只要掌握了(?52e6299321e87de75a2b0d13a7b81305be337b902aa7e2394219c5df34c1adf3之中，title和链接什么的也有对应的标签，
    运用正则表单式理论上可以分离出来，不过小白亲身时间发现只匹配一次效果非常不好，
    匹配的内容的确包括想要的内容，但是因为标签一般都是嵌套的嘛而且小白技术毕竟也不好正则表达式可能表述的也有问题，
    所以总是会将内容嵌套在标签中返回，这里就有一个比较笨的方法供大家参考，咳咳，
    既然一次不能得到，那么就对内容进行再匹配，咳咳，经过了三层匹配外加一些小技巧终于是勉强匹配出来了，
    这里代码过于丑陋就不再贴出来了咳咳。

相关推荐：

Scrapy爬虫入门教程四 Spider（爬虫）

php实现简单爬虫的开发，php实现爬虫

以上是如何做一个简易的搜索引擎的详细内容。更多信息请关注PHP中文网其他相关文章！