python实现提取百度搜索结果的方法-Python教程-PHP中文网

首页

后端开发

Python教程

python实现提取百度搜索结果的方法

WBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWBOYWB

Jun 06, 2016 am 11:16 AM

python提取

本文实例讲述了python实现提取百度搜索结果的方法。分享给大家供大家参考。具体实现方法如下：

# coding=utf8
import urllib2
import string
import urllib
import re
import random
#设置多个user_agents，防止百度限制IP
user_agents = ['Mozilla/5.0 (Windows NT 6.1; WOW64; rv:23.0) Gecko/20130406 Firefox/23.0', \
    'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:18.0) Gecko/20100101 Firefox/18.0', \
    'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/533+ \
    (KHTML, like Gecko) Element Browser 5.0', \
    'IBM WebExplorer /v0.94', 'Galaxy/1.0 [en] (Mac OS X 10.5.6; U; en)', \
    'Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.1; WOW64; Trident/6.0)', \
    'Opera/9.80 (Windows NT 6.0) Presto/2.12.388 Version/12.14', \
    'Mozilla/5.0 (iPad; CPU OS 6_0 like Mac OS X) AppleWebKit/536.26 (KHTML, like Gecko) \
    Version/6.0 Mobile/10A5355d Safari/8536.25', \
    'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.36 (KHTML, like Gecko) \
    Chrome/28.0.1468.0 Safari/537.36', \
    'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.0; Trident/5.0; TheWorld)']
def baidu_search(keyword,pn):
  p= {'wd': keyword} 
  res=urllib2.urlopen(("http://www.baidu.com/s&#63;"+urllib.urlencode(p)+"&pn={0}&cl=3&rn=100").format(pn))
  html=res.read()
  return html
def getList(regex,text):
  arr = []
  res = re.findall(regex, text)
  if res:
    for r in res:
      arr.append(r)
  return arr
def getMatch(regex,text):
  res = re.findall(regex, text)
  if res:
    return res[0]
  return ""
def clearTag(text):
  p = re.compile(u'<[^>]+>')
  retval = p.sub("",text)
  return retval
def geturl(keyword):
  for page in range(10):
    pn=page*100+1
    html = baidu_search(keyword,pn)
    content = unicode(html, 'utf-8','ignore')
    arrList = getList(u"<table.*&#63;class=\"result\".*&#63;>.*&#63;<\/a>", content)
    for item in arrList:
      regex = u"<h3.*&#63;class=\"t\".*&#63;><a.*&#63;href=\"(.*&#63;)\".*&#63;>(.*&#63;)<\/a>"
      link = getMatch(regex,item)
      url = link[0]
      #获取标题
      #title = clearTag(link[1]).encode('utf8')
      try:
        domain=urllib2.Request(url)
        r=random.randint(0,11)
        domain.add_header('User-agent', user_agents[r])
        domain.add_header('connection','keep-alive')
        response=urllib2.urlopen(domain)
        uri=response.geturl()
        print uri
      except:
        continue
if __name__=='__main__':
  geturl('python')

希望本文所述对大家的Python程序设计有所帮助。

声明

本文内容由网友自发贡献，版权归原作者所有，本站不承担相应法律责任。如您发现有涉嫌抄袭侵权的内容，请联系admin@php.cn

了解差异：用于循环和python中的循环May 16, 2025 am 12:17 AM

theDifferenceBetweewneaforoopandawhileLoopInpythonisthataThataThataThataThataThataThataNumberoFiterationSiskNownInAdvance，而leleawhileLoopisusedWhenaconDitionNeedneedneedneedNeedStobeCheckedStobeCheckedStobeCheckedStobeCheckedStobeceDrepeTysepectients.peatsiveSectlyStheStobeCeptellyWithnumberofiterations.1）forloopsareAceareIdealForitoringercortersence

Python循环控制：对于vs -a -a比较May 16, 2025 am 12:16 AM

在Python中，for循环适用于已知迭代次数的情况，而while循环适合未知迭代次数且需要更多控制的情况。1）for循环适用于遍历序列，如列表、字符串等，代码简洁且Pythonic。2）while循环在需要根据条件控制循环或等待用户输入时更合适，但需注意避免无限循环。3）性能上，for循环略快，但差异通常不大。选择合适的循环类型可以提高代码的效率和可读性。

如何在Python中结合两个列表：5种简单的方法May 16, 2025 am 12:16 AM

在Python中，可以通过五种方法合并列表：1)使用运算符，简单直观，适用于小列表；2)使用extend()方法，直接修改原列表，适用于需要频繁更新的列表；3)使用列表解析式，简洁且可对元素进行操作；4)使用itertools.chain()函数，内存高效，适合大数据集；5)使用*运算符和zip()函数，适用于需要配对元素的场景。每种方法都有其特定用途和优缺点，选择时应考虑项目需求和性能。

循环时循环：python语法，用例和示例May 16, 2025 am 12:14 AM

foroopsare whenthenemberofiterationsisknown，而whileLoopsareUseduntilacTitionismet.1）ForloopSareIdealForeSequencesLikeLists，UsingSyntaxLike'forfruitinFruitinFruitinFruitIts：print（fruit）'。2）'

python串联列表列表May 16, 2025 am 12:08 AM

toConcateNateAlistofListsInpython，useextend，listComprehensions，itertools.Chain，orrecursiveFunctions.1）ExtendMethodStraightForwardButverBose.2）listComprechencomprechensionsareconconconciseandemandeconeandefforlargerdatasets.3）