ホームページ  >  記事  >  バックエンド開発  >  PythonでBaidu Cloud接続方法をクロールする方法

PythonでBaidu Cloud接続方法をクロールする方法

巴扎黑
巴扎黑オリジナル
2017-08-07 17:34:302356ブラウズ

この記事では主に、Baidu クラウド接続をクロールする Python urllib のサンプル コードを紹介します。興味のある方は参考にしてください。

以前書いたプログラムを調べてみると、Duoduo Baidu Cloud のクロール ディスクを作成したことがわかりました。リソースは、トランスフォーマーを見たいと思って私が作成したもので、Python に初めて触れたので、このプログラムを思いつくのに約 2 日かかりました。コードがどのように書かれているかは、次のとおりです。その時は本当に低いです。今はそれほどうまくはありませんが、笑、私はまだ勉強中なので、あまり説明しません。コードは上の図に示されています。変数宣言が何であったかを忘れてしまったためです(手動の傲慢さ)。当時はファイルの書き方すら知りませんでした、ははははは、ああ、Python を学ぶことでたくさんのことを学びました


from bs4 import BeautifulSoup
import urllib
import requests
import re

adr =[]

''''对搜素资源名字进行url编码'''
search_text =raw_input('请输入搜索资源名:')
search_text = search_text.decode('gbk')
search_text = search_text.encode('utf-8')
search_text = urllib.quote(search_text)


''''获取文件地址'''
home = urllib.urlopen('http://www.panduoduo.net/s/name/'+search_text)


'''获取百度云地址'''
def getbaidu(adr):
  for i in adr:
    url = urllib.urlopen('http://www.panduoduo.net'+i)
    bs = BeautifulSoup(url)
    bs1 = bs.select('.dbutton2')
    href = re.compile('http\%(\%|\d|\w|\/\/|\/|\.)*')
    b = href.search(str(bs1))
    name = str(bs.select('.center')).decode('utf-8')
    text1 = re.compile(&#39;\<h1\sclass\=\"center"\>[\d|\w|\D|\W]*\</h1\>&#39;)
    text2 = text1.search(name)
    rag1 = re.compile(&#39;\>[\d|\w|\D|\W]*\<&#39;)
    if text2:
      text3 = rag1.search(text2.group())
      if text3:
        print text3.group()
    if b:
      text = urllib.unquote(str(b.group())).decode(&#39;utf-8&#39;)
      print text

&#39;&#39;&#39;初始化&#39;&#39;&#39;
def init(adr):
  soup = BeautifulSoup(home)
  soup = soup.select(&#39;.row&#39;)
  pattern = re.compile(&#39;\/r\/\d+&#39;)
  for i in soup:
    i = str(i)
    adress = pattern.search(i)
    adress = adress.group()
    adr.append(adress)


print &#39;running---------&#39;    
init(adr)
getbaidu(adr)

以上がPythonでBaidu Cloud接続方法をクロールする方法の詳細内容です。詳細については、PHP 中国語 Web サイトの他の関連記事を参照してください。

声明:
この記事の内容はネチズンが自主的に寄稿したものであり、著作権は原著者に帰属します。このサイトは、それに相当する法的責任を負いません。盗作または侵害の疑いのあるコンテンツを見つけた場合は、admin@php.cn までご連絡ください。