Python의 크롤러 프레임워크(talonspider)에 대한 간략한 소개

이 글은 python을 사용하여 개발된 크롤러프레임워크talonspider에 대한 간단한 소개와 사용 방법을 소개합니다. 필요한 친구들이 참고할 수 있습니다

1.

일부 간단한 페이지의 경우 상대적으로 큰 프레임워크를 사용하여 크롤링할 필요가 없습니다. 혼자서 직접 작성하는 것은 번거로울 수 있습니다.

그래서 저는 이 요구 사항에 맞춰 talonspider를 작성했습니다.

•1. 항목 추출 - 자세한 소개 여기를 클릭하세요
•2.spider 모듈 - 자세한 소개를 보려면 여기를 클릭하세요

2. 소개 및 사용

2.1.item

이 모듈은 비교적 간단한 요청이 있는 일부 웹사이트에서는 독립적으로 사용할 수 있습니다( 요청만 받기 등), 이 모듈을 사용하여 원하는 크롤러를 빠르게 작성할 수 있습니다. 예를 들어(아래 python3 사용, python2의 예제 디렉토리 참조):

2.1.1 단일 페이지 단일 대상

예를 들어. , 이 URL을 얻으려면 http://book.qidian.com/info/1004608738 책 정보, 표지 및 기타 정보를 다음과 같이 직접 작성할 수 있습니다.

import time
from talonspider import Item, TextField, AttrField
from pprint import pprint

class TestSpider(Item):
  title = TextField(css_select='.book-info>h1>em')
  author = TextField(css_select='a.writer')
  cover = AttrField(css_select='a#bookImg>img', attr='src')

  def tal_title(self, title):
    return title

  def tal_cover(self, cover):
    return 'http:' + cover

if name == 'main':
  item_data = TestSpider.get_item(url='http://book.qidian.com/info/1004608738')
  pprint(item_data)

자세한 내용은 qidian_details_by_item.py

2.1을 참조하세요. 1. 단일 페이지 다중 대상

예를 들어 Douban 250 Movies 홈페이지에 표시된 25개의 영화를 가져옵니다. 이 페이지에는 25개의 목표가 있습니다.

from talonspider import Item, TextField, AttrField
from pprint import pprint

# 定义继承自item的爬虫类
class DoubanSpider(Item):
  target_item = TextField(css_select='p.item')
  title = TextField(css_select='span.title')
  cover = AttrField(css_select='p.pic>a>img', attr='src')
  abstract = TextField(css_select='span.inq')

  def tal_title(self, title):
    if isinstance(title, str):
      return title
    else:
      return ''.join([i.text.strip().replace('\xa0', '') for i in title])

if name == 'main':
  items_data = DoubanSpider.get_items(url='movie.douban.com/top250')
  result = []
  for item in items_data:
    result.append({
      'title': item.title,
      'cover': item.cover,
      'abstract': item.abstract,
    })
  pprint(result)

자세한 내용은 douban_page_by_item을 참조하세요. .py

2.2.spider

계층적 페이지를 크롤링해야 하는 경우 예를 들어 모든 Douban 250 영화를 크롤링할 때 스파이더 부분이 유용합니다:

# !/usr/bin/env python
from talonspider import Spider, Item, TextField, AttrField, Request
from talonspider.utils import get_random_user_agent


# 定义继承自item的爬虫类
class DoubanItem(Item):
  target_item = TextField(css_select='p.item')
  title = TextField(css_select='span.title')
  cover = AttrField(css_select='p.pic>a>img', attr='src')
  abstract = TextField(css_select='span.inq')

  def tal_title(self, title):
    if isinstance(title, str):
      return title
    else:
      return ''.join([i.text.strip().replace('\xa0', '') for i in title])


class DoubanSpider(Spider):
  # 定义起始url，必须
  start_urls = ['https://movie.douban.com/top250']
  # requests配置
  request_config = {
    'RETRIES': 3,
    'DELAY': 0,
    'TIMEOUT': 20
  }
  # 解析函数 必须有
  def parse(self, html):
    # 将html转化为etree
    etree = self.e_html(html)
    # 提取目标值生成新的url
    pages = [i.get('href') for i in etree.cssselect('.paginator>a')]
    pages.insert(0, '?start=0&filter=')
    headers = {
      "User-Agent": get_random_user_agent()
    }
    for page in pages:
      url = self.start_urls[0] + page
      yield Request(url, request_config=self.request_config, headers=headers, callback=self.parse_item)

  def parse_item(self, html):
    items_data = DoubanItem.get_items(html=html)
    # result = []
    for item in items_data:
      # result.append({
      #   'title': item.title,
      #   'cover': item.cover,
      #   'abstract': item.abstract,
      # })
      # 保存
      with open('douban250.txt', 'a+') as f:
        f.writelines(item.title + '\n')


if name == 'main':
  DoubanSpider.start()

콘솔:

/Users/howie/anaconda3/envs/work3/bin/python /Users/howie/Documents/programming/python/git/talonspider/examples/douban_page_by_spider.py
2017-06-07 23:17:30,346 - talonspider - INFO: talonspider started
2017-06-07 23:17:30,693 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250
2017-06-07 23:17:31,074 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=25&filter=
2017-06-07 23:17:31,416 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=50&filter=
2017-06-07 23:17:31,853 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=75&filter=
2017-06-07 23:17:32,523 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=100&filter=
2017-06-07 23:17:33,032 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=125&filter=
2017-06-07 23:17:33,537 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=150&filter=
2017-06-07 23:17:33,990 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=175&filter=
2017-06-07 23:17:34,406 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=200&filter=
2017-06-07 23:17:34,787 - talonspider_requests - INFO: GET a url: https://movie.douban.com/top250?start=225&filter=
2017-06-07 23:17:34,809 - talonspider - INFO: Time usage：0:00:04.462108

Process finished with exit code 0

At 이번에는 douban250.txt가 현재 디렉터리에 생성됩니다. 자세한 내용은 douban_page_by_spider를 참조하세요. .py.

3. 설명

아직 개선할 부분이 많습니다. 프로젝트 주소는 talonspider입니다.

위 내용은 Python의 크롤러 프레임워크(talonspider)에 대한 간략한 소개의 상세 내용입니다. 자세한 내용은 PHP 중국어 웹사이트의 기타 관련 기사를 참조하세요!