网页爬虫 - python爬虫案例

Question

请问大家能不能给我一点提点，我想要知道有没有 简单 一点的 爬虫 案例可以让我摸索学习

---

目前已知的爬虫工具有:

1. Beautiful Soup

2. Scrapy

3. cola

4. pyspider

5. PyQuery

6. grab

Answer 1

정말 모르겠다면 참고할 만한 정보가 있는데, 중요한 점은 꼭 읽어봐야 한다는 것입니다...

우선 웹 크롤러란 무엇인가요?

1. 위키웹 크롤러를 보시면 됩니다

2. 이 웹사이트를 다시 방문하세요. 대학 수학 학교에는 초보자에게 매우 적합한 몇 가지 간단한 강의(및 비디오)가 있습니다. 웹 크롤러란 무엇인가요?

   <🎜에서 시작할 수 있습니다. >

다음은

소개 튜토리얼입니다:

1. 사실 아주 간단한 방법이 있습니다. 크롤러 도구를 선택하여 문서를 읽으세요. 방향이 없으면 Beautiful Soup 중국어 문서를 선택하여 읽을 수 있습니다. 너무 복잡해서 다 읽으려면 시간이 좀 걸릴 거예요.

2. 지금 대학 수학관에는 일련의 입문 강의와 실습 강의가 있으니 참고할 만한 가치가 있을 것 같습니다.
   1. Python을 사용하여 웹 크롤러(Crawler) 작성 시작

   2. Jupyter(아이파이썬 노트북) 설치 방법

   3. Jupyter 연산 소개(1)

   4. GET을 사용하여 웹 콘텐츠를 크롤링하는 방법은 무엇입니까?

   5. POST를 사용하여 웹 콘텐츠를 크롤링하는 방법은 무엇입니까?

   6. Python 패키지: BeautifulSoup4를 사용하여 웹 콘텐츠를 분석하는 방법은 무엇인가요?

   7. Python 요청과 BeautifulSoup4를 사용하여 Taobao 크롤러를 완성하는 방법은 무엇인가요?

다음 단계는

도구와 크롤러 프레임워크를 이해하는 것입니다.

1. 이 곳은 매우 완벽합니다. Github 코드 다운로드 링크가 포함된 Python 크롤러 도구 목록

2. 이 블로그에도 교육 콘텐츠가 많아요

크롤러 도구 및 프레임워크에 대한 토론은 Zhihu: Python을 사용하여 크롤러 작성, 어떤 방법과 프레임워크가 더 나은가요? 기사를 참조하세요.

---

인터넷에 자료가 많은 것 같아요. 모두 시도해 볼 수 있지만 처음에는 모든 것이 어렵습니다.