python - 一般公司做爬虫采集的话常用什么语言

Question

一般公司做爬虫采集的话常用什么语言 在京东搜点书全是有关java的

Answer 1

스크래피 +1

사용하기 매우 편리하고 기능이 많으며 문서가 매우 명확합니다.

scrapy 공식 홈페이지

Answer 2

질문자님이 이미 python 태그를 직접 추가하셨는데 왜 아직도 언어를 물어보시나요...

Answer 3

제가 다니는 회사는 Java를 사용합니다.

Answer 4

브라우저나 브라우저와 유사한 브라우저를 사용하여 페이지를 구문 분석하는 것은 일반 분석보다 속도가 훨씬 느립니다. 하지만 일반적인 파싱의 가장 큰 문제점은 다른 사람이 버전을 바꾸자마자 그냥 즐거운 리듬으로 바꿔버릴 수도 있다는 점이다

Answer 5

노디 +1

Answer 6

파이썬을 주로 사용하는 것 같은데 가끔 자바를 사용하기도 합니다

Answer 7

Ruby를 작성할 때는 nokogiri를 사용했지만 효율성을 높이려면 Python이 더 편리합니다

Answer 8

노드 +1

Answer 9

언어는 문제가 되지 않습니다. 모듈에 따라 특정 업무가 달라집니다. 유용한 http 라이브러리, 유용한 작업 스케줄링 라이브러리, 유용한 마크업 언어 구문 분석 라이브러리가 있어야 합니다. 언어에 대해 이야기해 보겠습니다. 더 나은 성능과 더 아름다운 구문이 있습니다. 마지막으로 회사의 대부분의 사람들이 이 언어를 수용할 수 있는지 여부에 따라 Python, java, ruby, nodejs, c#이 모두 이러한 조건을 충족합니다. 선택 방법은 다음 조건에 따라 다릅니다.

Answer 10

루비로 작성했습니다