크롤러 - Python 크롤러에서 JavaScript 함수 페이지 전환을 완료하는 방법은 무엇입니까?

Question

웹페이지를 크롤링했을 때 페이지 전환이 다음과 같은 기능으로 구현된 것을 확인했습니다. 페이지 URL은 변경되지 않았습니다.

으아악

페이지 넘김을 달성하기 위해 다음과 같은 함수를 작성했습니다.

으아악

그러나turn_page()를 호출한 후 페이지 넘김에 실패했습니다. 이 문제를 어떻게 해결해야 할까요? 그리고 이런 문제를 해결하려면 어떤 지식을 스스로 배워야 할까요?

Answer 1

• 셀레늄 사용을 권장합니다

• 예를 들어 인터페이스에서 다음 페이지 버튼을 클릭해야 하거나 위, 아래, 왼쪽, 오른쪽 키를 입력해야 하는 경우 페이지를 넘길 수 있으며 Selenium Webdriver가 이를 수행하고 참조를 제공합니다. (저는 치덴 중국 웹사이트의 소설을 크롤링하곤 했습니다 )

• Selenium은 페이지와 상호 작용하고, 클릭하고, 두 번 클릭하고, 입력하고, 페이지가 로드될 때까지 기다릴 수 있습니다(암시적 대기 및 명시적 대기). . . .

으아악

Answer 2

여러 상황이 있습니다.
1. js 효과를 통해 페이지를 넘기거나
2. 하이퍼링크를 클릭하여 페이지를 넘길 수 있습니다.

Chrome 개발자 도구의 네트워크 분석을 사용하면 HTML 페이지이든 피드백 json 렌더링이든 결과를 얻을 수 있습니다.

json은 처리하기가 더 쉽고 결과를 직접 얻을 수 있습니다. 일반 HTML 페이지는 페이지 나누기에 대한 일반 일치를 사용해야 합니다. 그런 다음 링크를 크롤링할 풀에 넣습니다.

/a/11...