网页爬虫 - 【如图】python爬取的html页面和浏览器显示源码的结果不同

Answer 1

실제 테스트 결과 bs4에서는 속성 순서가 변경된다는 결론이 나왔습니다.

1. 브라우저에서 페이지를 마우스 오른쪽 버튼으로 클릭하고 다음을 선택합니다.

검사 요소

웹페이지 소스코드 보기

2. python3 프로그램에서의 비교:

으아악

결과:

으아악

Answer 2

클래스와 ID의 순서가 다를 뿐입니다.
크롬과 파이어폭스를 이용해 같은 웹페이지의 소스코드를 볼 때도 순서가 다를 뿐입니다.

Answer 3

모든 사람이 디버깅하는 데 도움을 줄 수 있도록 질문자가 웹사이트나 자신의 코드를 게시하는 것이 좋습니다. 귀하의 크롤러가 크롤링한 콘텐츠가 정적 페이지로 저장되어 브라우저에 표시되는 콘텐츠와 다른 경우 상대방의 크롤러 방지 메커니즘이 이를 인식한 것이므로 서버는 다른 정보를 반환합니다. . 크롤러를 식별하는 방법에는 여러 가지가 있습니다. 궁금한 점이 있으면 언제든지 문의해 주세요.

Answer 4

포스터에서는 웹사이트에서 사용자가 브라우저를 사용하는지 크롤러를 사용하는지 식별할 수 있으므로 모든 소스 코드를 게시할 것을 권장합니다.

현재 코드를 보시면 헤더 정보를 추가하시는 걸 추천드려요! use-agent 해당 코드 줄!