사용자가 웹사이트 A를 방문할 때 다양한 웹사이트의 정보를 수집하는 Chrome 확장 프로그램을 구축하려고 합니다.
으아아아totalViolations를 인쇄하면 NULL이 발생합니다. 그래서 스크랩한 HTML을 인쇄했는데 웹사이트에서 직접 본 HTML 코드와 완전히 다르게 보이는 JavaScript 코드가 있다는 것을 깨달았습니다. 사이트에서 일부 JavaScript 마스킹을 사용하고 있거나 HTML을 올바르게 가져오지 못하는 것 같습니다.
으아아아제 질문은 DOM을 구문 분석하고 확장 프로그램에 추가하려는 웹사이트의 모든 정보를 얻을 수 있도록 HTML을 올바르게 추출하는 방법입니다. 감사해요.
P粉6383439952024-03-31 00:33:57
Javascript를 응답으로 받았다는 사실 증명:
즉, 브라우저의 개발 도구를 열고 페이지를 로드하고 전송되는 요청을 주의 깊게 연구해야 함을 의미합니다. 귀하의 설명에 따르면, 귀하가 페이지를 방문할 때 전송된 첫 번째 요청은 Javascript 코드를 로드할 수 있으며, 그 후 처리된 후 추가 요청이 서버로 전송됩니다. URL, 요청 헤더, 페이로드, 응답을 포함하여 요청을 주의 깊게 연구하세요.
보낸 요청을 복사하고 응답을 구문 분석해야 합니다. 응답이 HTML로 끝나는 경우 이미 시도한 방식으로 구문 분석할 수 있습니다(변경 사항은 요청이 전송되는 위치와 방법). 그렇지 않으면 응답이 HTML이 아니라 JSON과 같은 다른 것인 경우 그런 다음 웹 사이트에 표시된 대상 HTML을 자세히 살펴보고 원시 서버 응답을 HTML과 유사한 코드로 변환하는 코드를 구현하십시오.