如何爬取动态数据，就是ajax请求的数据
比如说在代码中
<html>
<head>
<title>开课课程信息</title>
<meta name="GENERATOR" content="Microsoft FrontPage 3.0">
</head>
<frameset border="false" frameborder="0" rows="30,*">
<frame name="header" scrolling="no" noresize target="frmCourMain" src="akcjj.asp" marginwidth="0"
marginheight="0">
<frame name="frmCourMain" src="akechengdw.asp" scrolling="auto" target="frmCourMain">
<noframes>
<body>
<p>This page uses frames, but your browser doesn't support them.</p>
</body>
</noframes>
</frameset>
</html>
从代码中可以看出来源的数据是框架的akechengdw.asp，但是如何爬取这样的数据
巴扎黑2017-04-17 15:40:59
Ajax에서 요청한 데이터라면 일반적으로 두 가지 생각이 듭니다.
1. 접속하는 모의 브라우저입니다. 특히 Google에서 브라우저 크롤러 키워드를 시뮬레이션할 수 있지만 여전히 직접 연습해야 합니다.
2. 관련 인터페이스를 찾고, 인터페이스를 크롤링하고, 일부 요청 헤더에 주의하세요.
巴扎黑2017-04-17 15:40:59
F12는 Ajax 요청을 살펴보고 사용자 에이전트, 리퍼러 등으로 위장하는 데 주의하세요.
로그인 권한이 필요한 경우 쿠키를 추가하여 사용자를 식별해 보세요.
CSRF 방어 메커니즘이 있는 경우 숨겨진 CSRF 토큰을 찾아 연결하면 됩니다.
阿神2017-04-17 15:40:59
위 아이디어를 보완하는 두 가지 아이디어
브라우저를 시뮬레이션하려면 일반적으로 헤드리스 브라우저를 사용할 수 있습니다. 노드의 경우 https://github.com/amir20/pha...
과 같은 패키지가 있습니다.
PHP中文网2017-04-17 15:40:59
최소한 URL을 게시하고 Baidu에 가서 "The Art of Questioning"을 찾아보세요. 너무 많이 말하지 마세요. 질문할 때는 다른 사람이 이해할 수 있도록 해야 합니다.
