>백엔드 개발 >PHP 튜토리얼 >获取网站所有网页访问的URL地址和页面资源加载访问地址

获取网站所有网页访问的URL地址和页面资源加载访问地址

WBOY
WBOY원래의
2016-06-06 20:11:322079검색

网站上面现有来两个图片服务器的域名地址,现在我想获取当前的网站究竟有哪些页面是访问了其中某一个服务器的域名。包括隐藏在js里面生成的访问地址。只要是网站上任何一个元素能向那个域名提交请求的。都要获取到。
这个思路应该怎么写?如果是用php或者是python写这个脚本应该用哪些工具?

回复内容:

网站上面现有来两个图片服务器的域名地址,现在我想获取当前的网站究竟有哪些页面是访问了其中某一个服务器的域名。包括隐藏在js里面生成的访问地址。只要是网站上任何一个元素能向那个域名提交请求的。都要获取到。
这个思路应该怎么写?如果是用php或者是python写这个脚本应该用哪些工具?

如果自己的网站可以写一段js foreach本页面的img对象的src然后通过ajax提交后台接口;
如果是本地工具抓取的话只能用selenium这种能够解析js的工具了;

推荐分析图片服务器的访问日志
用python写,应该蛮快的

성명:
본 글의 내용은 네티즌들의 자발적인 기여로 작성되었으며, 저작권은 원저작자에게 있습니다. 본 사이트는 이에 상응하는 법적 책임을 지지 않습니다. 표절이나 침해가 의심되는 콘텐츠를 발견한 경우 admin@php.cn으로 문의하세요.