Rumah  >  Artikel  >  pembangunan bahagian belakang  >  javascript - 如何避免被采集网站?

javascript - 如何避免被采集网站?

WBOY
WBOYasal
2016-06-06 20:32:231200semak imbas

javascript - 如何避免被采集网站?

连续几周如此,联通电信会变,每次访问ip会变,访问时间0,频率很高,地区不变,是不是有人采集我的站?如何避免?谢谢!

回复内容:

javascript - 如何避免被采集网站?

连续几周如此,联通电信会变,每次访问ip会变,访问时间0,频率很高,地区不变,是不是有人采集我的站?如何避免?谢谢!

1、采用动态不规则的html标签
2、限制IP

和搜索引擎没有矛盾的,完全可以用nginx判断是否是搜索引擎爬虫,指引到一个固定的html结构的里边,以前就这样做过

避免是很难的,只能说尽量提高抓取的成本。

常见都是在nginx或者程序中加入频率限制(rate limit)

把网站关了即可.

在robots.txt中添加屏蔽抓取的策略,就能少被采集了

关键是你又希望搜索引擎来爬你;

所以这是矛盾的,

只能尽量做好;

you can't.

楼上都没答到点子上,一般采集无非就是用硬抓取,如file_get_contents,和模拟抓取,如casperjs,我曾经用casperjs来写爬虫,速度实在太慢,所以casperjs爬虫不太可行,如果只是像file_get_contents之类的,后台分析日志,凡是加载的网页没有加载对应的css和js文件的,全部ban掉
希望写小偷程序的人不要看到这个答案,要不除了限制请求频率根本没法了,哦忘了,我就是专门写小偷程序的

cnzz统计的问题,加个谷歌统计对比下,流量差距就出来了,有10倍左右,猜测应该是百度蜘蛛之类的,识别为用户了,我的展也这样

Kenyataan:
Kandungan artikel ini disumbangkan secara sukarela oleh netizen, dan hak cipta adalah milik pengarang asal. Laman web ini tidak memikul tanggungjawab undang-undang yang sepadan. Jika anda menemui sebarang kandungan yang disyaki plagiarisme atau pelanggaran, sila hubungi admin@php.cn