python - 禁止自己的网站被爬虫爬去？

Question

禁止自己的网站被爬虫爬去？有什么方法啊

Answer 1

Jika anda mempertahankan diri daripada perangkak yang disasarkan, anda boleh mengenakan beberapa sekatan akses, seperti kekerapan akses, tambah kod pengesahan, dsb.

Answer 2

1. Kandungan penting ditambah secara dinamik menggunakan js

2. Hadkan http_referer

3. Antara muka yang berbeza boleh mempertimbangkan templat yang berbeza, jenis yang satu set ungkapan biasa tidak dapat dipadankan dengan sempurna

4. Tambah beberapa maklumat hak cipta secara rawak pada kandungan yang mungkin dirangkak

5. Anda hanya boleh melawat selepas log masuk

6. Rakam log akses

Itu sahaja yang saya boleh fikirkan, tetapi jika anda benar-benar mahu menangkapnya, ini akan menyukarkannya sedikit lagi

Answer 3

Untuk melumpuhkan rangkak enjin carian, anda boleh mengubah suai robots.txt
Agak sukar untuk melumpuhkan rangkak peribadi Anda hanya boleh meningkatkan kesukaran, seperti menambah kod pengesahan yang lebih kompleks, kekerapan akses, gaya/data biasa perubahan format, dsb.