python - 爬虫模拟登陆网站的次数多了，一阵子变得访问不了

Question

如题。
我用的是requests的session来登陆的。
每次运行完都会用close()来关闭掉。
因为我在测试一些东西，所以我经常待程序运行完又马上运行。
用POST来登陆的时候没有带其他信息，就只带了要POST的数据。

这是不是网站的一种反爬虫机制？为什么浏览器多次访问就可以？要不要带上头部？

Answer 1

Simpan sahaja kuki

Answer 2

Anda boleh menambah Ejen Pengguna pada permintaan untuk mensimulasikan akses penyemak imbas.

Answer 3

Adalah disyorkan untuk menggunakan Archer Cloud Crawler Platform untuk membangunkan perangkak, yang menyokong pengumpulan automatik dalam awan.
Dengan hanya beberapa baris javascript, anda boleh melaksanakan perangkak yang kompleks dan menyediakan banyak fungsi berfungsi: anti-anti-crawler, rendering js, penerbitan data, analisis carta, anti-leeching, dll. Ini adalah masalah yang sering dihadapi dalam proses membangunkan perangkak. The Archer akan membantu anda menyelesaikan semuanya.