python - 除了代理ip,香港的服务器爬取国内网站还有更好的方法吗?

Question

我在做一只淘宝的爬虫,但是用的是香港的服务器,但是比较困惑:
因为每次爬淘宝的首页时候,就自动给我跳转到香港淘宝~~
导致源代码和内容都不一样~
请问如果遇到这种情况要怎么处理呢?

简单来说,比如采集58同城
如果我是泉州的,我想采集北京的,要怎么采集?

因为我用我的ip打开会总跳转到北京,但是直接想采集58首页的

?
![图片上传中...]

Answer 1

Désactivez la redirection, prenez les requêtes comme exemple :

r = requests.get('http://github.com/', allow_redirects=False)
r.status_code  # 302
r.url  # http://github.com, not https.
r.headers['Location']  # https://github.com/ -- the redirect destination

Answer 2

Si vous souhaitez retirer à Pékin, entrez simplement le nom de la ville, mais il est protégé par PGTID

http://bj.58.com/?PGTID=0d000...

Jianyi utilise du sélénium

Answer 3

Parfois, le serveur redirigera en fonction des informations de localisation géographique correspondant à votre IP. Vous ne devriez avoir d'autre moyen que de trouver un proxy. .