Python – So crawlen Sie Daten von umgeleiteten Websites

Question

Derzeit lerne ich etwas Wissen über Crawler und verwende Selenium zum Crawlen einiger komplexer Websites.
Ich bin auf ein Problem gestoßen. Die Arbeitsauftrags-Website, die ich crawlen muss (ich kenne das Passwort nicht), muss mich zuerst bei einem Authentifizierungssystem anmelden und dann auf der Seite des Authentifizierungssystems auf die Arbeitsauftragssystem-Verbindung klicken springt automatisch zum Arbeitsauftrag, ohne sich anzumelden. Eine einzelne Systemwebsite. Wie sollte ich einen Crawler verwenden, um die Daten dieses Systems zu crawlen?
Das Folgende ist der HTML-Code für das von Selenium erhaltene Arbeitsauftragssystem, das Authentifizierungssystem

<a href="/link-test001" target="_blank" title="工单系统" rel="link-test001" data="1" datasrc="工单系统|||/files/link/test001.gif|||new|||/link-test001">
    <img src="/files/link/test001.gif" width="25" height="25" alt="工单系统" align="absmiddle"><span>工单系统</span>
</a>

Answer 1

用firefox的扩展selenium ide录制一遍操作。
然后导出为python文件。
改改运行就可以了。

建议你去读读虫师写的书。

Answer 2

例如使用requests库作为爬虫的话，先创建session()，A登录，B是跳转的页面即可。

T=requests.session()
A=T.post(url=url,data=data)
B=T.get(url=url)

创建的T就代表存储的cookie，会一直保留