Crawlen Sie alle Links unter dem Domainnamen der Website

Question

Wie verwende ich PHP, um alle Links auf der Website zu crawlen? Geben Sie den Domainnamen ein und Sie erhalten alle Links unter dem geänderten Domainnamen. Wie entferne ich beim Crawlen von Links in einer Schleife doppelte Links?

Answer 1

兄弟解决了吗，我现在也遇到这个需求了?