Wie finden Suchmaschinen Informationen auf der Website?

Ich habe gesehen, dass man auf einigen Film-Websites, wie zum Beispiel den ABC-Ressourcen auf der A-Film-Site, in der Suchleiste auf der A-Site suchen kann. Jetzt kann man aber direkt über Baidu nach ABC suchen, um die ABC-Ressourcen zu finden in der A-Site, ohne zur A-Site gehen zu müssen. Wie wird die Suche nach ABC-Ressourcen implementiert?

Antwortinhalt:

Ich habe gesehen, dass man auf einigen Film-Websites, wie zum Beispiel den ABC-Ressourcen auf der A-Film-Site, in der Suchleiste auf der A-Site suchen kann. Jetzt kann man aber direkt über Baidu nach ABC suchen, um die ABC-Ressourcen zu finden in der A-Site, ohne zur A-Site gehen zu müssen. Wie wird die Suche nach ABC-Ressourcen implementiert?

Wenn der Inhalt der Website von Suchmaschinen nicht gefunden werden kann, haben die Suchmaschinen nichts zu suchen.

Alle Links, wenn die damit verbundenen Upstream- und Downstream-Links enthalten sind und der Websitebesitzer des Links nicht über die robots.txt-Datei erklärt hat, dass er die Einbeziehung in Suchmaschinen verbietet, dann sollten sie theoretisch per Suche durchsucht werden Motoren.

Webcrawler

Kontinuierliches Crawlen erfordert viele Server und viele Berechnungen