Crawling bezieht sich auf den Prozess, bei dem Suchmaschinen wie Google ihre „Bots“ oder „Spiders“ verwenden, um das Internet systematisch zu durchsuchen und neue oder aktualisierte Webseiten zu finden. Diese Bots folgen Links von Seite zu Seite, erfassen Informationen über jede Seite und senden diese Informationen zurück an die Suchmaschine, wo sie indiziert werden. Das Crawling ist der erste Schritt im Prozess der Aufnahme einer Webseite in die Suchergebnisse einer Suchmaschine.