Das Crawl-Budget bezeichnet die Anzahl der Seiten, die ein Suchmaschinen-Crawler auf einer bestimmten Webseite innerhalb eines bestimmten Zeitraums crawlt und indiziert. Google bestimmt das Crawl-Budget basierend auf der Popularität und der Aktualisierungsrate einer Webseite. Eine effiziente Nutzung des Crawl-Budgets ist für große Webseiten von entscheidender Bedeutung, um sicherzustellen, dass alle wichtigen Seiten regelmäßig gecrawlt und indiziert werden.