Auch als Web-Crawler oder Bot bezeichnet, ist ein Spider ein automatisiertes Programm, das das Internet durchsucht, um Webseiten zu finden und zu indizieren. Suchmaschinen wie Google verwenden Spiders, um neue oder aktualisierte Inhalte zu finden und in ihren Suchergebnissen zu berücksichtigen. Die Art und Weise, wie ein Spider eine Webseite „sieht“, kann sich erheblich von der menschlichen Wahrnehmung unterscheiden, daher ist es wichtig, die Webseite sowohl für Menschen als auch für Spiders optimiert zu haben.