Spider sind Programme, die sich mit Hilfe von Hyperlinks ständig durch das Internet bewegen, sich in die Inhalte von Webseiten einlesen, um sie für spätere Indexierungen durch Suchmaschinen verwenden zu können.

Diese Spider besuchen entweder Webseiten, die bei der Suchmaschine angemeldet wurden oder folgen eingenständig Links und besuchen so neue Seiten.