Durch den Meta Robots-Tag wird das
Verhalten von Spider gesteuert, die die Webseite besuchen. Er befindet sich im Header der Webseite.
Hierfür gibt es zulässige Werte:
- „index“: Seiten indexieren
- „noindex“: Seiten nicht indexieren
- „follow“: Links auf der Seite folgen
- „nofollow“: Link auf der Seite nicht folgen
Diese Werte können auch miteinander kombiniert werden.
Ist der Meta Robots-Tag bei einer Webseite nicht angegeben, wird diese von einer Suchmaschine in den Datenbestand aufgenommen und alle
Links durch den Spider verfolgt.
Wenn
„Robots.txt“-Dateien eingesetzt werden, kann das Spidern von ganzen Verzeichnissen untersagt werden.