Kurz-Fakten
- Abruf und Aufnahme sind zwei getrennte Vorgänge
- Verhindern lässt sich die Aufnahme über noindex oder ein Passwort
- Erzwingen lässt sie sich nicht, auch nicht über die Sitemap
- Eine Entfernung nach gesetztem noindex dauert Tage bis Wochen
Bedeutung in der Praxis
Der häufigste Denkfehler betrifft die robots.txt: Sie steuert den Abruf, nicht die Aufnahme. Eine per robots.txt gesperrte Adresse kann in Ergebnissen erscheinen, weil andere Seiten darauf verweisen – nur ohne Beschreibung, weil der Inhalt nie gelesen wurde.
Daraus folgt die Reihenfolge beim Ausschließen: erst noindex setzen und abrufen lassen, dann – wenn überhaupt – sperren. Wer beides gleichzeitig macht, sperrt genau die Anweisung aus, die wirken sollte.