Drei Angaben, die alle irgendwie mit Sichtbarkeit zu tun haben – und deshalb regelmäßig füreinander eingesetzt werden. Sie lösen aber drei verschiedene Aufgaben, und in Kombination heben sie sich teilweise auf.
robots.txt: darf abgerufen werden?
Die Datei im Wurzelverzeichnis steuert den Abruf. Ein Disallow sagt: Diese Adresse bitte nicht anfordern. Über die Aufnahme in den Index sagt es nichts.
Das überrascht regelmäßig: Eine per robots.txt gesperrte Adresse kann trotzdem in Suchergebnissen erscheinen – ohne Beschreibungstext, weil der Inhalt nie gelesen wurde, aber mit der Adresse. Verweise von anderen Websites genügen dafür.
noindex: darf aufgenommen werden?
Die Meta-Angabe im Kopfbereich steuert die Aufnahme in den Index. Sie ist die einzige der drei, die zuverlässig verhindert, dass eine Seite in Ergebnissen auftaucht.
Damit ergibt sich die wichtigste Regel: noindex und Disallow schließen einander aus. Wer eine Seite per robots.txt sperrt, verhindert, dass das noindex je gelesen wird. Die Seite bleibt im Index, obwohl beide Angaben sie herausnehmen sollten.
Richtig ist: Abruf erlauben, noindex setzen, warten, bis die Seite entfernt wurde. Erst danach – wenn überhaupt – zusätzlich sperren.
canonical: welche Fassung gilt?
Das Canonical benennt bei mehreren Adressen mit gleichem oder sehr ähnlichem Inhalt die maßgebliche Fassung. Es entfernt nichts und sperrt nichts, es bündelt.
Und es ist ein Hinweis, kein Befehl. Widerspricht es der übrigen Struktur – etwa wenn die angegebene Seite selbst auf noindex steht oder ganz anderen Inhalt trägt –, wird es ignoriert.
Die Kombinationen, die nicht funktionieren
- Disallow und noindex zusammen: Das noindex wird nie gelesen, die Seite bleibt im Index.
- noindex und ein Canonical auf eine andere Seite: widersprüchlich, das Ergebnis ist nicht vorhersehbar.
- Canonical auf eine gesperrte Seite: Das Ziel ist nicht abrufbar, der Hinweis wird verworfen.
- Canonical auf sich selbst plus Weiterleitung: Die Weiterleitung gewinnt, das Canonical ist wirkungslos.
Die Zuordnung in drei Sätzen
- Soll eine Seite nicht in den Ergebnissen auftauchen: noindex, Abruf erlauben.
- Soll ein Bereich gar nicht abgerufen werden – etwa eine Suchfunktion mit endlosen Parametern: Disallow.
- Gibt es mehrere Adressen für einen Inhalt: Canonical, besser noch eine dauerhafte Weiterleitung.
Bei statischen Systemen: an das Neubauen denken
Ein häufiger Fehler beim Start: Der Schalter für die Indexierung wird in der Datenbank umgelegt, aber nicht neu gebaut. Das noindex steht dann weiterhin in jeder erzeugten HTML-Datei, während man sich wundert, warum nichts passiert. Nach jedem Umschalten gehören deshalb zwei Kontrollen dazu – ein Blick in den Quelltext und einer in die robots.txt.