noindex, canonical und robots.txt haben alle mit Sichtbarkeit zu tun, und deshalb werden sie regelmäßig füreinander eingesetzt. Sie lösen aber drei verschiedene Aufgaben, und in manchen Kombinationen heben sie sich gegenseitig auf. Wer die drei sauber trennt, vermeidet die meisten Indexierungsfehler, die wir bei Prüfungen finden. Die Kurzfassung des Unterschieds zwischen den ersten beiden steht in der FAQ unter Was ist der Unterschied zwischen noindex und robots.txt?. Hier geht es um alle drei und ihr Zusammenspiel.
robots.txt: darf abgerufen werden?
Die robots.txt regelt vor allem den Crawler-Verkehr auf einer Website. Google schreibt ausdrücklich, dass sie nicht dazu gedacht ist, Seiten aus der Google-Suche herauszuhalten [1]. Eine Anweisung wie Disallow sagt einem Crawler: diese Adresse bitte nicht abrufen. Über die Aufnahme in den Index sagt sie nichts.
Das überrascht viele. Eine per robots.txt gesperrte Adresse kann trotzdem in den Suchergebnissen erscheinen, wenn andere Seiten auf sie verlinken. Dann fehlt die Beschreibung, weil Google den Inhalt nie gelesen hat [1]. Außerdem ist die robots.txt eine Bitte: Crawler sind nicht verpflichtet, sich daran zu halten, seriöse wie der Googlebot tun es in der Regel [1]. Grundlagen zur Datei stehen im Glossar unter robots.txt.
noindex: darf aufgenommen werden?
noindex steht als Meta-Tag im Kopf einer Seite oder als HTTP-Kopfzeile X-Robots-Tag, die sich auch für PDFs und andere Dateien eignet [2]. Die Anweisung bedeutet, dass die Seite nicht in den Suchergebnissen erscheinen soll [3]. Index und follow musst du dagegen nicht eigens angeben, das ist ohnehin der Standard [3].
Daraus folgt eine Regel: noindex wirkt nur, wenn die Seite abgerufen werden darf. Ist sie in der robots.txt gesperrt, sieht der Crawler die Anweisung nicht, und die Seite kann trotzdem in den Ergebnissen auftauchen [2]. Google ignoriert Indexierungsregeln auf gesperrten Seiten, weil es sie gar nicht findet [3]. Wer eine Seite loswerden will, erlaubt also den Abruf, setzt noindex und wartet, bis die Seite verschwunden ist. Erst danach kann er den Abruf zusätzlich sperren, wenn er das überhaupt braucht. Für Eilfälle blendet das Tool zum Entfernen in der Search Console eine Adresse für etwa sechs Monate aus; dauerhaft wirkt es laut Google nur zusammen mit noindex, einem Status 404 oder 410 oder einem Passwortschutz [5].
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
canonical: welche Fassung gilt?
Das Canonical benennt bei mehreren Adressen mit gleichem oder sehr ähnlichem Inhalt die Fassung, die in den Ergebnissen stehen soll. Es entfernt nichts und sperrt nichts. Google wertet es als starkes Signal, entscheidet aber zusammen mit weiteren Signalen selbst [4]. Für die Kanonisierung rät Google ausdrücklich davon ab, noindex oder die robots.txt zu verwenden [4]. Woher doppelte Adressen meist kommen, beschreibt der Beitrag Duplicate Content ist fast immer selbst gemacht.
Kombinationen, die nicht funktionieren
- Disallow und noindex zusammen: Das noindex wird nicht gelesen, die Adresse kann im Index bleiben.
- noindex und ein Canonical auf eine andere Seite: Die eine Angabe sagt "nicht aufnehmen", die andere "nimm stattdessen jene". Nach unserer Erfahrung ist das Ergebnis dann nicht vorhersehbar.
- Canonical auf eine gesperrte Seite: Google kann das Ziel nicht abrufen und damit nicht prüfen, ob es zum Inhalt passt.
- Canonical auf sich selbst und dazu eine Weiterleitung: Die Weiterleitung greift zuerst, das Canonical der alten Adresse bekommt niemand zu sehen.
Die erste Kombination meldet die Search Console übrigens selbst. Was hinter der Meldung steckt, erklärt die Seite Indexiert, obwohl durch robots.txt-Datei blockiert.
Die Zuordnung in drei Sätzen
Soll eine Seite nicht in den Ergebnissen erscheinen, setzt du noindex und erlaubst den Abruf. Soll ein Bereich gar nicht abgerufen werden, etwa eine interne Suche mit endlosen Parametern, sperrst du ihn in der robots.txt. Gibt es mehrere Adressen für einen Inhalt, nimmst du ein Canonical oder besser gleich eine dauerhafte Weiterleitung.
Für Dateien ohne HTML-Kopf, etwa PDFs mit veralteten Preislisten, bleibt nur die Kopfzeile X-Robots-Tag, weil sich dort kein Meta-Tag unterbringen lässt [2]. Die setzt du in der Serverkonfiguration für die betroffenen Dateien.
Bei statischen Systemen: neu bauen
Ein häufiger Fehler beim Start: Der Schalter für die Indexierung wird umgelegt, aber die Seiten werden nicht neu erzeugt. Das noindex steht dann weiter in jeder fertigen HTML-Datei. Im SEO CMS steuert ein einziger Schalter noindex, robots.txt und llms.txt gemeinsam, wirksam wird er mit dem nächsten Bau. Nach jedem Umschalten gehören zwei Kontrollen dazu: ein Blick in den Quelltext und einer in die robots.txt. Die ganze Reihenfolge steht in der Launch-Checkliste.
Unklar, warum eine Seite trotz noindex noch auftaucht oder trotz Freigabe fehlt? Bring die Adresse in die gratis Sprechstunde mit, dann sprechen wir über die Angaben, die sich dort widersprechen.
- Organisation Einführung in robots.txt. Google Search Central. Stand 18.12.2025. abgerufen am 31.10.2026
- Organisation Indexierung mit noindex blockieren. Google Search Central. Stand 31.12.2025. abgerufen am 31.10.2026
- Organisation Spezifikationen für das robots-Meta-Tag, data-nosnippet und X-Robots-Tag. Google Search Central. Stand 25.03.2026. abgerufen am 31.10.2026
- Organisation Doppelte URLs konsolidieren. Google Search Central. Stand 15.07.2026. abgerufen am 31.10.2026
- Organisation Tool zum Entfernen und für SafeSearch-Meldungen. Search Console-Hilfe, Google. Stand 31.10.2026. abgerufen am 31.10.2026
Häufige Fragen
Wie entferne ich eine Seite schnell aus den Suchergebnissen?
Für Eilfälle gibt es in der Search Console ein Tool zum Entfernen, das eine Adresse für etwa sechs Monate ausblendet. Dauerhaft wirkt das nur zusammen mit noindex, einem Status 404 oder 410 oder einem Passwortschutz.
Kann ich mit der robots.txt Sprachmodelle aussperren?
Du kannst Einträge für die jeweiligen Crawler setzen. Eine technische Sperre ist das nicht, denn laut Google sind Crawler nicht verpflichtet, die robots.txt zu beachten.
Brauche ich ein Canonical auf jeder Seite?
Ein Canonical auf die eigene Adresse ist üblich und hilft vor allem dort, wo Parameter angehängt werden, die du nicht steuern kannst, etwa Kampagnenkennzeichen. Das SEO CMS setzt es auf jeder Seite.
Muss ich index, follow ausdrücklich angeben?
Nein. Laut Google ist das ohnehin der Standard, eine ausdrückliche Angabe ändert nichts.
Noch eine Frage offen?
In der gratis Sprechstunde beantworten wir Fragen zu SEO live, jeden ersten Samstag im Monat um 18 Uhr. Oder du rufst einfach an.
Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.
