Indexierung, Sitemap und robots.txt im SEO CMS

Drei Dateien und eine Angabe im Kopf der Seiten bestimmen, was Suchmaschinen von einer Website sehen: die Robots-Angabe jeder Seite, die robots.txt, die Sitemap und, für Sprachmodelle, die llms.txt. Im SEO CMS hängen alle an einem Schalter und entstehen bei jedem Build neu. Diese Seite behandelt den Indexierungsschalter, die robots.txt und die Sitemap. Was vor dem Start einer Website zu prüfen ist, steht im Beitrag Launch-Checkliste.

Der Indexierungsschalter

Neue Mandanten stehen auf "nicht indexierbar". Solange das gilt, trägt jede Seite die Robots-Angabe noindex, die robots.txt enthält für alle Crawler ein Disallow für die ganze Website, und die llms.txt wird nicht geschrieben. Eine vorhandene llms.txt löscht der Build sogar. Erst wenn echter Inhalt da ist, legst du den Schalter in den Einstellungen um und baust neu. Er greift an allen Stellen zugleich, einen Zwischenstand mit noindex auf den Seiten und offener robots.txt gibt es nicht. Auch das Portal übernimmt eine Sub erst, wenn ihr Schalter an ist. Das steht unter Mandanten und Portale.

Damit ist ein häufiger Startfehler ausgeschlossen: ein vergessenes Disallow aus der Entwicklungszeit, das eine fertige Website lange unsichtbar hält. Der Schalter ist eine Einstellung und keine Zeile in einer Datei. Der Hinweis daneben im Backend sagt, was er bewirkt.

Google schreibt dazu, dass eine Seite mit noindex nicht durch die robots.txt gesperrt sein darf, weil der Crawler die Regel sonst nie sieht ^[1]. Den Unterschied zwischen beiden Werkzeugen erklärt der Beitrag noindex, canonical, robots.txt, die Begriffe stehen im Glossar unter noindex.

Die robots.txt

Die robots.txt schreibt der Build bei jedem Lauf neu. Ist der Mandant freigeschaltet, erlaubt sie allen Crawlern die Website und sperrt nur die Verzeichnisse für Backend, Programmcode, Vorlagen und Konfiguration. Darunter steht eine Liste von Crawlern, die ausdrücklich erlaubt sind. In der Vorgabe sind das die Crawler der großen Suchmaschinen und der bekannten KI-Dienste, zum Beispiel Googlebot, bingbot, GPTBot, ClaudeBot, PerplexityBot, Google-Extended und Applebot-Extended. Die Liste pflegst du im Backend, ebenso zusätzliche Zeilen für eigene Regeln. Am Ende steht immer die Adresse der Sitemap.

Wer KI-Crawler aussperren will, nimmt sie aus der Liste und trägt in den Zusatzzeilen ein Disallow für sie ein. Dabei hilft es zu wissen, was die Datei leisten kann. Der Standard RFC 9309 sagt ausdrücklich, dass die Regeln keine Zugangsberechtigung sind ^[2]. Google beschreibt die robots.txt als Mittel, den Crawler-Verkehr zu steuern. Um eine Seite aus der Google Suche herauszuhalten, empfiehlt Google noindex oder einen Passwortschutz ^[3]. Mehr dazu im Glossar unter robots.txt.

Die Sitemap

Die sitemap.xml entsteht bei jedem Build und enthält alle erzeugten Adressen eines Mandanten: Startseite, die Übersichten der eingeschalteten Module, alle statischen Seiten aus der Datenbank, Verzeichniseinträge, sichtbare Orts- und Themenseiten, veröffentlichte Beiträge und Lexikoneinträge, Autorenprofile und die Adressen der Erweiterungen. Fehlerseiten fehlen, weil sie noindex tragen. Ist ein Modul abgeschaltet, fehlen seit Fassung 1.0.137 auch seine Zeilen, statt die Startseite mehrfach zu melden.

Das Änderungsdatum kommt aus dem Datensatz und nicht vom Bauvorgang. Bei Beiträgen ist es die letzte Änderung oder die Veröffentlichung, bei Lexikoneinträgen und statischen Seiten das Prüfdatum, sonst die letzte Änderung. Für Ortsseiten stand bis Fassung 1.0.137 pauschal das Tagesdatum, was jeden Tag Änderungen meldete, die es nicht gab. Google nutzt lastmod nur, wenn der Wert durchgehend und nachprüfbar stimmt, und er soll die letzte wesentliche Änderung der Seite wiedergeben ^[4]. Wer bei jedem Lauf das aktuelle Datum einträgt, verspielt diese Angabe. Nur die Startseite und die Übersichten tragen das Datum des Builds, weil sich ihr Inhalt mit jedem neuen Eintrag ändert. Die Seite für den Selbsteintrag steht nur in der Sitemap, solange die Funktion eingeschaltet ist.

Zusätzlich schreibt das CMS Änderungshäufigkeit und Priorität je Seitentyp. Google ignoriert beide Werte ^[4]. Eine Sitemap darf höchstens 50.000 Adressen oder 50 MB unkomprimiert enthalten ^[4]. Das CMS schreibt eine einzige Datei. Bei einem Mandanten mit über zweitausend Ortsseiten lag sie laut Changelog zu Fassung 1.0.137 bei rund 401 kB, weit unter der Grenze. Den Begriff erklärt das Glossar unter Sitemap.

Sitemap und interne Verlinkung

Eine Sitemap meldet Adressen, sie ersetzt keine Verlinkung. Jede Seite, die in der Sitemap steht, sollte auch über Links erreichbar sein: über Übersichten, Querverweise, Brotkrumen und die Gesamtübersicht. Das SEO CMS baut diese Wege selbst, beschrieben unter Ordnung, Vokabular und Querverweise. Warum beides zusammengehört, beschreibt der Beitrag Sitemap oder interne Verlinkung.

Was die llms.txt damit zu tun hat

Die llms.txt hängt am selben Schalter wie robots.txt und noindex. Auf einer gesperrten Website wäre sie eine Einladung an Sprachmodelle, Seiten zu lesen, die Suchmaschinen nicht aufnehmen sollen. Was in der Datei steht und wie sie entsteht, beschreibt die Seite llms.txt und RSS-Feed.

Deine Website ist seit Wochen online, taucht aber kaum bei Google auf? Sprechen wir in der gratis Sprechstunde darüber. Nach unserer Erfahrung liegt die erste Spur oft in der robots.txt oder in der Robots-Angabe der Seiten.

1. Organisation Indexierung mit noindex blockieren. Google Search Central. Stand laufend. abgerufen am 31.10.2026
2. Gesetz RFC 9309: Robots Exclusion Protocol. IETF, RFC Editor. Stand 09.2022. abgerufen am 31.10.2026
3. Organisation Einführung in robots.txt. Google Search Central. Stand laufend. abgerufen am 31.10.2026
4. Organisation Sitemap erstellen und einreichen. Google Search Central. Stand laufend. abgerufen am 31.10.2026

Zuletzt geprüft am 03.11.2026, nächste Prüfung spätestens im November 2027. Fehler entdeckt? Schreib uns.