🚦
robots.txt
Automatisch erzeugt
Über die Funktion
Die robots.txt wird bei jedem Build neu geschrieben und richtet sich nach dem Indexierungsschalter des Mandanten: Solange er aus ist, steht dort Disallow für alles. Zusätzliche Zeilen und eine Liste ausdrücklich erlaubter Bots lassen sich im Backend pflegen. Damit ist der häufigste Startfehler ausgeschlossen – ein vergessenes Disallow aus der Entwicklungsphase, das eine fertige Website monatelang unsichtbar hält.
Was dazugehört
Abhängig vom Indexierungsschalter
Sitemap-Verweis
Ausdrücklich erlaubte Bots
Eigene Zusatzzeilen
Kurz gesagt
Automatisch konsistent mit dem Indexierungsstand