Sitemap.xml und robots.txt: Wozu sie dienen und wie Sie sie einrichten

22.7.2026

$body$

Jede Website hat zwei Dateien, die Besucher nie zu Gesicht bekommen, die Suchmaschinen aber vor allem anderen lesen: robots.txt und sitemap.xml. Die erste ist ein Regelwerk, was Crawler besuchen dürfen; die zweite eine Liste der Seiten, die in den Index sollen. Richtig eingerichtet sind sie unsichtbar und tun ihren Dienst. Falsch eingerichtet können sie Ihre Website über Nacht aus den Suchergebnissen löschen.

Robots.txt: die Hausordnung am Eingang

Die robots.txt liegt unter ihredomain.de/robots.txt und wird gelesen, bevor der Crawler eine einzige Seite besucht. Eine typische WordPress-robots.txt ist kurz:

User-agent: * — die Regeln gelten für alle Bots.
Disallow: /wp-admin/ — der Admin-Bereich wird nicht gecrawlt.
Allow: /wp-admin/admin-ajax.php — die Ausnahme, die WordPress braucht.
Sitemap: https://ihredomain.de/sitemap.xml — der Verweis auf die Sitemap.

Der gefährlichste Fehler im Internet ist eine einzige Zeile: Disallow: /. Sie verbietet das Crawlen der gesamten Website — und bleibt erstaunlich oft nach dem Launch übrig, wenn der Entwickler die Staging-Version vor der Indexierung geschützt hatte. Taucht Ihre Website nicht bei Google auf, prüfen Sie das zuerst. Wichtig ist auch, was die robots.txt nicht ist: kein Schutz. Eine dort blockierte Seite kann trotzdem in den Ergebnissen erscheinen, wenn jemand auf sie verlinkt — wer eine Seite wirklich aus dem Index heraushalten will, braucht ein noindex-Tag.

Sitemap.xml: die Landkarte für Suchmaschinen

Eine Sitemap ist eine XML-Liste aller Seiten, die indexiert werden sollen, samt Datum der letzten Änderung. Sie garantiert keine Indexierung, hilft Google aber, neue und geänderte Seiten schneller zu entdecken — besonders wichtig für größere Websites und Shops mit Hunderten Produkten. Unter WordPress müssen Sie nichts von Hand bauen: SEO-Plugins wie Yoast oder Rank Math erzeugen und aktualisieren die Sitemap automatisch, meist unter /sitemap_index.xml. In die Sitemap gehören Beiträge, Seiten, Produkte und Kategorien — nicht aber Schlagwort-Archive, Autoren-Archive und ähnliche Seiten ohne Mehrwert.

Drei Schritte zur korrekten Einrichtung

Öffnen Sie ihredomain.de/robots.txt und stellen Sie sicher, dass kein Disallow: / enthalten und der Sitemap-Pfad eingetragen ist.
Öffnen Sie die Sitemap im Browser und prüfen Sie, ob sie fehlerfrei lädt und die richtigen URLs enthält (https, keine Duplikate).
Reichen Sie die Sitemap in der Google Search Console ein (Indexierung → Sitemaps) und prüfen Sie den Status gelegentlich — dort sehen Sie auch, wie viele Seiten tatsächlich indexiert sind.

Kleine Einstellungen, große Wirkung

Diese beiden Dateien richtet man einmal ein und vergisst sie — nach jedem größeren Umbau, Umzug oder Redesign lohnt aber ein Kontrollblick. Wenn Sie Ihre Sichtbarkeit in Suchmaschinen gerade aufbauen, werfen Sie einen Blick auf unser SEO-Hosting, und das stabile Fundament liefern unsere Hosting-Pakete mit kostenlosem SSL — denn auch das https in Ihren Sitemap-URLs muss stimmen.