Robots Meta Tag vs robots.txt: Welches Werkzeug wofür

28.7.2026

Zwei Werkzeuge mit ähnlichem Namen sorgen im technischen SEO für die meiste Verwirrung: die robots.txt Datei und der Robots Meta Tag. Beide steuern das Verhalten von Suchmaschinen, aber auf völlig unterschiedlichen Ebenen. Verwechselt man sie, passiert eines von zwei klassischen Missgeschicken: Eine Seite, die Sie verstecken wollten, erscheint weiterhin in der Suche, oder eine Seite, die Sie aus dem Index nehmen wollten, kann von Google gar nicht gelesen werden, um Ihre Anweisung überhaupt zu sehen.

robots.txt steuert das Crawling, nicht die Indexierung

robots.txt ist eine Textdatei im Stammverzeichnis der Domain (zum Beispiel example.com/robots.txt). Sie sagt Bots, welche Teile der Website sie besuchen, also crawlen dürfen. Wenn Sie Disallow: /admin/ schreiben, sagen Sie Google: Verwende keine Ressourcen für diesen Ordner. Doch hier ist das Entscheidende, das viele übersehen: robots.txt entfernt eine Seite NICHT aus dem Index. Verlinken andere Seiten auf eine blockierte URL, kann Google sie weiterhin in den Ergebnissen zeigen — nur ohne Beschreibung, weil der Inhalt nicht gelesen werden durfte.

Der Robots Meta Tag steuert die Indexierung

Der Robots Meta Tag steht im <head> einer einzelnen Seite: <meta name="robots" content="noindex">. Er sagt Google: Du darfst diese Seite lesen, aber zeige sie nicht in den Ergebnissen. Werte lassen sich kombinieren — noindex, nofollow, noarchive und so weiter. Dieselbe Anweisung kann auch als X-Robots-Tag HTTP-Header kommen, was für Nicht-HTML-Dateien wie PDFs nützlich ist.

Der Bot soll keinen Crawl auf einen Bereich verwenden → robots.txt Disallow.
Eine Seite soll nicht bei Google erscheinen → Robots Meta noindex.
Ein PDF soll aus dem Index → X-Robots-Tag: noindex im Header.

Der gefährlichste Fehler

Der häufigste und teuerste Fehler ist, eine noindex-Absicht in die robots.txt zu schreiben, oder eine Seite in der robots.txt zu blockieren und ihr zugleich einen noindex Meta Tag zu geben. Im zweiten Fall darf Google die Seite nicht betreten, liest also nie den noindex — und die Seite bleibt im Index. Die Regel ist einfach: Soll etwas aus dem Index, müssen Sie das Crawling ERLAUBEN (nicht in robots.txt blockieren), damit Google den noindex Tag sehen kann. Erst wenn die Seite aus dem Index verschwunden ist, dürfen Sie sie in der robots.txt blockieren.

Praktische Szenarien

Login-Seiten, Warenkörbe und interne Suchergebnisse erhalten meist noindex. Test- und Staging-Umgebungen sollten passwortgeschützt sein, nicht nur über robots.txt. Doppelte URLs mit Parametern löst man am besten mit einem Canonical Tag, nicht mit einer Sperre. Bei größeren Websites verflechten sich diese Regeln mit dem Crawl-Management — das behandeln wir ausführlich im Leitfaden zur Crawl-Budget-Optimierung. Die Grundlagen zu Dateien und Sitemap behandelt sitemap.xml und robots.txt, und für Duplikate siehe den Leitfaden zu Canonical Tags.

Wo Hosting eine Rolle spielt

X-Robots-Tag und die korrekte Auslieferung der robots.txt hängen von der Serverkonfiguration ab, daher ist gutes Hosting mit klarem Zugriff auf .htaccess oder Header eine praktische Voraussetzung. Wenn Sie eine Umgebung wählen, die technisches SEO nicht behindert, sehen Sie sich unsere SEO-Hosting-Tarife und Pakete und Preise an.