Was bedeutet „robots.txt“?

  • um
  • Uhr

robots.txt ist eine Textdatei im Stammverzeichnis einer Website, die Suchmaschinen-Crawlern Regeln für das Crawling vorgibt. Die robots.txt sagt einem Crawler wie Googlebot oder Bingbot, welche Bereiche einer Website er abrufen darf und welche er auslassen soll.

Für KMU ist die robots.txt vor allem ein Werkzeug für Ordnung: weniger Crawling-Chaos, bessere Priorisierung wichtiger Seiten und klarere Signale an Suchmaschinen. Sie ist aber kein Schutzschild. Google Search Central erklärt, dass robots.txt kein Mechanismus ist, um Webseiten aus Google herauszuhalten; für vertrauliche Inhalte empfiehlt Google stattdessen Zugriffsschutz, Login oder Passwortschutz.

Die robots.txt steuert Crawling, nicht Sicherheit. Wer vertrauliche Inhalte mit einer Robots-Datei versteckt, macht sensible Pfade im schlimmsten Fall erst sichtbar.

In der Praxis sehe ich bei kleinen Unternehmen oft zwei Extreme: Entweder gibt es gar keine bewusste Crawling-Steuerung, oder die robots.txt-Datei wird als Sammelbecken für technische Unsicherheit verwendet. Beides ist riskant. Eine gute robots.txt ist knapp, bewusst gesetzt und getestet.

Was bedeutet robots.txt genau?

Die robots.txt gehört direkt ins Stammverzeichnis der Website. Für die Domain www.beispiel.com liegt die Datei also unter www.beispiel.com/robots.txt. Crawler rufen diese Datei normalerweise ab, bevor sie eine Website durchsuchen.

Der Standard dahinter heißt Robots Exclusion Protocol. Das Robots Exclusion Protocol wurde im September 2022 als RFC 9309 veröffentlicht und ist im IETF Datatracker als „RFC – Proposed Standard“ gelistet.

Wichtig ist die Erwartungshaltung: Seriöse Crawler wie Googlebot oder Bingbot halten sich in der Regel an robots.txt-Regeln. Bösartige Scraper, Spam-Bots oder falsch konfigurierte Tools müssen das nicht tun. Deshalb ist robots.txt eine Vereinbarung mit kooperativen Crawlern, keine technische Zugangssperre.

Wofür ist eine robots.txt sinnvoll?

Eine robots.txt ist sinnvoll, wenn Du das Crawling Deiner Website gezielt strukturieren willst. Das Ziel ist nicht, möglichst viel zu blockieren, sondern Suchmaschinen auf die wichtigen Bereiche Deiner Website zu konzentrieren.

Typische sinnvolle Einsätze sind:

  • Technische Bereiche vom Crawling ausnehmen: zum Beispiel interne Suchergebnisse, Filter-URLs oder bestimmte Systempfade.
  • Crawl-Budget schonen: besonders bei größeren Websites, Shops, mehrsprachigen Seiten oder vielen URL-Varianten.
  • Sitemap sichtbar machen: Eine Sitemap-Zeile hilft Crawlern, wichtige URLs schneller zu finden.
  • Unwichtige Muster begrenzen: etwa Parameter-URLs, die keine eigenständige Relevanz für Nutzer haben.
  • Website-Hygiene verbessern: weil klare Regeln technische Altlasten sichtbar machen.

Für kleine Websites mit wenigen Seiten gilt meistens: Weniger ist besser. Eine kleine, saubere Website braucht oft nur eine einfache robots.txt mit Sitemap-Hinweis. Bei größeren Projekten gehört die Datei in eine technische SEO-Prüfung oder ein SEO-Audit, damit Regeln nicht versehentlich Sichtbarkeit kosten.

Wie ist eine robots.txt aufgebaut?

Eine robots.txt besteht aus einfachen Direktiven. Die wichtigsten Begriffe sind User-agent, Disallow, Allow und Sitemap.

User-agent

User-agent legt fest, für welchen Crawler eine Regel gilt. Ein Stern steht für alle Crawler.

User-agent: *
Disallow: /intern/

Dieses Beispiel sagt: Alle Crawler sollen den Pfad /intern/ nicht crawlen.

Disallow

Disallow gibt an, welche Pfade ein Crawler nicht abrufen soll. Ein leerer Disallow-Wert bedeutet: Es wird nichts blockiert.

User-agent: *
Disallow: /suche/

Dieses Beispiel kann sinnvoll sein, wenn interne Suchergebnisse viele unnötige URL-Varianten erzeugen.

Allow

Allow erlaubt einen bestimmten Unterpfad, obwohl ein übergeordneter Bereich blockiert ist. Das ist vor allem bei technischen Systemen relevant.

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Dieses Muster sieht man häufig bei WordPress. Es blockiert den Admin-Bereich für Crawler, lässt aber eine technisch notwendige Datei erreichbar.

Sitemap

Die Sitemap-Zeile verweist auf die XML-Sitemap Deiner Website. Eine Sitemap ersetzt keine klare Seitenstruktur, hilft Crawlern aber, wichtige URLs schneller zu entdecken.

Sitemap: https://www.beispiel.com/sitemap.xml

Bei einer strategischen Website achte ich darauf, dass robots.txt, Sitemap, interne Verlinkung und Seitenstruktur zusammenpassen. Genau dieser Systemblick ist auch Teil unserer Arbeit in Webdesign und Entwicklung: Technik soll nicht Selbstzweck sein, sondern bessere Sichtbarkeit, klarere Orientierung und bessere Anfragen ermöglichen.

robots.txt steuert Crawling, nicht Indexierung

Der wichtigste Unterschied: robots.txt steuert das Crawling, nicht zuverlässig die Indexierung. Wenn eine URL per Disallow blockiert ist, darf ein kooperativer Crawler den Inhalt nicht abrufen. Die URL kann aber trotzdem in Suchergebnissen auftauchen, wenn andere Seiten auf diese URL verlinken.

Wenn Du eine Seite wirklich aus dem Index halten willst, brauchst Du je nach Situation andere Mittel:

  • Meta-Robots mit noindex: für einzelne HTML-Seiten, die für Crawler erreichbar bleiben, aber nicht indexiert werden sollen.
  • X-Robots-Tag: für Indexierungsregeln über HTTP-Header, zum Beispiel bei PDFs oder anderen Dateien.
  • Login oder Passwortschutz: für vertrauliche Inhalte, interne Dokumente, Kundendaten oder Staging-Websites.
  • Serverseitige Zugriffskontrolle: wenn Inhalte technisch nicht öffentlich erreichbar sein dürfen.

Wenn Du die Unterschiede zwischen robots.txt, Meta-Robots und llms.txt vertiefen willst, habe ich dazu einen eigenen Beitrag geschrieben: Meta-Robots, robots.txt und llms.txt richtig einordnen.

Warum robots.txt kein Sicherheitsinstrument ist

Eine robots.txt ist öffentlich abrufbar. Jeder Mensch und jedes Tool kann /robots.txt an Deine Domain anhängen und die Datei lesen. Wenn dort sensible Pfade stehen, entstehen schnell falsche Signale: Was eigentlich verborgen bleiben sollte, wird als interessanter Pfad markiert.

Das kann ein echtes Sicherheitsrisiko sein. Besonders problematisch sind Einträge wie:

Disallow: /kunden/
Disallow: /vertraulich/
Disallow: /backup/
Disallow: /staging/
Disallow: /angebote-intern/

Solche Pfade schützen keine vertraulichen Inhalte. Sie zeigen nur, dass dort möglicherweise etwas Interessantes liegt. Für interne Bereiche, Entwürfe, Kundendokumente, Preislisten oder nicht veröffentlichte Projekte brauchst Du Zugriffsschutz, nicht robots.txt.

Wenn ein Inhalt nicht öffentlich sein darf, darf der Inhalt nicht nur „nicht gecrawlt“ werden. Der Inhalt muss technisch geschützt sein.

Typische Fehler bei robots.txt

Die meisten robots.txt-Probleme entstehen nicht durch komplexe Technik, sondern durch kleine, folgenschwere Missverständnisse. In über 20 Jahren Website-Arbeit mit KMU habe ich besonders diese Fehler immer wieder gesehen:

  • Die komplette Website wird blockiert: Ein Disallow: / kann alle Crawler vom Crawling der gesamten Website abhalten.
  • Staging-Regeln bleiben live: Während der Entwicklung wird alles blockiert, nach dem Launch vergisst jemand die Änderung.
  • CSS und JavaScript werden blockiert: Wenn wichtige Ressourcen gesperrt sind, kann Google eine Seite schlechter rendern und verstehen.
  • Die Datei liegt am falschen Ort: Eine robots.txt in einem Unterordner gilt nicht als zentrale robots.txt der Website.
  • Pfade enthalten Tippfehler: Groß- und Kleinschreibung, fehlende Schrägstriche oder falsche Ordnernamen können Regeln wirkungslos machen.
  • robots.txt wird mit noindex verwechselt: Disallow verhindert Crawling, noindex steuert Indexierung.
  • Zu viele Altlasten sammeln sich an: Eine über Jahre gewachsene Robots-Datei wird irgendwann unverständlich und riskant.

Mein pragmatischer Rat: Jede robots.txt-Regel sollte einen klaren Zweck haben. Wenn niemand erklären kann, warum eine Regel existiert, gehört die Regel geprüft.

robots.txt bei WordPress

Bei WordPress-Websites wird die robots.txt oft automatisch oder über SEO-Plugins erzeugt. Das ist grundsätzlich in Ordnung, solange Du verstehst, was die Datei tut. Eine einfache WordPress-Variante sieht häufig ungefähr so aus:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Sitemap: https://www.beispiel.com/sitemap_index.xml

Wichtig: Blockiere nicht pauschal /wp-content/, /wp-includes/ oder Theme-Dateien, ohne die Auswirkungen zu prüfen. Moderne Suchmaschinen müssen CSS, JavaScript und Medien oft abrufen können, um eine Seite korrekt zu verstehen.

Wenn Du mit SEO-Plugins arbeitest, lohnt sich ein Blick auf die Grundlagen. Für WordPress habe ich auch eine Einordnung zu sinnvollen Werkzeugen geschrieben: die besten SEO-Plugins für WordPress.

Wann schadet eine robots.txt?

Eine robots.txt schadet, wenn sie wichtige Inhalte blockiert oder falsche Sicherheit erzeugt. Besonders kritisch ist die Datei bei Relaunches, mehrsprachigen Websites, Shops, Landingpages und Staging-Systemen.

Warnsignale sind:

  • Wichtige Seiten werden nicht gecrawlt: Dann können Suchmaschinen Inhalte nicht vollständig bewerten.
  • Neue Seiten erscheinen nicht in Suchmaschinen: Eine alte Disallow-Regel kann die Ursache sein.
  • Die Sitemap verweist auf blockierte URLs: Dann sendet die Website widersprüchliche Signale.
  • Interne Such- oder Filterseiten erzeugen Massen-URLs: Dann kann fehlende Crawling-Steuerung Crawl-Budget verschwenden.
  • Vertrauliche Pfade stehen offen in der Datei: Dann wird robots.txt selbst zum Hinweisgeber.

Strategisch betrachtet ist die robots.txt ein kleiner Bestandteil eines größeren Systems. Gute Sichtbarkeit entsteht nicht durch eine einzelne Datei, sondern durch klare Seitenstruktur, relevante Inhalte, saubere Technik und eine verständliche Marke. Das ist auch der Kern guter SEO.

Praktische Checkliste für KMU

Wenn Du Deine robots.txt prüfen willst, starte mit diesen Fragen:

  • Liegt die Datei im Stammverzeichnis? Prüfe deinedomain.tld/robots.txt.
  • Wird versehentlich die ganze Website blockiert? Achte besonders auf Disallow: /.
  • Sind wichtige Seiten, CSS, JavaScript oder Bilder erreichbar? Google muss Deine Website verstehen können.
  • Gibt es eine Sitemap-Zeile? Die Sitemap sollte auf die aktuelle XML-Sitemap verweisen.
  • Stehen sensible Pfade in der Datei? Entferne solche Einträge nicht blind, sondern schütze die Inhalte technisch korrekt.
  • Sind Staging- oder Entwicklungsregeln noch aktiv? Das ist ein häufiger Relaunch-Fehler.
  • Ist klar, welche Regel welchen Zweck erfüllt? Wenn nicht, sollte die Datei bereinigt werden.

Gerade bei kleinen Unternehmen ist Klarheit wichtiger als technische Fülle. Eine einfache, geprüfte robots.txt ist besser als eine lange Datei, die niemand mehr verantwortet.

FAQ zu robots.txt

Wo liegt die robots.txt?

Die robots.txt liegt im Stammverzeichnis Deiner Website, zum Beispiel unter https://www.deinedomain.tld/robots.txt. Liegt die Datei in einem Unterordner, wird sie von Crawlern nicht als zentrale robots.txt für die Domain behandelt.

Kann robots.txt Seiten aus Google entfernen?

Nein, robots.txt ist dafür nicht das richtige Werkzeug. Wenn eine Seite aus Google entfernt oder gar nicht indexiert werden soll, brauchst Du je nach Fall noindex, Zugriffsschutz, Entfernung über die Google Search Console oder eine saubere Löschung mit passendem Statuscode.

Was bedeutet Disallow in robots.txt?

Disallow sagt einem Crawler, welchen Pfad er nicht crawlen soll. Disallow: /intern/ bedeutet zum Beispiel, dass der Pfad /intern/ nicht abgerufen werden soll, sofern der Crawler die Regel respektiert.

Was bedeutet Allow in robots.txt?

Allow erlaubt einen bestimmten Pfad innerhalb eines sonst blockierten Bereichs. Das ist nützlich, wenn ein technischer Unterpfad erreichbar bleiben muss, obwohl der übergeordnete Ordner per Disallow gesperrt ist.

Muss jede Website eine robots.txt haben?

Nein, nicht jede kleine Website braucht komplexe robots.txt-Regeln. Sinnvoll ist aber oft eine einfache Datei mit Sitemap-Hinweis, damit Crawler eine klare Orientierung erhalten.

Ist robots.txt ein Datenschutz- oder Sicherheitswerkzeug?

Nein, robots.txt schützt keine vertraulichen Inhalte. Sensible Dokumente, Kundenbereiche, interne Dateien und Staging-Websites gehören hinter Login, Passwortschutz oder serverseitige Zugriffskontrolle.

Was ist der Unterschied zwischen robots.txt und Meta-Robots?

robots.txt steuert, ob ein Crawler eine URL abrufen soll. Meta-Robots steuert auf HTML-Seiten, ob eine Seite indexiert werden darf, zum Beispiel mit noindex.

Was ist der Unterschied zwischen Meta-Robots und X-Robots-Tag?

Meta-Robots steht im HTML-Code einer einzelnen Seite. Der X-Robots-Tag wird über HTTP-Header ausgeliefert und eignet sich auch für Dateien wie PDFs, bei denen kein HTML-Head vorhanden ist.

Hilft eine Sitemap in der robots.txt beim Ranking?

Eine Sitemap-Zeile in der robots.txt ist kein direkter Ranking-Hebel. Sie hilft Crawlern aber, wichtige URLs schneller zu finden, und unterstützt damit eine saubere technische Website-Struktur.

Welche robots.txt-Regel ist besonders gefährlich?

Disallow: / ist besonders kritisch, weil diese Regel die gesamte Website für den betroffenen User-agent blockieren kann. Auf Live-Websites sollte diese Regel nur bewusst und in sehr speziellen Fällen eingesetzt werden.

Kurzfazit

robots.txt ist ein sinnvolles Werkzeug, wenn Du Crawling bewusst steuern willst. Die Datei hilft Suchmaschinen, technische Bereiche auszulassen, Crawl-Budget besser zu nutzen und Sitemap-Dateien schneller zu finden.

robots.txt ist aber kein Werkzeug für Geheimhaltung und kein verlässlicher Schutz gegen Indexierung. Wenn Deine Website geschäftlich wichtig ist, sollte die robots.txt nicht nebenbei entstehen, sondern Teil einer sauberen Website-Strategie sein: klar, geprüft und auf Deinen echten Nutzen ausgerichtet.

Quellen

  1. Google Search Central: Introduction to robots.txt — developers.google.com
  2. IETF Datatracker / RFC 9309: Robots Exclusion Protocol — datatracker.ietf.org (2022)
Florian Berger
  • Florian Berger begleitet seit über 20 Jahren Unternehmen, Institutionen, Unternehmer und Fachleute bei der Konzeption und Entwicklung von digitalen Projekten. Sein Fokus liegt dabei auf den Bereichen Kommunikation, Digitalisierung und Künstliche Intelligenz (KI). Er unterstützt Kunden dabei, ihre Marken zu stärken, Websites zu entwickeln und maßgeschneiderte Marketingstrategien zu implementieren – stets unter Berücksichtigung der neuesten technologischen Trends und Innovationen aus der KI-Welt. Kurz gesagt: Branding, Website, Marketing und digitale Transformation sind seine Expertise.
Ähnliche Ausdrücke robots.txt, robots txt, robots txt Datei, robots.txt-Datei, Robots-Datei, robots file, robots.txt file
Tags
Was ist eine llms.txt – und warum sie bald so wichtig wird wie robots.txt
Bloggerei.de