Wie richten Sie robots.txt und XML-Sitemap richtig ein?

Wozu dient die robots.txt?

Die robots.txt ist eine Textdatei im Hauptverzeichnis Ihrer Website, die Crawlern sagt, welche Bereiche sie abrufen dürfen. Sie steuert das Abrufen (Crawling), nicht die Aufnahme in den Index: Um eine Seite aus Google herauszuhalten, brauchen Sie noindex oder einen Passwortschutz.

Gedacht ist die Datei vor allem dafür, die Zahl der Crawler-Anfragen an Ihren Server zu steuern. Eine gesperrte Adresse kann trotzdem in den Suchergebnissen erscheinen – ohne Beschreibung, wenn andere Seiten darauf verlinken. Zugriffsschutz ist die robots.txt ebenfalls nicht: Seriöse Crawler wie der Googlebot halten sich daran, andere womöglich nicht.

• Sie liegt immer unter https://www.example.com/robots.txt und gilt nur für genau diesen Hostnamen, dieses Protokoll und diesen Port. Jede Subdomain braucht eine eigene Datei.
• Sie ist eine reine Textdatei in UTF-8. Google liest höchstens 500 KiB, der Rest wird ignoriert.
• Google speichert die Datei in der Regel bis zu 24 Stunden zwischen. Änderungen wirken also nicht sofort.

Entscheidend ist auch, mit welchem Statuscode der Server die Datei ausliefert:

Eine fehlende robots.txt ist für Google also unproblematisch, ein Serverfehler dagegen nicht. Den Statuscode 429 („zu viele Anfragen“) wertet Google allgemein wie einen Serverfehler.

Wie ist eine robots.txt aufgebaut?

Eine robots.txt besteht aus Gruppen: Jede beginnt mit einer oder mehreren User-agent-Zeilen, darauf folgen Disallow- (sperren) und Allow-Regeln (erlauben). Ein Crawler befolgt nur die Gruppe, die ihn namentlich nennt – gibt es keine, gilt die Gruppe für alle (*).

# Gruppe für alle Crawler
User-agent: *
Disallow: /suche/
Disallow: /*.pdf$
Allow: /suche/hilfe/

# Eigene Gruppe für den Googlebot
User-agent: Googlebot
Disallow: /intern/

Sitemap: https://www.example.com/sitemap.xml

Achtung: In diesem Beispiel befolgt der Googlebot nur seine eigene Gruppe. Für ihn ist /suche/ also erlaubt, denn Google kombiniert eine eigene Gruppe nicht mit der Gruppe für alle.

Welche Regel gewinnt? Passen mehrere Regeln, gilt die genaueste, also die mit dem längsten Pfad. Sind zwei gleich lang, nimmt Google die weniger strenge (Allow). Die Feldnamen sind unabhängig von Groß- und Kleinschreibung, die Pfade nicht: /Intern/ sperrt /intern/ nicht. Die Zeile Crawl-delay unterstützt Google nicht, und die Datei /robots.txt selbst ist immer erlaubt.

Welche Fehler in der robots.txt sind typisch?

Am folgenschwersten sind eine Komplettsperre mit Disallow: / – etwa aus einer Testumgebung übernommen – und gesperrte CSS- oder JavaScript-Dateien, ohne die Google die Seite nicht richtig darstellen kann.

User-agent: *
Disallow: /

User-agent: *
Allow: /

Sitemap: https://www.example.com/sitemap.xml

Weitere Fehler, die Auffindig erkennt:

• Gesperrte Ressourcen: Regeln wie Disallow: /assets/ können auch Stylesheets und Skripte treffen. Google rät davon ab, Dateien zu sperren, die zum Verständnis der Seite nötig sind.
• noindex in der robots.txt: Diese Anweisung unterstützt Google dort nicht. Sie wirkt nur als Meta-Tag oder HTTP-Header.
• HTML statt Text: Liefert das CMS unter /robots.txt eine normale HTML-Seite aus, findet Google keine gültigen Regeln – ungültige Zeilen ignoriert es.
• Serverfehler: Antwortet /robots.txt mit 5xx, pausiert Google das Crawling (siehe Tabelle oben).
• Regeln ohne Gruppe: Disallow-Zeilen vor der ersten User-agent-Zeile gehören zu keiner Gruppe.

Ihre aktuelle Datei sehen Sie in der Google Search Console im „robots.txt-Bericht“ in den Einstellungen; dort können Sie nach einer Änderung „Erneutes Crawlen beantragen“. Ohne Konto testen Sie Regeln mit unserem robots.txt-Tester.

Wie steuere ich KI-Crawler mit der robots.txt?

KI-Anbieter verwenden eigene Crawler mit eigenen Namen, die Sie in der robots.txt einzeln ansprechen. Entscheidend ist die Unterscheidung zwischen Crawlern für die KI-Suche und solchen, deren Daten in das Training von KI-Modellen fließen.

# KI-Training sperren, KI-Suche erlauben
User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
Allow: /

• OpenAI trennt ausdrücklich: OAI-SearchBot entscheidet über die Sichtbarkeit in der ChatGPT-Suche, GPTBot über das Training. Beide Einstellungen sind laut OpenAI unabhängig voneinander.
• Google-Extended ist kein eigener Crawler, sondern nur eine Kennung (ein sogenanntes Token) für die robots.txt. Es regelt, ob Inhalte für Gemini-Modelle und deren Antworten (Grounding) genutzt werden, und hat laut Google keinen Einfluss auf die Aufnahme in die Google Suche.

Trainings-Crawler zu sperren, ist eine legitime Entscheidung. Wer dagegen Such-Crawler sperrt, verzichtet auf die jeweilige KI-Suche – bei OpenAI erscheint die Website dann nicht mehr in den Antworten der ChatGPT-Suche, höchstens noch als Navigationslink. Welche Crawler es gibt und wie Firewalls sie unbeabsichtigt blockieren, erklärt der Artikel KI-Sichtbarkeit.

Wie ist eine XML-Sitemap aufgebaut?

Eine XML-Sitemap listet die Adressen Ihrer Website, die in den Index sollen, optional mit dem Datum der letzten Änderung. Sie ist ein Hinweis an Google, keine Garantie für Crawling oder Indexierung.

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://www.example.com/</loc>
    <lastmod>2026-10-01</lastmod>
  </url>
  <url>
    <loc>https://www.example.com/leistungen/zahnreinigung/</loc>
  </url>
</urlset>

• Höchstens 50 000 Adressen oder 50 MB (unkomprimiert) pro Datei, sonst aufteilen.
• UTF-8 und vollständige, absolute Adressen. Zeichen wie & in Adressen werden maskiert (&).
• lastmod nur angeben, wenn es stimmt: Google nutzt den Wert nur, wenn er nachweislich zuverlässig ist. Eine geänderte Jahreszahl im Footer ist keine Änderung des Inhalts.
• priority und changefreq ignoriert Google.
• Nur Seiten aufnehmen, die mit 200 antworten und in den Index sollen – keine Weiterleitungen, keine gelöschten Seiten.

Größere Websites fassen mehrere Sitemaps in einer Sitemap-Indexdatei zusammen, die bis zu 50 000 Sitemaps aufführen darf:

<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap><loc>https://www.example.com/sitemap-seiten.xml</loc></sitemap>
  <sitemap><loc>https://www.example.com/sitemap-produkte.xml</loc></sitemap>
</sitemapindex>

Legen Sie die Sitemap ins Hauptverzeichnis: Ohne Einreichung in der Search Console gilt sie nur für Adressen unterhalb ihres eigenen Ordners. Selbst schreiben müssen Sie sie oft nicht: WordPress erzeugt seit Version 5.5 eine Sitemap unter /wp-sitemap.xml. Prüfen Sie, ob Ihr System oder ein Plugin bereits eine Sitemap ausgibt. Laut Google brauchen kleine, gut verlinkte Websites mit etwa 500 Seiten oder weniger nicht unbedingt eine Sitemap; sie hilft aber bei neuen Websites mit wenigen Verweisen von außen.

Wie reiche ich die Sitemap in der Search Console ein?

Tragen Sie die Sitemap mit einer Sitemap:-Zeile in die robots.txt ein und reichen Sie sie zusätzlich im Sitemaps-Bericht der kostenlosen Google Search Console ein. Die Zeile in der robots.txt ist Teil des gemeinsamen Sitemap-Protokolls und nicht auf Google beschränkt.

1. Veröffentlichen Sie die Sitemap, idealerweise im Hauptverzeichnis.
2. Öffnen Sie in der Search Console den Sitemaps-Bericht Ihrer Property. Dafür brauchen Sie Inhaberrechte.
3. Tragen Sie die Adresse unter „Neue Sitemap hinzufügen“ ein und klicken Sie auf „Senden“.
4. Prüfen Sie den Status. „Erfolgreich“ ist das Ziel; bei „Konnte nicht abgerufen werden“ oder „Sitemap kann gelesen werden, enthält aber Fehler“ klicken Sie auf die Zeile, um die Details zu sehen.

Achten Sie darauf, dass die robots.txt die Sitemap selbst nicht sperrt – Google hält sich auch beim Abruf der Sitemap an die Datei. Auffindig sucht die Sitemap zuerst über die Sitemap:-Zeilen, dann unter den üblichen Adressen, und prüft anschließend eine Stichprobe von fünf Adressen daraus. Die genauen Regeln stehen unten im Abschnitt So prüft Auffindig.