Wissensartikel
Wie richten Sie robots.txt und XML-Sitemap richtig ein?
Die robots.txt sagt Crawlern, welche Bereiche Ihrer Website sie abrufen dürfen; die XML-Sitemap nennt ihnen die Adressen, die in den Index sollen. Beide …
Kostenloses Tool · Technik & Crawling
robots.txt-Tester & KI-Crawler-Check
Prüfen Sie, was Ihre robots.txt Suchmaschinen und KI-Crawlern erlaubt, testen Sie einzelne Pfade und erstellen Sie bei Bedarf eine neue Datei.
- Kostenlos
- Ohne Anmeldung
- Ohne Tageslimit
- Keine Speicherung Ihrer Eingaben
robots.txt prüfen
Geben Sie eine Domain ein – wir laden deren robots.txt und werten sie für bekannte Such- und KI-Crawler aus.
robots.txt erstellen
Ihre robots.txt
robots.txt
Laden Sie die Datei in das Hauptverzeichnis Ihrer Domain, sodass sie unter https://ihre-domain.at/robots.txt erreichbar ist. Viele SEO-Plugins und Baukästen verwalten die Datei selbst – ändern Sie sie dann dort.
Eingefügte Texte bleiben in diesem Browserfenster. Adressen ruft unser Prüf-Crawler einmalig ab – wir speichern weder Adresse noch Ergebnis.
So funktioniert das Tool
Prüfen: Das Tool lädt /robots.txt der eingegebenen Domain – immer mit unserem eigenen Prüf-Crawler AuffindigBot, nie mit fremder Kennung. Es zeigt die Datei mit Zeilennummern, meldet Syntaxfehler, unbekannte Felder und Sitemap-Zeilen und wertet die Regeln für bekannte Such- und KI-Crawler aus – nach denselben Regeln wie Google: passende Gruppe, längste Regel, bei Gleichstand gewinnt Allow.
Grenzen: Die robots.txt ist eine Bitte an Crawler, keine Sperre. Ob eine Firewall oder ein CDN bestimmte Bots blockiert, sehen wir damit nicht. Erstellen: Der Generator läuft vollständig in Ihrem Browser.
So lesen Sie das Ergebnis
- In Ordnung
- Die robots.txt ist erreichbar, als Text lesbar und ohne Syntaxfehler.
- Verbesserbar
- Keine Datei (für Google: alles erlaubt), eine HTML-Seite statt Text oder Zeilen, die Google ignoriert.
- Problem
- Die Datei ist nicht abrufbar (Serverfehler) – Google behandelt das wie eine vollständige Sperre.
- Info
- Erlaubt oder gesperrt ist keine Wertung: Ob Sie KI-Crawler zulassen, entscheiden Sie selbst.
Was steht in einer robots.txt?
Eine robots.txt besteht aus Gruppen. Jede Gruppe beginnt mit einer oder mehreren Zeilen User-agent: und enthält Regeln mit Disallow: (nicht abrufen) und Allow: (abrufen erlaubt). Ein Crawler folgt nur der Gruppe mit seinem Namen – gibt es keine, gilt die Gruppe User-agent: *. Sitemap:-Zeilen stehen außerhalb der Gruppen und gelten für alle.
KI-Anbieter betreiben meist mehrere Crawler: einen für das Training ihrer Modelle, einen für die Suche und einen, der Seiten nur auf Nutzerwunsch abruft. Darum können Sie das Training sperren und trotzdem in KI-Antworten als Quelle erscheinen.
Mehr dazu im Wissensartikel Wie richten Sie robots.txt und XML-Sitemap richtig ein?
Häufige Fragen
Was ist eine robots.txt?
Eine Textdatei im Hauptverzeichnis einer Website (/robots.txt). Sie sagt Crawlern, welche Bereiche sie abrufen dürfen. Seriöse Crawler halten sich daran; einen Schutz vor Zugriffen bietet sie nicht, denn die Datei ist für jeden lesbar.
Ruft das Tool meine Website als Googlebot oder GPTBot ab?
Nein. Wir rufen jede Adresse nur mit unserem eigenen, offen erkennbaren Prüf-Crawler AuffindigBot ab. Die Auswahl im Formular bestimmt nur, für welchen Crawler wir die Regeln Ihrer robots.txt auswerten. Ob eine Firewall einen bestimmten Bot sperrt, lässt sich so nicht feststellen.
Entfernt ein Disallow eine Seite aus dem Google-Index?
Nein. Disallow verhindert nur das Abrufen. Eine gesperrte Seite kann trotzdem im Index stehen, wenn andere Seiten auf sie verlinken – dann ohne Beschreibung. Für den Ausschluss aus dem Index setzen Sie noindex und lassen die Seite für Crawler erreichbar, damit Google die Anweisung lesen kann. Mehr dazu im Artikel Indexierung.
Sollte ich KI-Crawler sperren?
Das ist eine Abwägung. Trainings-Crawler wie GPTBot, ClaudeBot oder Google-Extended sammeln Inhalte für das Training von Sprachmodellen; sie zu sperren, ändert nichts an Ihrer Position in der Google-Suche. Such-Crawler wie OAI-SearchBot, Claude-SearchBot oder PerplexityBot holen Inhalte für Antworten mit Quellenangabe – wer sie sperrt, wird dort seltener als Quelle genannt. Der Generator bietet dafür die Voreinstellung „KI-Training sperren, KI-Suche erlauben“.
Welche Regel gilt, wenn mehrere passen?
Google wählt die Gruppe mit dem passenden Crawler-Namen (sonst User-agent: *) und darin die längste passende Regel. Sind eine Allow- und eine Disallow-Regel gleich lang, gewinnt Allow. * steht für beliebige Zeichen, $ für das Ende der Adresse. Genau so wertet auch dieses Tool aus.