Über unseren Prüf-Crawler

Was ist AuffindigBot?

AuffindigBot ist kein Such-Crawler, sondern ein Prüfwerkzeug: Er lädt eine Seite, wenn jemand sie mit Auffindig prüfen lässt, wertet sie aus und verwirft die Inhalte danach wieder. Betrieben wird er von der nextValue e.U., die hinter Auffindig steht.

• nur auf Anfrage eines Menschen, kein selbstständiges Durchsuchen des Webs,
• eine Seite je Prüfung plus wenige Stichproben – kein Crawl der ganzen Website,
• keine Speicherung von Seiteninhalten, geprüften Adressen oder Ergebnissen,
• keine Cookies, keine Anmeldung, keine Formulare,
• keine Umgehung von Bot-Schutz oder Firewalls: Blockiert Ihre Website den Abruf, meldet der Bericht das einfach.

Woran erkennen Sie AuffindigBot?

An der Kennung AuffindigBot/1.0 am Ende des User-Agents. Der Anfang entspricht einem aktuellen Chrome-Browser, damit Ihre Website dieselbe Fassung ausliefert wie an Ihre Besucher. Die Chrome-Version passen wir laufend an; die Kennung und der Link auf diese Seite bleiben gleich.

Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/155.0.0.0 Safari/537.36 AuffindigBot/1.0 (+https://auffindig.preview.nextvalue.at/bot/)

Wann ruft AuffindigBot Ihre Website auf?

Nur dann, wenn jemand auf Auffindig eine Adresse eingibt, die zu Ihrer Website gehört oder auf sie verlinkt. Es gibt keine geplanten Durchläufe, keine Warteschlange und keinen Index, der regelmäßig aufgefrischt wird.

• Website-Check: eine Seite wird vollständig geprüft,
• Vergleich mit Mitbewerbern: jede eingegebene Adresse wird wie beim Website-Check geprüft,
• Einzeltools mit Serverabruf: robots.txt-Tester, Weiterleitungs-Checker, HTTP-Header-Check, Schema-Validator, Hreflang-Checker, Keyword-Dichte, llms.txt-Generator, DSGVO-Check,
• Stichproben: Prüft jemand eine andere Website, die auf Ihre verlinkt, kann AuffindigBot den Link-Status mit einer einzelnen, kurzen Anfrage kontrollieren.

Wie viele Anfragen stellt eine Prüfung?

Eine Prüfung stellt insgesamt höchstens 80 Anfragen, davon höchstens 6 gleichzeitig an denselben Server, und ist nach spätestens 20 s beendet. Die meisten Anfragen sind kurz: Links und Bilder fragt AuffindigBot nur nach Status und Kopfzeilen ab.

Links, deren Pfad auf Bereiche wie Warenkorb, Kasse, Kundenkonto oder Login hindeutet, ruft AuffindigBot nicht auf (Pfade, die eines dieser Wörter enthalten: account, cart, warenkorb, checkout, kasse, login, logout, wp-admin, wp-login, mein-konto, cdn-cgi). Links zu großen sozialen Netzwerken werden ebenfalls übersprungen.

Damit eine einzelne Website nicht überlastet wird, laufen für denselben Server höchstens 2 Prüfungen gleichzeitig; weitere warten bis zu 10 s oder werden abgelehnt. Unser Server führt insgesamt höchstens 6 Prüfungen gleichzeitig aus, und eine Fair-Use-Bremse begrenzt die Prüfungen je Internetanschluss auf 30 in der Stunde. Die vollständige Liste der Abrufe steht in der Methodik.

Gibt sich AuffindigBot als anderer Crawler aus?

Nein. Jeder Abruf – für den Bericht, für Stichproben und in allen Tools – trägt die Kennung AuffindigBot/1.0. AuffindigBot gibt sich nie als Googlebot, Bingbot oder als Crawler eines KI-Anbieters aus und versucht nicht, Bot-Schutz, Captchas oder Firewalls zu umgehen.

• robots.txt anderer Crawler: Ob Google, Bing oder KI-Dienste wie OAI-SearchBot und Claude-SearchBot Ihre Seite abrufen dürfen, liest Auffindig aus den Regeln Ihrer robots.txt ab – ohne Abruf mit deren Kennung.
• Crawler-Auswahl in Tools: Im robots.txt-Tester, im Weiterleitungs-Checker und im HTTP-Header-Check wählen Sie, für welchen Crawler die robots.txt-Regeln ausgewertet werden. Abgerufen wird trotzdem mit AuffindigBot.
• Firewalls mit KI-Sperre: Ob eine Firewall die echten KI-Crawler aussperrt, lässt sich von außen nicht verlässlich prüfen. Erkennt Auffindig an den Kopfzeilen der Antwort ein Content-Delivery-Netz oder eine Firewall mit einer solchen Funktion, gibt der Bericht einen Hinweis ohne Wertung und empfiehlt, die Einstellung dort selbst zu kontrollieren – mehr dazu beim Prüfpunkt KI-Bot-Sperre in CDN oder Firewall (Hinweis).
• Blockierte Abrufe: Weist Ihr Bot-Schutz AuffindigBot ab, erscheint statt des Berichts der Hinweis, dass die Website automatische Abrufe nicht zulässt. Wie Sie den Abruf erlauben, steht unter Freigeben.

Die Messung mit Google PageSpeed im Bericht führt Google selbst durch – mit eigenen Kennungen von Google, nicht mit AuffindigBot.

Beachtet AuffindigBot die robots.txt?

AuffindigBot liest die robots.txt, um sie zu bewerten – folgt ihr aber nicht wie ein Such-Crawler. Eine Prüfung ist eine einzelne, von einem Menschen ausgelöste Anfrage, vergleichbar mit dem Aufruf der Seite im Browser. So handhaben es auch andere Prüfwerkzeuge.

Aus Ihrer robots.txt liest Auffindig, ob Google, Bing und KI-Suchdienste die geprüfte Seite abrufen dürfen und ob eine Sitemap eingetragen ist. Ein Beispiel:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: GPTBot
Disallow: /

Sitemap: https://www.ihre-firma.example/sitemap.xml

Für dieses (erfundene) Beispiel meldet der Bericht:

• Googlebot und Bingbot dürfen die Seite abrufen – Prüfpunkt Seite nicht per robots.txt gesperrt: In Ordnung.
• KI-Suchdienste wie OAI-SearchBot oder PerplexityBot sind nicht gesperrt – Prüfpunkt KI-Suchdienste dürfen die Seite abrufen: In Ordnung.
• Der Trainings-Crawler GPTBot ist gesperrt – Prüfpunkt KI-Trainings-Crawler (Übersicht): nur Info, ohne Abwertung.
• Die Sitemap ist eingetragen – Prüfpunkt XML-Sitemap vorhanden und eingetragen, sofern sie sich laden lässt.

Eine eigene Gruppe User-agent: AuffindigBot hat auf Prüfungen keine Wirkung. Wenn Sie nicht geprüft werden möchten, schreiben Sie uns – wie unter Ausschließen beschrieben. Mehr zur robots.txt lesen Sie im Artikel robots.txt und XML-Sitemap.

Wie geben Sie AuffindigBot frei?

Meldet Auffindig, dass Ihre Website den Abruf blockiert, steckt meist ein Bot-Schutz dahinter – etwa die Firewall Ihres Hosters, eines Content-Delivery-Netzes oder ein Sicherheits-Plugin. Für eine Prüfung können Sie Anfragen mit der Kennung AuffindigBot/1.0 im User-Agent dort zulassen.

• Legen Sie in Ihrem Bot-Schutz eine Ausnahme für User-Agents an, die AuffindigBot enthalten.
• Eine Freigabe nur über den User-Agent kann jeder nutzen, der diese Kennung vortäuscht. Erlauben Sie sie deshalb nur vorübergehend.
• Sperrt Ihr Bot-Schutz auch Such- und KI-Crawler, betrifft das Ihre Sichtbarkeit bei Google und in der KI-Suche – der Bericht zeigt das in den Bereichen Technik und KI-Sichtbarkeit.

Wo die Einstellung genau zu finden ist, hängt vom Anbieter ab; die Anleitung steht in dessen Hilfe. Ihr Hoster oder Ihre Webagentur kann die Ausnahme ebenfalls einrichten.

Wie schließen Sie Ihre Website von Prüfungen aus?

Schreiben Sie uns eine E-Mail mit der Domain, die nicht mehr geprüft werden soll. Nach Prüfung Ihrer Anfrage tragen wir sie in unsere Sperrliste ein. Danach lehnt Auffindig Prüfungen dieser Domain und aller Subdomains ab, und AuffindigBot ruft sie auch als Link-Ziel in anderen Prüfungen nicht mehr auf.

Ausschluss per E-Mail anfragen an info@nextvalue.at

Wer danach eine Adresse dieser Domain prüfen möchte, erhält die Meldung, dass die Adresse nicht geprüft werden kann. Möchten Sie den Ausschluss später wieder aufheben, genügt ebenfalls eine E-Mail.

Was speichert AuffindigBot?

Nichts dauerhaft. Abgerufene Inhalte, geprüfte Adressen und Ergebnisse existieren nur im Arbeitsspeicher, solange die Prüfung läuft. Unser Fehlerprotokoll enthält nur technische Angaben wie Fehlercode und Dauer, keine Adressen. Einzelheiten stehen in der Datenschutzerklärung.