Puffinmint
DE
Italiano English Español Français Deutsch Português (Brasil) 日本語 한국어 Polski Türkçe

Robots.txt testen: URL und User-Agent prüfen

Teste robots.txt-Regeln für eine URL und einen User-Agent. Sieh die passende Freigabe oder Sperre; erlaubtes Crawling garantiert keine Indexierung.

Einstellungen

Gib einen Pfad wie /seite oder eine Domain mit Pfad ein, auch ohne HTTPS. Nur die eingefügte robots.txt wird ausgewertet.

Gleiche Product-Token-Gruppen werden zusammengeführt; die spezifischste Regel gewinnt, bei Gleichstand Allow. Keine proprietären Erweiterungen. Robots.txt ist keine Zugriffssperre und garantiert keine Entfernung aus dem Index. Höchstens 500 KiB.

Die Eingaben werden zur Prüfung an den Server gesendet. Es werden keine Anmeldedaten an die Zielseite übertragen.

Ergebnis

Wir zählen die meistgenutzten Werkzeuge, ohne Eingabewerte oder Dateiinhalte in die Statistik aufzunehmen. Datenschutz

So verwenden Sie das Werkzeug

robots.txt einfügen, Pfad und Product-Token des Crawlers angeben, etwa Googlebot. Die Auswertung ruft die Website nicht ab.

Prüfverfahren

Der Tester vergleicht den Pfad mit den Regeln der passenden Product-Token-Gruppe. Er führt gleichwertige Gruppen zusammen und wählt die spezifischste Regel; bei Gleichstand gilt Allow.

Ergebnis verstehen

Im Beispiel ist /private/report gesperrt, während die spezifischere Regel /private/public/report erlaubt. Crawling-Erlaubnis garantiert keine Indexierung und schützt keine privaten Daten.

Beispiel

Beispiel mit Testdaten: Tatsächliche Antworten können sich ändern.

Eingabe
User-agent: * Disallow: /private/ Allow: /private/public/
Ergebnis
/private/report → Disallow · /private/public/report → Allow

Im Beispiel ist /private/report gesperrt, während die spezifischere Regel /private/public/report erlaubt. Crawling-Erlaubnis garantiert keine Indexierung und schützt keine privaten Daten.

Grenzen und Datenverarbeitung

Gleiche Product-Token-Gruppen werden zusammengeführt; die spezifischste Regel gewinnt, bei Gleichstand Allow. Keine proprietären Erweiterungen. Robots.txt ist keine Zugriffssperre und garantiert keine Entfernung aus dem Index. Höchstens 500 KiB.

Die Eingaben werden zur Prüfung an den Server gesendet. Es werden keine Anmeldedaten an die Zielseite übertragen.

Die Ergebnisse gelten zum Prüfzeitpunkt.

Quellen

Häufige Fragen

Welche Grenzen hat die Prüfung?

Gleiche Product-Token-Gruppen werden zusammengeführt; die spezifischste Regel gewinnt, bei Gleichstand Allow. Keine proprietären Erweiterungen. Robots.txt ist keine Zugriffssperre und garantiert keine Entfernung aus dem Index. Höchstens 500 KiB. Die Ergebnisse gelten zum Prüfzeitpunkt.

Das könnte dir auch helfen

Alle ansehen

DNS-Lookup: DNS-Einträge einer Domain prüfen

Frage A-, AAAA-, MX-, TXT-, NS-, CNAME- und CAA-Einträge einer Domain ab. Eine einzelne Resolver-Antwort belegt keine weltweite DNS-Propagation.

WHOIS-Abfrage: öffentliche RDAP-Domaindaten

Prüfe veröffentlichte Registrar-Daten, Datumsangaben, Status und Nameserver per RDAP. Verdeckte oder nicht verfügbare Angaben bleiben gekennzeichnet.

Security Headers: HTTP-Sicherheitsheader prüfen

Prüfe CSP, HSTS und weitere HTTP-Antwortheader einer Seite. Lies Werte und Erläuterungen im Kontext; die Prüfung ist kein Sicherheitszertifikat.

Favoriten