Robots.txt-Generator

Erstellen Sie eine robots.txt mit User-Agents, erlaubten oder gesperrten Pfaden und Sitemap. Prüfen Sie die Regeln vor dem Kopieren oder Herunterladen.

Verarbeitung im Browser: Ihre Daten werden nicht hochgeladen.

Daten einstellen

User-agent

Allow-Pfade (einer pro Zeile)

Disallow-Pfade (einer pro Zeile)

Sitemap-URL (optional)

Eine User-agent-Gruppe mit Allow-/Disallow-Pfaden pro Zeile und optionaler Sitemap ausfüllen. Vor dem Ersetzen einer vorhandenen Datei prüfen.

Ergebnis

Ihr Ergebnis erscheint hier.

Wir zählen die meistgenutzten Werkzeuge, ohne Eingabewerte oder Dateiinhalte in die Statistik aufzunehmen. Datenschutz

So verwendest du das Werkzeug

Du kannst die Domain mit oder ohne www sowie mit Pfad und Abfrageparametern eingeben. Ohne Protokoll wird HTTPS verwendet.
Eine User-agent-Gruppe mit Allow-/Disallow-Pfaden pro Zeile und optionaler Sitemap ausfüllen.
Vor dem Ersetzen einer vorhandenen Datei prüfen.

Methode und Grundlagen

robots.txt steuert Crawling, schützt keine Daten und garantiert keine Deindexierung.

Im Domainstamm ablegen und Regeln prüfen.

Praktisches Beispiel

Eingabe

User-agent: *
Allow-Pfade (einer pro Zeile): /
Disallow-Pfade (einer pro Zeile): /private/
Sitemap-URL (optional): https://example.com/sitemap.xml

Ergebnis

User-agent: * Allow: / Disallow: /private/ Sitemap: https://example.com/sitemap.xml

Grenzen und Prüfungen

Grenzen und Prüfungen
Parameter	Wert
Allow-Pfade (einer pro Zeile)	≤ 5000000 Zeichen
Disallow-Pfade (einer pro Zeile)	≤ 5000000 Zeichen

Quellen und weiterführende Informationen

Google Search Central

Robots.txt-Generator

Daten einstellen

Ergebnis

So verwendest du das Werkzeug

Methode und Grundlagen

Praktisches Beispiel

Grenzen und Prüfungen

Quellen und weiterführende Informationen

Das könnte dir auch helfen

Hreflang-Generator

Schema-Markup-Generator für JSON-LD

Google SERP Simulator