Puffinmint
PL
Italiano English Español Français Deutsch Português (Brasil) 日本語 한국어 Polski Türkçe

Test robots.txt: adres i robot

Przetestuj reguły robots.txt dla adresu i agenta użytkownika. Sprawdź dopasowaną regułę; zezwolenie na skanowanie nie gwarantuje indeksowania.

Ustawienia

Wpisz ścieżkę, np. /strona, lub domenę ze ścieżką, także bez HTTPS. Analizowany jest tylko wklejony robots.txt.

Łączy grupy tego samego product token, wybiera najbardziej szczegółową regułę, przy remisie Allow. Bez rozszerzeń własnościowych. Robots.txt nie kontroluje dostępu ani nie gwarantuje usunięcia z indeksu. Maksymalnie 500 KiB.

Dane są wysyłane do serwera w celu sprawdzenia. Dane logowania nie są przesyłane do strony docelowej.

Wynik

Liczymy użycie narzędzi bez wprowadzonych wartości i zawartości plików w statystykach. Prywatność

Jak korzystać z narzędzia

Wklej robots.txt, podaj ścieżkę i product token robota, np. Googlebot. Tekst jest analizowany bez pobierania strony.

Metoda sprawdzania

Tester porównuje ścieżkę z regułami grupy właściwej dla product token. Łączy równoważne grupy i wybiera najbardziej szczegółową regułę; przy remisie wygrywa Allow.

Jak odczytać wynik

W przykładzie /private/report jest zablokowane, a /private/public/report dozwolone przez bardziej szczegółową regułę. Zgoda na skanowanie nie gwarantuje indeksacji ani nie chroni prywatnych danych.

Przykład poglądowy

Przykład z danymi testowymi: rzeczywiste odpowiedzi mogą się zmienić.

Dane wejściowe
User-agent: * Disallow: /private/ Allow: /private/public/
Wynik
/private/report → Disallow · /private/public/report → Allow

W przykładzie /private/report jest zablokowane, a /private/public/report dozwolone przez bardziej szczegółową regułę. Zgoda na skanowanie nie gwarantuje indeksacji ani nie chroni prywatnych danych.

Ograniczenia i przetwarzanie danych

Łączy grupy tego samego product token, wybiera najbardziej szczegółową regułę, przy remisie Allow. Bez rozszerzeń własnościowych. Robots.txt nie kontroluje dostępu ani nie gwarantuje usunięcia z indeksu. Maksymalnie 500 KiB.

Dane są wysyłane do serwera w celu sprawdzenia. Dane logowania nie są przesyłane do strony docelowej.

Wyniki dotyczą chwili sprawdzenia.

Źródła

Częste pytania

Jakie są ograniczenia sprawdzania?

Łączy grupy tego samego product token, wybiera najbardziej szczegółową regułę, przy remisie Allow. Bez rozszerzeń własnościowych. Robots.txt nie kontroluje dostępu ani nie gwarantuje usunięcia z indeksu. Maksymalnie 500 KiB. Wyniki dotyczą chwili sprawdzenia.

Mogą się też przydać

Zobacz wszystkie

DNS lookup: sprawdź rekordy DNS domeny

Sprawdź rekordy A, AAAA, MX, TXT, NS, CNAME i CAA domeny oraz błędy odpowiedzi. Jedna odpowiedź nie jest dowodem propagacji DNS na całym świecie.

WHOIS domeny: publiczne dane RDAP

Sprawdź rejestratora, daty, statusy i serwery nazw opublikowane w RDAP. Dane ukryte lub niedostępne pozostają wyraźnie oznaczone.

Sprawdzanie nagłówków bezpieczeństwa HTTP

Sprawdź CSP, HSTS i pozostałe nagłówki odpowiedzi HTTP strony. Zobacz wartości i objaśnienia; wynik nie jest certyfikatem bezpieczeństwa witryny.

Ulubione