Puffinmint
TR
Italiano English Español Français Deutsch Português (Brasil) 日本語 한국어 Polski Türkçe

Robots.txt testi: URL ve bot kuralları

URL ve kullanıcı aracısı için robots.txt kurallarını test edin. Yolu açan veya engelleyen kuralı görün; tarama izni dizine eklenmeyi garanti etmez.

Ayarlar

/sayfa gibi bir yol veya yol içeren bir alan adı girebilirsiniz. HTTPS zorunlu değildir. Yalnızca yapıştırılan robots.txt değerlendirilir.

Aynı product token grupları birleştirilir, en özel kural seçilir ve eşitlikte Allow önceliklidir. Özel uzantılar taklit edilmez. Robots.txt erişim kontrolü değildir, dizinden kaldırmayı garanti etmez. En fazla 500 KiB.

Girdiniz kontrol için sunucuya gönderilir. Hedef siteye kimlik doğrulama bilgisi gönderilmez.

Sonuç

Girilen değer veya dosya içeriğini istatistiğe katmadan hangi araçların kullanıldığını sayarız. Gizlilik

Nasıl kullanılır?

robots.txt içeriğini yapıştırın, yolu ve Googlebot gibi product token değerini girin. Site indirilmeden metin değerlendirilir.

Kontrol yöntemi

Test aracı yolu, product token için geçerli grubun kurallarıyla karşılaştırır. Eşdeğer grupları birleştirir ve en özel kuralı seçer; eşitlikte Allow kazanır.

Sonucu yorumlama

Örnekte /private/report engellenir, /private/public/report ise daha özel kuralla izinlidir. Tarama izni dizine eklenmeyi garanti etmez veya özel verileri korumaz.

Açıklayıcı örnek

Test verileriyle temsili örnek: gerçek yanıtlar değişebilir.

Girdi
User-agent: * Disallow: /private/ Allow: /private/public/
Sonuç
/private/report → Disallow · /private/public/report → Allow

Örnekte /private/report engellenir, /private/public/report ise daha özel kuralla izinlidir. Tarama izni dizine eklenmeyi garanti etmez veya özel verileri korumaz.

Sınırlar ve verilerin işlenmesi

Aynı product token grupları birleştirilir, en özel kural seçilir ve eşitlikte Allow önceliklidir. Özel uzantılar taklit edilmez. Robots.txt erişim kontrolü değildir, dizinden kaldırmayı garanti etmez. En fazla 500 KiB.

Girdiniz kontrol için sunucuya gönderilir. Hedef siteye kimlik doğrulama bilgisi gönderilmez.

Sonuçlar kontrol anını yansıtır.

Kaynaklar

Sık sorulan sorular

Bu kontrolün sınırları nelerdir?

Aynı product token grupları birleştirilir, en özel kural seçilir ve eşitlikte Allow önceliklidir. Özel uzantılar taklit edilmez. Robots.txt erişim kontrolü değildir, dizinden kaldırmayı garanti etmez. En fazla 500 KiB. Sonuçlar kontrol anını yansıtır.

Bunlar da işinize yarayabilir

Tümünü gör

DNS sorgulama: alan adı kayıtlarını kontrol et

Alan adının A, AAAA, MX, TXT, NS, CNAME ve CAA kayıtlarını ve yanıt hatalarını inceleyin. Tek çözümleyici yanıtını küresel DNS yayılımı olarak yorumlamayın.

WHOIS sorgulama: herkese açık RDAP bilgileri

RDAP’ta yayımlanan kayıt kuruluşunu, tarihleri, durumları ve ad sunucularını sorgulayın. Gizli veya alınamayan kayıt bilgileri açıkça belirtilir.

HTTP güvenlik başlıklarını kontrol et

Sayfanın CSP, HSTS ve diğer HTTP yanıt başlıklarını inceleyin. Gerçek değerleri ve bağlamsal açıklamaları görün; sonuç site güvenliğini belgelemez.

Favoriler