robots.txt oluşturucu

User-agent, Allow, Disallow ve site haritası adresiyle robots.txt hazırlayın. Yayımlamadan önce izin verilen ve engellenen yolları inceleyin.

Tarayıcıda işlenir; veriler yüklenmez.

Verileri ayarla

Verileri ayarla

Robot ve yolları girin. Gerekli sayfa ve kaynakların engellenmediğini kontrol edin. robots.txt kimlik doğrulama veya veri güvenliği sağlamaz. URL'nin arama sonuçlarından kaldırılmasını garanti etmez.

Sonuç

Sonuç burada görünür.

Girilen değer veya dosya içeriğini istatistiğe katmadan hangi araçların kullanıldığını sayarız. Gizlilik

Araç nasıl kullanılır?

  1. Alan adını www ile veya www olmadan yazabilir, yol ve sorgu parametreleri ekleyebilirsiniz. Protokol belirtilmezse HTTPS kullanılır.
  2. Robot ve yolları girin.
  3. Gerekli sayfa ve kaynakların engellenmediğini kontrol edin.
  4. robots.txt kimlik doğrulama veya veri güvenliği sağlamaz.
  5. URL'nin arama sonuçlarından kaldırılmasını garanti etmez.

Uygulamalı örnek

Girdi
  • User-agent: *
  • İzinli yollar (satır başına bir): /
  • Engelli yollar (satır başına bir): /private/
  • Site haritası URL'si (isteğe bağlı): https://example.com/sitemap.xml
Sonuç
User-agent: * Allow: / Disallow: /private/ Sitemap: https://example.com/sitemap.xml

Sınırlar ve kontroller

Sınırlar ve kontroller
ParametreDeğer
İzinli yollar (satır başına bir)≤ 5000000 karakter
Engelli yollar (satır başına bir)≤ 5000000 karakter

Kaynaklar ve ek bilgiler

Favoriler