robots.txt Oluşturucu

Birden çok user-agent bloğu, Allow/Disallow, isteğe bağlı Crawl-delay, Host ve Sitemap satırlarıyla bir robots.txt oluşturun. Siz yazarken canlı önizleme güncellenir.

User-agent blokları

Genel

Sitemap URL’leri (her satıra bir tane) Host (isteğe bağlı; bazı tarama botları kullanır)

Notlar: Host bazı tarama botları (ör. Yandex) tarafından dikkate alınır. Crawl-delay Google tarafından kullanılmaz, ancak diğerleri kullanabilir. * ve $ joker karakterleri yaygın biçimde desteklenir (çekirdek RFC’de değildir).

Önizleme (robots.txt)

URL test aracı

User-agent URL veya yol

Hatırlatma: robots.txt herkese açık bir dosyadır ve kurallara uyan tarama botları için bir tavsiyedir; erişim kontrol mekanizması değildir.

Yorumlar (0)

Düşüncenizi paylaşın — lütfen kibar olun ve konu dışına çıkmayın.

Henüz yorum yok. Yorum bırakın ve düşüncenizi paylaşın!

Yorum yapmak için giriş yapın

E-posta

Şifre

Şifrenizi mi unuttunuz? Hesap oluştur

Asted Cloud