robots.txt izin veriyor ama sunucunuz engelliyor
robots.txt bir beyandır, sunucunuzun yanıtı ise gerçektir. İkisi çeliştiğinde markanız yapay zekâ cevaplarından sessizce düşer — ve hiçbir hata mesajı almazsınız.
6 dk okuma
Site haritanız ne söylüyor, sunucunuz ne yapıyor?
Site haritası bir beyandır: "şu sayfaları tara" der. Bu araç haritadaki URL’lere gerçekten istek atar ve beyanın tutup tutmadığını gösterir — ölü bağlantılar, yönlendirmeler, robots.txt yasağıyla çelişen adresler ve noindex taşıyan sayfalar.
robots.txt’den haritayı bulur, XML’i çözümler ve ilk 40 URL’yi gerçek istekle kontrol eder. Kayıt istemez.
Neden gerçek istek atıyoruz
Çoğu site haritası aracı XML’in biçimini doğrular ve orada durur. Biçimi geçerli bir harita, içindeki her URL 404 dönüyor olsa bile "geçerli" görünür. Bu yüzden her URL’ye gerçekten istek atıyoruz ve dönen durum kodunu gösteriyoruz.
Aynı mantık robots.txt için de geçerli: haritadaki her adresi sitenin kendi robots.txt kurallarıyla karşılaştırıyoruz. "Bunu tara" ile "bunu tarama" aynı anda söyleniyorsa bu bir çelişkidir ve hiçbir hata mesajı üretmez.
noindex iki yerden gelir
Sayfalar indekslenmemeyi iki şekilde söyleyebilir: HTML içindeki
<meta name="robots"> etiketi ve sunucunun gönderdiği
X-Robots-Tag başlığı. İkincisi HTML’de görünmez; sayfanın kaynağına
bakarak bulunamaz. Bu araç ikisini birden kontrol eder.
Ölçümün sınırları
Haritada kaç URL olursa olsun en fazla 40 tanesine gerçek istek atılır ve harita indeksinde ilk 3 alt harita açılır. Ücretsiz bir araç başkasının sunucusuna yük bindirmemeli. Tamamının taranması tam denetim kapsamındadır.
Örneklem haritanın başından alınır, rastgele değil. Bu bilinçli: harita sırası genellikle site mimarisini yansıtır ve baştaki URL’ler en önemli sayfalardır.
Konuyla ilgili yazılar
konunun tamamıAynı konudaki diğer araçlar
hepsiAI Bot Erişim Kontrolü
13 yapay zekâ tarayıcısı için robots.txt beyanını ve gerçek sunucu yanıtını ayrı ayrı ölçer. Güvenlik duvarınızın sessizce engellediği botları bulur.
Hazır · ~10 saniyerobots.txt ve llms.txt ÜreticiAI botları için doğru robots.txt kurallarını ve llms.txt dosyasını üretir. Her bot için izin ya da yasak seçersiniz, çıktı kopyalanmaya hazır gelir.
Hazır · anında