robots.txt izin veriyor ama sunucunuz engelliyor
robots.txt bir beyandır, sunucunuzun yanıtı ise gerçektir. İkisi çeliştiğinde markanız yapay zekâ cevaplarından sessizce düşer — ve hiçbir hata mesajı almazsınız.
6 dk okuma
AI botları ve teknik erişim
Yapay zekâ tarayıcıları sitenize erişebiliyor mu? robots.txt, güvenlik duvarı, llms.txt ve beyan ile gerçek arasındaki fark.
Yapay zekâ görünürlüğünün ilk şartı erişimdir. Bir model sitenizi okuyamıyorsa içeriğinizin kalitesi, şemanız ya da otoriteniz hiçbir şey ifade etmez.
Bu kümedeki yazılar tek bir ayrımın etrafında dönüyor: beyan ile gerçek aynı şey değildir. robots.txt sitenizin botlara ne söylediğidir. Sunucunuzun o bota fiilen ne yaptığı ise ayrı bir sorudur ve çoğu zaman ilkiyle çelişir.
Türkiye'deki AI bot kontrol araçlarının tamamı yalnızca birinci soruyu yanıtlıyor. İkincisini ölçmek için her botun user-agent'ı ile gerçek bir istek atmak ve sonucu normal bir tarayıcının aldığı yanıtla karşılaştırmak gerekir — Kaynak Ol bunu 13 tarayıcı için ayrı ayrı yapar.
Bu konudaki araçlar
ücretsiz · kayıt yok
AI Bot Erişim Kontrolü
13 yapay zekâ tarayıcısı için robots.txt beyanını ve gerçek sunucu yanıtını ayrı ayrı ölçer. Güvenlik duvarınızın sessizce engellediği botları bulur.
Hazır · ~10 saniyerobots.txt ve llms.txt ÜreticiAI botları için doğru robots.txt kurallarını ve llms.txt dosyasını üretir. Her bot için izin ya da yasak seçersiniz, çıktı kopyalanmaya hazır gelir.
Hazır · anındaSite Haritası ve İndeksleme DenetimiXML site haritası geçerliliği, ölü bağlantılar, yönlendirme zincirleri, noindex çakışmaları ve robots.txt çelişkileri.
Hazır · ~30 saniyeBu konudaki yazılar
2 yazı13 AI botunun tam listesi ve ne işe yaradıkları
GPTBot, ClaudeBot, PerplexityBot ve diğerleri — hangisi ne yapıyor, engellenirse ne kaybedersiniz ve hangi ikisi aslında tarayıcı bile değil.
5 dk okuma