İÇGÖRÜLER

AI botları ve teknik erişim

Yapay zekâ tarayıcıları sitenize erişebiliyor mu? robots.txt, güvenlik duvarı, llms.txt ve beyan ile gerçek arasındaki fark.

REHBER

Hız sınırı: sunucunuzu korurken AI botunu da susturabilir

Sunucu yükünü korumak için hız sınırı koymak meşru bir tercih. Ama aynı sınır, bir AI botunun sitenizi tam tarayabilmesini de engelleyebilir — ve sonuç 403 gibi net değil, daha belirsiz bir "kısmi görünürlük".

İnceleyin ↗REHBER

Tek sayfa uygulamanız AI botuna boş bir kabuk gösteriyor olabilir

React, Vue veya Angular ile istemci tarafında render edilen bir sayfa, tarayıcıda mükemmel görünür. JavaScript çalıştırmayan bir bota giden ham HTML'de aynı sayfa genellikle boş bir `<div id="root">`'tan ibarettir.

İnceleyin ↗REHBER

IP aralığı doğrulama: sahte bot trafiğini ayıklamak

User-agent dizgisi taklit edilebilir; bir isteğin gerçekten iddia ettiği bot olup olmadığını kesin olarak bilmenin iki yolu var: ters DNS ve yayımlanmış IP aralıkları. İkisi farklı durumlar için işe yarar.

İnceleyin ↗REHBER

Hangi CDN/WAF, AI botlarını varsayılan olarak engelliyor

Bir CDN veya güvenlik duvarı seçmek, bilmeden bir AI görünürlük kararı vermek olabilir. Sağlayıcılar arasında "varsayılan açık" ile "varsayılan kapalı" farkı, sitenizin görünürlüğünü siz hiçbir ayar değiştirmeden belirler.

İnceleyin ↗REHBER

llms.txt gerekli mi? Google gereklilikleri ve kullanım kararı

llms.txt Google için gerekli mi? robots.txt ve site haritasından farkı, kullanım amacı ve bakım kararı için kaynaklı açıklama.

İnceleyin ↗REHBER

Google-Extended bir tarayıcı değildir: yaygın bir yanlış

Google-Extended bir tarayıcı değildir; sunucunuza hiç istek atmaz. Yalnızca robots.txt içinde anlamı olan bir izin belirtecidir.

İnceleyin ↗REHBER

Cloudflare AI bot ayarı: tek düğme, görünmeyen sonuç

Cloudflare’in "Block AI Scrapers and Crawlers" düğmesi açıkken robots.txt’niz ne derse desin AI tarayıcıları 403 alır. Ölçümümüzde sunucu engellerinin %60’ı buradan geliyor.

İnceleyin ↗REHBER

114 Türk sitesi: AI engellemesinin yarısı görünmüyor

On üç sektörden 114 Türk alan adını 13 yapay zekâ tarayıcısıyla taradık. Engelleyen sitelerin %48’inde engel robots.txt’de görünmüyor.

İnceleyin ↗REHBER

robots.txt izin veriyor ama sunucunuz engelliyor

robots.txt bir beyandır, sunucunuzun yanıtı ise gerçektir. İkisi çeliştiğinde markanız yapay zekâ cevaplarından sessizce düşer — ve hiçbir hata mesajı almazsınız.

İnceleyin ↗REHBER