Cloudflare AI bot ayarı: tek düğme, görünmeyen sonuç

Cloudflare panelinde tek bir düğme var: Block AI Scrapers and Crawlers. Açık olduğunda GPTBot, ClaudeBot, CCBot ve Bytespider gibi tarayıcılar sitenizden 403 alır. Bu ayarın en sinsi tarafı şu: robots.txt dosyanıza hiçbir şey yazmaz. Dosyanız "buyurun tarayın" demeye devam eder, sunucunuz botu kapıdan çevirir.

Eylül 2026’da 114 Türk sitesini taradığımız ölçümde kaydettiğimiz 75 sunucu engelinin 45’i, yani %60’ı Cloudflare kaynaklıydı. Bu tek ayar, Türkiye’deki sessiz AI engellemesinin en büyük tek sebebi.

Ayar nerede duruyor

Cloudflare panelinde yol şu:

Cloudflare Dashboard → alan adınız → Security → Bots
→ "Block AI Scrapers and Crawlers"

Bazı hesaplarda aynı ayar Security → Settings altında ya da yeni arayüzde Security → Bot Management içinde görünebilir. Etiket zaman zaman "AI Scrapers and Crawlers", "Block AI bots" ya da "AI Audit" başlığı altında yer değiştiriyor.

Ayrıca Cloudflare, bir dönem yeni alan adlarında bu ayarı varsayılan olarak açık getirdi. Yani hiç kimse bir karar vermemiş olabilir; site kurulduğunda öyle gelmiştir. Ölçümümüzde otomotiv, turizm, perakende ve hukuk sektörlerinde robots.txt kararı %0 çıkmasının sebebi büyük ihtimalle bu: engel var ama arkasında bir tercih yok.

Kategorik engelleme ne yapar

Cloudflare bot trafiğini imza ve IP aralığına göre sınıflandırır. "AI Scrapers and Crawlers" kategorisi şunları kapsar:

Sorun kapsamın genişliğinde. "Modelim benim içeriğimle eğitilmesin" demek meşru bir karardır — ama aynı düğme, bir kullanıcı soru sorduğu anda sayfanızı okumaya gelen botları da kesebiliyor. ChatGPT-User ve Perplexity-User eğitim botu değildir; cevabın içinde sizi kaynak gösterebilmek için gelirler. Onları engellemek, modelin sizi tanısa bile güncel bilgiyle alıntılayamaması demektir.

Bu ayrımın ayrıntısı AI botlarının tam listesinde: hangi belirteç tarayıcıdır, hangisi yalnızca robots.txt içinde anlamı olan bir izin belirtecidir.

Açık mı kapalı mı, nasıl anlaşılır

Panele bakmak en kolay yol ama tek yol değil ve her zaman güvenilir değil: bir ajansın kurduğu hesapta erişiminiz olmayabilir, ya da engel kategorik ayardan değil elle yazılmış bir WAF kuralından geliyor olabilir.

Kesin yöntem gerçek istek atmaktır. İki isteği yan yana koyun:

1. Bot user-agent’ı ile: GPTBot/1.0
2. Normal tarayıcı user-agent’ı ile

Normal tarayıcı 200 alırken bot 403 alıyorsa engel bota özeldir ve sunucudadır. İkisi de 403 alıyorsa sorun bot engellemesi değil, daha geniş bir koruma kuralıdır.

Komut satırından kaba bir kontrol:

curl -s -o /dev/null -w "%{http_code}\n" -A "GPTBot/1.0" https://ornek.com.tr/
curl -s -o /dev/null -w "%{http_code}\n" -A "Mozilla/5.0" https://ornek.com.tr/

İlk satır 403, ikincisi 200 dönüyorsa cevabı aldınız. Aynı karşılaştırmayı 13 bot için birden yapmak isterseniz bot erişim kontrolü her bot için ham sunucu yanıtını yan yana gösterir.

Kapatmak yerine: ayrıştırmak

Ayarı düşünmeden kapatmak da düşünmeden açık bırakmak kadar tembel bir karar. Doğru soru "açık mı kapalı mı" değil, "hangi bot ne yapıyor ve ben hangisini istiyorum".

Üç tutarlı pozisyon var:

Tamamen açık. İçeriğiniz pazarlama amaçlı, görünürlük istiyorsunuz, eğitim verisi olarak kullanılmasından rahatsız değilsiniz. Ayarı kapatın, robots.txt’de de izin verin. Beyan ile gerçek uyuşur.

Eğitime kapalı, cevaba açık. En yaygın ve en savunulabilir pozisyon. Kategorik ayarı kapatın, robots.txt’de GPTBot, ClaudeBot, CCBot ve Bytespider’ı yasaklayın; OAI-SearchBot, ChatGPT-User, PerplexityBot ve Claude-SearchBot’a izin verin. Böylece modeliniz eğitilmez ama güncel cevaplarda kaynak gösterilebilirsiniz.

Tamamen kapalı. Haber ve yayıncılık sektöründe sık görülür, telif ve lisanslama sebebiyle. Bu da meşrudur — ama robots.txt’ye yazın. Ölçümümüzde banka sektöründe sunucu engeli %0, robots.txt kararı %30 çıkmıştı: birisi oturmuş karar vermiş ve yazmış. Kararı yazmak, ileride fikir değiştirdiğinizde tek yerden dönebilmek demek.

Kararınızı dosyaya dökmek için robots.txt ve llms.txt üreticisi 13 bot için doğru kuralları çıkarır ve mevcut dosyanızla çelişkilerini gösterir.

WAF kuralıyla ince ayar

Kategorik ayarı kapattıktan sonra seçici davranmak isterseniz Cloudflare WAF Custom Rules içinde user-agent bazlı kural yazabilirsiniz:

(http.user_agent contains "GPTBot") or
(http.user_agent contains "CCBot") or
(http.user_agent contains "Bytespider")
→ Action: Block

Bu kural yalnızca adını yazdığınız botları keser; listede olmayan hiçbir tarayıcı etkilenmez. User-agent’a bakan her kural gibi bu da taklit edilebilir — ama amaç güvenlik değil, beyan edilmiş bir tercihi uygulamak. Kötü niyetli bir kazıyıcı zaten user-agent’ını değiştirir; onu durduracak şey hız sınırlama ve bot mücadelesidir, bu kural değil.

Değişikliği doğrulayın

Ayarı değiştirdikten sonra tahmin etmeyin, ölçün. Cloudflare değişikliklerinin kenar sunucularına yayılması genellikle saniyeler sürer ama önbellek katmanları eski davranışı bir süre daha gösterebilir.

Kontrol listesi:

• Bot user-agent’ı ile gerçek istek — beklenen durum kodu geliyor mu
• Normal tarayıcı isteği hâlâ 200 mü
• robots.txt beyanı yeni kararla uyuşuyor mu
• ChatGPT-User ve PerplexityBot gibi cevap botları bilinçli olarak mı bu tarafta

Dört maddeyi tek geçişte görmek için hızlı site taraması bot erişimini diğer üç boyutla birlikte ölçer.

Neden bu kadar önemli

Cloudflare ayarı teknik bir ayrıntı gibi duruyor ama sonucu stratejik. Yapay zekâ cevaplarında görünmek isteyen bir marka, farkında olmadan kapıyı kilitlemiş olabilir — ve bu durum hiçbir hata mesajı üretmez. Analytics’te görünmez, Search Console’da uyarı çıkmaz, sayfa ziyaretçilere sorunsuz açılır.

Katmanların neden bu kadar kolay karıştığını ve beyan ile gerçeğin nasıl ayrıldığını robots.txt izin veriyor ama sunucunuz engelliyor yazısında ayrıntılı anlatıyoruz.