Hangi CDN/WAF, AI botlarını varsayılan olarak engelliyor
Bir CDN veya güvenlik duvarı seçmek, bilmeden bir AI görünürlük kararı vermek olabilir. Sağlayıcılar arasında "varsayılan açık" ile "varsayılan kapalı" farkı, sitenizin görünürlüğünü siz hiçbir ayar değiştirmeden belirler.
robots.txt izin veriyor ama sunucunuz engelliyor yazısı, bir engeli nasıl düzelteceğinizi anlatıyor. Bu yazı bir adım öncesine bakıyor: hangi sağlayıcıyı seçerseniz, o engelle hiç karşılaşmadan başlarsınız — ya da tam tersi.
Neden bu bir seçim anıdır
Bir CDN veya WAF kurarken çoğu ekip performans, fiyat ve DDoS koruması gibi kriterlere bakar. AI bot politikası bu listede genelde yoktur — oysa varsayılan davranış, hiçbir ayar değiştirmeden sitenizin AI görünürlüğünü belirler.
Sağlayıcı manzarası (genel eğilim)
| Sağlayıcı | Genel eğilim | Not |
|---|---|---|
| Cloudflare | Ayrı bir "AI Scrapers" kontrolü var, bazı planlarda kolay erişilebilir | Bot Fight Mode ayrıca devreye girebilir |
| AWS CloudFront + WAF | Yönetilen kural grupları arasında bot kategorileri bulunur | Kural grubunu seçmek/açmak elle yapılan bir tercihtir |
| Akamai Bot Manager | Kurumsal, ayrıntılı bot sınıflandırması sunar | Yapılandırma karmaşıklığı yüksek, uzman gerektirir |
| Sucuri | Güvenlik duvarı imzaları geniş bad-bot listeleri içerebilir | İstisna tanımlamak panel üzerinden yapılır |
| Wordfence (WordPress) | Kural setleri güncellendiğinde yeni bot imzaları otomatik eklenebilir | Eklenti güncellemesi davranışı değiştirebilir |
| Paylaşımlı hosting / cPanel ModSecurity | Genellikle sağlayıcı bazlı, kontrolü site sahibinde değil | En az görünürlük ve en az kontrol |
Tablodaki "genel eğilim" ifadesi kasıtlı: sağlayıcılar ayarlarını sık günceller, bir planın bugünkü varsayılanı altı ay sonra değişebilir. Kesin davranış için tek güvenilir yöntem gerçek istekle ölçmektir — bu tablo yalnızca nereye bakacağınızı gösterir.
Kontrol kolaylığı ile kontrol derinliği ters orantılı
Basit panelli sağlayıcılarda (örneğin Cloudflare'in tüketici planı) tek bir anahtarla "AI botlarına izin ver" seçeneği bulunabilir — kolay ama kaba. Kurumsal ürünlerde (Akamai gibi) bot bot bazında kural yazılabilir — güçlü ama uzmanlık ister. Paylaşımlı hostingde genellikle hiçbir kontrol yoktur — sağlayıcı sizin adınıza karar verir ve bunu değiştiremezsiniz.
Son satır özellikle önemli: bütçe kısıtlı küçük siteler genellikle paylaşımlı hostingi seçer ve bu, AI bot erişimi üzerinde en az söz hakkına sahip olduğunuz kurulumdur.
Plan seviyesi tuzağı
Bazı sağlayıcılarda gelişmiş bot yönetimi (ve AI bot istisnaları) yalnızca üst planlarda bulunur. Ücretsiz veya giriş seviyesi planda "AI botlarına izin ver" seçeneği hiç görünmeyebilir — seçenek yokluğu, "kapalı" anlamına gelir, "nötr" değil.
Seçim yaparken sorulacak dört soru
- Bu sağlayıcının bot yönetiminde AI tarayıcıları için **ayrı bir
kategori** var mı, yoksa hepsi "şüpheli bot" torbasında mı?
- İstisna tanımlamak (belirli botlara izin vermek) hangi plan
seviyesinden itibaren mümkün?
- Varsayılan davranış "hepsi açık, ben kapatırım" mı, yoksa "hepsi
kapalı, ben açarım" mı?
- Bu davranışı gerçek bir istekle doğrulayabiliyor muyum, yoksa
panelin beyanına güvenmek zorunda mıyım?
Dördüncü soru en önemlisi: panelin "AI botlarına açığız" demesi ile gerçek isteğin geçmesi aynı şey değildir — bu iki katman arasındaki fark, katman karışıklığı yazısında ayrıntılı anlatılan tam sorunun kendisidir.
Kontrol listesi
- Sağlayıcı seçerken AI bot politikası kriterlerden biri oldu mu
- Mevcut sağlayıcının varsayılan davranışı gerçek istekle doğrulandı mı
- İstisna tanımlama yeteneği kullanılan plan seviyesinde mevcut mu
- Sağlayıcı güncellemesi sonrası davranış periyodik olarak yeniden ölçülüyor mu
Markaların yapay zekâ destekli arama sistemlerindeki görünürlüğünü ölçer ve düzeltir. Ölçüm metodolojisi ham sunucu yanıtına ve tekrarlı çalıştırmaya dayanır; her bulgu kaydedilmiş bir sunucu yanıtına bağlanır.
Sık sorulanlar
Bir sağlayıcı seçtikten sonra bu ayarı değiştirebilir miyim?
Genellikle evet, çoğu sağlayıcı bir istisna/whitelist mekanizması sunar. Ama varsayılan davranış önemlidir çünkü siz fark etmeden aylar boyunca geçerli olan davranış budur.
Ücretsiz plan ile ücretli plan arasında fark var mı?
Evet, sık görülen bir örüntü: gelişmiş bot yönetimi özellikleri (ve bazen AI bot istisnaları) yalnızca üst planlarda bulunur. Ücretsiz planda "hepsi kapalı, hiç seçenek yok" durumuyla karşılaşmak mümkün.