Hız sınırı: sunucunuzu korurken AI botunu da susturabilir
Sunucu yükünü korumak için hız sınırı koymak meşru bir tercih. Ama aynı sınır, bir AI botunun sitenizi tam tarayabilmesini de engelleyebilir — ve sonuç 403 gibi net değil, daha belirsiz bir "kısmi görünürlük".
Hız sınırlaması (rate limiting), bir IP'nin veya user-agent'ın belirli bir sürede yapabileceği istek sayısını sınırlayarak sunucuyu aşırı yükten korur. Meşru ve gereklidir. Sorun sınırın kendisinde değil, AI botlarının bu sınıra nasıl çarptığında ortaya çıkar.
Neden AI botları özellikle risk altında
Bir eğitim botu (GPTBot, CCBot gibi) bir siteyi tararken kısa aralıklarla çok sayıda sayfa isteyebilir — bu onun işi, tek bir sayfayı değil sitenin büyük kısmını taramaktır. Bir insan ziyaretçi dakikada 2-3 sayfa görür; bir tarama botu dakikada yüzlerce sayfa isteyebilir. Saniyede beş istekten sonra devreye giren bir hız sınırı, insan trafiği için görünmez, bot trafiği için anında tetiklenir.
403 ile 429'un anlamı farklı, sonucu benzer
| Durum kodu | Anlamı | Bot ne yapmalı | Bot gerçekte ne yapar |
|---|---|---|---|
| 403 | Erişim yasak | Vazgeç | Genellikle vazgeçer, bir daha denemeyebilir |
| 429 | Çok istek, sonra dene | Bekle, tekrar dene (Retry-After varsa) | Bazı botlar dener, bazıları vazgeçer |
| 503 | Geçici olarak müsait değil | Bekle, tekrar dene | Benzer, ama sunucu genel yükü işaret eder |
Üçü de sonuç olarak sayfanın o çalıştırmada okunamamasına yol açabilir. Fark, niyet ile davranıştır: 429 kasıtlı olarak "yavaşla" demek isterken, botun bunu doğru yorumlayıp yorumlamaması sizin kontrolünüzde değildir.
Retry-After başlığı fark yaratır
Bir 429 yanıtına Retry-After başlığı eklemek (örn. Retry-After: 30), uyumlu botlara ne kadar bekleyeceklerini söyler. Bu başlık olmadan bot, tekrar deneme stratejisini kendi varsayımına göre kurar — bu genellikle çok erken tekrar deneyip yine engellenmek ya da tamamen vazgeçmek anlamına gelir.
Kendi ölçümünüzü de bozabilir
robots.txt izin veriyor ama sunucunuz engelliyor yazısında anlatılan "429'u kesin hüküm saymayın" uyarısı, hız sınırının ölçüm tarafındaki yansımasıdır: on üç botu art arda hızlı test ederseniz kendi hız sınırınızı siz tetikleyip "engellendi" diye yanlış kayıt tutabilirsiniz. Doğru ölçüm eşzamanlılığı düşük tutar ve 429'u ayrı bir kategoriye ("kısıtlandı", "engellendi" değil) yazar.
İstisna tanımlamak: kimlik doğrulamalı muafiyet
Sunucu korumasından ödün vermeden çözüm, doğrulanmış AI botlarına (ters DNS veya yayımlanmış IP aralığıyla doğrulanmış) ayrı ve daha yüksek bir hız sınırı tanımlamaktır. Genel ziyaretçi trafiği için sıkı kalan sınır, doğrulanmış bot trafiği için gevşetilir — ikisi aynı kural setinde çakışmaz.
Pratik eşik önerisi
Kesin bir sayı her sitede geçerli değildir ama başlangıç noktası: doğrulanmış AI botları için insan trafiğinden en az 5-10 kat yüksek bir istek/dakika eşiği tanımlayın ve Retry-After başlığını her zaman ekleyin. Sunucu yükü gerçekten kritikse, sınırlamayı botun tüm siteyi belirli bir sürede tarayabileceği kadar geniş tutun — aksi halde bot sitenizin yalnızca ilk birkaç sayfasını görüp "bu kadarmış" sonucuna varır.
Kontrol listesi
- Hız sınırı doğrulanmış AI botları için ayrı ve daha yüksek mi
- 429 yanıtlarında
Retry-Afterbaşlığı var mı - Kendi ölçümünüzde eşzamanlılık düşük tutulup 429 ayrı işaretleniyor mu
- Sınır, botun siteyi makul bir sürede tamamen tarayabileceği kadar geniş mi
Markaların yapay zekâ destekli arama sistemlerindeki görünürlüğünü ölçer ve düzeltir. Ölçüm metodolojisi ham sunucu yanıtına ve tekrarlı çalıştırmaya dayanır; her bulgu kaydedilmiş bir sunucu yanıtına bağlanır.
Sık sorulanlar
429 durum kodu 403 gibi mi?
Hayır, anlamı farklı. 403 "erişimin yok" der, 429 "şu an çok istek yaptın, biraz sonra tekrar dene" der. Bot bunu doğru yorumlarsa geri çekilip yeniden dener; yorumlamazsa isteği kaybeder.
Hangi botlar hız sınırına daha çok yakalanır?
Sitenizi topluca tarayan eğitim botları (GPTBot, CCBot gibi) kısa sürede çok sayıda sayfa istediği için risk altındadır. Kullanıcı tetikli botlar (ChatGPT-User gibi) tek seferde bir sayfa istediği için bu riski taşımaz.