IP aralığı doğrulama: sahte bot trafiğini ayıklamak
User-agent dizgisi taklit edilebilir; bir isteğin gerçekten iddia ettiği bot olup olmadığını kesin olarak bilmenin iki yolu var: ters DNS ve yayımlanmış IP aralıkları. İkisi farklı durumlar için işe yarar.
AI botlarının tam listesinde belirtildiği gibi, user-agent dizgisi kolayca taklit edilir. Sunucu günlüklerinizde "GPTBot" görmeniz, isteğin gerçekten OpenAI'dan geldiği anlamına gelmez. Bunu kesin olarak bilmenin iki yöntemi var.
Yöntem 1: Ters DNS doğrulama
Bir isteğin geldiği IP adresinin, iddia edilen sağlayıcının alan adına gerçekten ait olup olmadığını sorgulamak:
host 203.0.113.42
# -> crawl-203-0-113-42.openai.com gibi bir sonuç dönmeli
host crawl-203-0-113-42.openai.com
# -> tekrar 203.0.113.42 dönmeli (ileri doğrulama)İki yönlü eşleşme (IP → alan adı → aynı IP) sağlanmıyorsa istek sahtedir. Bu yöntem istek başına çalışır ve her istekte ekstra bir DNS sorgusu maliyeti getirir — düşük hacimli, hassas kararlar için uygundur (örneğin "bu isteği engellersem ne kaybederim" sorusunun cevabı önemliyse).
Yöntem 2: Yayımlanmış IP aralıkları
Büyük sağlayıcıların çoğu, botlarının kullandığı IP aralıklarını (CIDR bloklarını) herkese açık bir adreste yayınlar ve düzenli günceller. Bu listeyi periyodik olarak indirip güvenlik duvarı kuralınıza eklemek, istek başına DNS sorgusu yapmadan toplu doğrulama sağlar.
Pratik akış:
- Sağlayıcının yayımladığı IP aralığı listesini otomatik bir görevle
düzenli aralıklarla indirin (günlük veya haftalık).
- Listeyi güvenlik duvarı/WAF kuralınıza besleyin — "bu aralıktan gelen
ve bu user-agent'ı taşıyan istek gerçek bot" mantığıyla.
- Aralık dışından gelen ama aynı user-agent'ı taşıyan istekleri
şüpheli olarak işaretleyin, otomatik engellemeyin — yanlış pozitif riski var, önce günlükleyin.
İki yöntemi ne zaman birleştirmeli
| Senaryo | Önerilen yöntem |
|---|---|
| Toplu, otomatik kural (WAF seviyesinde) | IP aralığı listesi |
| Tek bir şüpheli isteğin araştırılması | Ters DNS |
| Yüksek trafikli site, performans kritik | IP aralığı (DNS sorgu maliyeti yok) |
| Düşük trafikli site, esneklik önemli | Ters DNS yeterli |
Sahte trafiğin iki yönlü zararı
Sahte bot tespiti yalnızca güvenlik meselesi değil, ölçüm meselesidir de. Bir kazıyıcı meşru bot adını taklit ediyorsa ve siz onu "GPTBot erişti" diye sayıyorsanız, ölçümünüz gerçek AI görünürlüğünü değil sahte trafiği ölçmüş olur. Bu, ölçümde "referans isteği" prensibiyle aynı ailede bir hata: yanlış girdiyi doğru kabul etmek.
Aralık listesini güncel tutmanın maliyeti
Statik bir listeyi bir kez indirip kod içine gömmek pratik görünür ama zaman içinde iki yönde hataya yol açar: yeni aralıklar eklenmediği için gerçek botlar reddedilir, eski aralıklar kaldırılmadığı için artık sağlayıcıya ait olmayan bir IP'ye gereksiz güven duyulur. Otomatik güncelleme (günlük/haftalık bir zamanlanmış görev) bu iki hatayı da önler.
Kontrol listesi
- Kritik kararlar için ters DNS doğrulaması yapılıyor mu
- WAF kuralları IP aralığı listesiyle besleniyor mu, yalnızca user-agent'a mı güveniliyor
- IP aralığı listesi otomatik ve düzenli güncelleniyor mu
- Aralık dışından gelen şüpheli istekler engellenmeden önce günlükleniyor mu
Markaların yapay zekâ destekli arama sistemlerindeki görünürlüğünü ölçer ve düzeltir. Ölçüm metodolojisi ham sunucu yanıtına ve tekrarlı çalıştırmaya dayanır; her bulgu kaydedilmiş bir sunucu yanıtına bağlanır.
Sık sorulanlar
Ters DNS mi IP aralığı mı daha güvenilir?
İkisi de güvenilir ama farklı ölçekte. Ters DNS tek bir isteği doğrular ve her istekte bir DNS sorgusu maliyeti getirir. IP aralığı listesi toplu ve önceden yapılan bir kontrol sağlar, güncellenmesi gerekir ama istek başına ekstra sorgu gerektirmez.
IP aralıkları ne sıklıkla değişir?
Sağlayıcıya göre değişir ama düzenli aralıklarla güncellenir. Statik bir listeyi bir kez indirip sonsuza kadar kullanmak, zamanla yeni aralıkları kaçırmanıza ve eski aralıkları gereksiz yere tutmanıza yol açar.
Sahte bot trafiği neden önemli?
İki yönde de zarar verir: gerçek bir kazıyıcıyı "meşru AI botu" sanıp engellememek içerik hırsızlığına açık bırakır; gerçek bir AI botunu "şüpheli" sanıp engellemek görünürlüğü kapatır.