Google-Extended bir tarayıcı değildir: yaygın bir yanlış

Google-Extended bir tarayıcı değildir. Sunucunuza tek bir istek bile atmaz; sunucu kayıtlarınızda aramanın anlamı yok, hiç bulamazsınız. Google-Extended yalnızca robots.txt dosyanız okunurken anlamı olan bir izin belirtecidir ve bunu tarayıcı sanmak yaygın bir yanlış.

Ayrım teknik bir incelik değil: yanlış anlaşıldığında doğrudan yanlış karara götürüyor.

İki farklı şey: tarayıcı ve belirteç

Google-Extended ve Applebot-Extended ikinci sütunda. Sayfanızı Googlebot ve Applebot çeker. -Extended belirteçleri, çekilmiş içeriğin sonradan ne için kullanılacağını düzenler.

Bu yüzden AI bot erişim kontrolümüzde bu iki belirteç için "sunucu engeli" sütunu boş bırakılır. Gerçek istek atmadığımız için engel ölçemeyiz — ölçmediğimiz bir şeyi ölçmüş gibi göstermek, aracın tamamını değersizleştirirdi.

Google-Extended tam olarak neyi kontrol eder

Google’ın açıklamasına göre bu belirteç, sitenizden çekilmiş içeriğin Gemini modellerinin eğitiminde ve Vertex AI üretken hizmetlerinde kullanılıp kullanılmayacağını belirler.

User-agent: Google-Extended
Disallow: /

Bu satır Googlebot’u durdurmaz. Sayfanız taranmaya, indekslenmeye ve arama sonuçlarında görünmeye devam eder. Yalnızca model eğitimi tarafında bir tercih beyan etmiş olursunuz.

Tersi de doğru: Googlebot’u engellerseniz Google-Extended’a izin vermenizin bir anlamı kalmaz. İçerik hiç çekilmediyse eğitimde kullanılacak bir şey de yoktur.

AI Overviews ile karıştırmayın

En sık yapılan hata bu. "Google-Extended’ı engellersem AI Overviews’te görünmez miyim?" sorusunun cevabı basit bir evet ya da hayır değil.

AI Overviews, Google’ın arama altyapısı üzerine kurulu. Google-Extended ise model eğitimi ve Vertex AI tarafını düzenliyor. Google’ın Google-Extended ile AI Overviews arasındaki ilişkiye dair açıklamaları zaman içinde netleşti ve değişti; bugün için tek dürüst cevap şu: ikisi aynı mekanizma değil ve kesin davranış zaman içinde değişebilir.

AI Overviews tarafında neyin işe yaradığını AI Overviews’te görünmek yazısında ayrı ele alıyoruz.

Ölçümde ne gördük

114 Türk sitesini taradığımız çalışmada Google-Extended’ı robots.txt ile yasaklayan site oranı %0 çıktı. Applebot-Extended’da bu oran %1.

Bu rakam iki şeyden birini gösteriyor: ya Türk siteleri bilinçli olarak Gemini eğitimine izin veriyor, ya da bu belirtecin varlığından haberdar değiller. Aynı sitelerde GPTBot yasağı %8, ClaudeBot yasağı %9 çıkmışken Google tarafının %0 olması, ikinci ihtimali güçlendiriyor: karar verilmemiş, sadece bilinmemiş.

Ne yapmalı

Önce kararınızı netleştirin, sonra yazın.

Eğitime izin veriyorsanız hiçbir şey yapmanıza gerek yok. Belirteç yoksa varsayılan izindir.

Eğitime kapalı olmak istiyorsanız robots.txt’ye iki satır ekleyin:

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

Bu satırlar Googlebot’u, Applebot’u ve arama görünürlüğünüzü etkilemez.

Kararınızı tutarlı tutun. OpenAI ve Anthropic’in eğitim botlarını engelleyip Google-Extended’a izin vermek tutarsız bir pozisyondur — gerekçesi varsa sorun yok, ama çoğu zaman gerekçe değil gözden kaçmadır. 13 botun tamamı için tutarlı bir dosya çıkarmak isterseniz robots.txt üreticisi kararlarınızı tek ekranda alıp kopyalanabilir çıktı verir.

Kararınızın uygulandığını nasıl doğrularsınız

Burada tuhaf bir durum var: gerçek istek atmayan bir belirteci gerçek istekle doğrulayamazsınız. Ölçebileceğiniz tek şey robots.txt’nizin o belirteç için ne söylediği — yani beyanın kendisi.

Üç adımlı kontrol:

1. Dosya gerçekten yayında mı. https://ornek.com.tr/robots.txt adresini açın.

Şaşırtıcı sıklıkta dosya ya 404 döner ya da bir yönlendirmenin arkasında kalır.

1. Grup doğru yazılmış mı. User-agent: Google-Extended satırı kendi grubunda

olmalı. Başka bir grubun altına sıkışmış Disallow satırı beklediğiniz botu kapsamaz — robots.txt’de gruplar boş satırla ayrılır ve bu detay sık atlanır.

1. Googlebot yanlışlıkla kapsanmış mı. User-agent: Google yazmak Googlebot’u

da kapsar. Belirteç adının tam yazılması gerekir.

Üçünü birden kontrol etmek için bot erişim kontrolü her belirteç için hangi kuralın eşleştiğini ve hangi grubun uygulandığını gösterir.

Belirteç neden sonradan çıktı

Google-Extended, Googlebot’tan çok sonra tanıtıldı. Sebep basit: robots.txt uzun yıllar tek bir soruyu düzenledi — "bu sayfayı tarayabilir miyim". Üretken yapay zekâ ikinci bir soru ekledi: "taradığım içeriği ne için kullanabilirim".

İkinci soruyu mevcut protokolle cevaplamanın tek yolu, gerçek bir tarayıcıya karşılık gelmeyen bir belirteç tanımlamaktı. Apple aynı yolu Applebot-Extended ile izledi. Yani -Extended soneki bir tarayıcı ailesini değil, bir kullanım iznini işaret ediyor.

Bu tasarım kararı, kafa karışıklığının da kaynağı. robots.txt’de duran her şeyin bir tarayıcı olduğunu varsaymak makul bir beklentiydi ve artık doğru değil.

Belirteç ile tarayıcıyı ayırmak neden önemli

Çünkü yanlış katmanda arama yapmaya yol açıyor. Google-Extended’ı sunucu kayıtlarında arayan biri hiçbir şey bulamaz ve "demek ki engellenmiş" ya da "demek ki gelmiyor" diye yanlış bir sonuca varır. Oysa ortada ölçülecek bir istek yok.

Aynı karışıklığın daha maliyetli hâli, engelin hangi katmanda olduğunu bilmemek: robots.txt izin verirken sunucunun kapıyı kapatması. O konuyu robots.txt izin veriyor ama sunucunuz engelliyor yazısında ölçümle birlikte anlatıyoruz. Hangi belirteç tarayıcı, hangisi değil sorusunun tam listesi ise AI botlarının tam listesinde.