KaynakOl

robots.txt ve llms.txt üretin

Bu araç 13 yapay zekâ tarayıcısı için kopyalanmaya hazır bir robots.txt üretir. Her bot için ayrı karar verebilir ya da üç hazır ayardan birini seçebilirsiniz; sitenizin adresini girerseniz mevcut kurallarınızla çelişkiler de gösterilir.

Siteniz isteğe bağlı — mevcut kurallarınızı okur

Hazır ayar

Tümüne açık Görünürlük istiyorsanız bu. Aramaya açık, eğitime kapalı Yayıncılar için tipik: cevaplarda kaynak olun, eğitim verisine girmeyin. Tümüne kapalı Tüm yapay zekâ tarayıcılarını kapatır.

Aşağıdan tek tek değiştirirseniz hazır ayar devre dışı kalır.

Arama yüzlü

Bugünkü görünürlüğü belirler — kapatmak markayı AI cevaplarından siler

OAI-SearchBot OpenAI · ChatGPT arama dizini ChatGPT-User OpenAI · Kullanıcı isteğiyle anlık sayfa okuma Claude-SearchBot Anthropic · Claude arama dizini Claude-User Anthropic · Kullanıcı isteğiyle anlık sayfa okuma PerplexityBot Perplexity · Arama dizini Perplexity-User Perplexity · Kullanıcı isteğiyle anlık sayfa okuma Google-Extended Google · Gemini ve AI Overviews için içerik kullanım izni tarayıcı değil, denetim belirteci

Eğitim

Uzun vadeli bilinirliği etkiler; içerik telife tabiyse kapatmak meşru

GPTBot OpenAI · Model eğitimi için tarama ClaudeBot Anthropic · Model eğitimi için tarama Applebot-Extended Apple · Apple Intelligence için içerik kullanım izni tarayıcı değil, denetim belirteci CCBot Common Crawl · Açık web arşivi — birçok model bu arşivle eğitiliyor meta-externalagent Meta · Meta AI / Llama eğitimi

Bölgesel

Hedef pazarınıza göre karar verin

Bytespider ByteDance · Doubao / TikTok AI eğitimi

Kapatılacak yollar

Her satıra bir yol. Yönetim, sepet ve hesap sayfaları genellikle kapatılır.

robots.txt

sitenizin köküne yükleyin

# AI tarayıcı kuralları
# 21.09.2026 tarihinde kaynakol.com üzerinden üretildi.
#
# Not: Google-Extended ve Applebot-Extended birer tarayıcı DEĞİLDİR.
# İçeriği Googlebot ve Applebot çeker; bu belirteçler yalnızca içeriğin
# yapay zekâ yanıtlarında kullanılıp kullanılmayacağını denetler.

User-agent: *
Disallow: /wp-admin/
Disallow: /sepet/
Disallow: /hesabim/
Allow: /

# Erişimine izin verilen yapay zekâ tarayıcıları
User-agent: GPTBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: ClaudeBot
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: Bytespider
User-agent: CCBot
User-agent: meta-externalagent
Disallow: /wp-admin/
Disallow: /sepet/
Disallow: /hesabim/
Allow: /

llms.txt

isteğe bağlı — Google kullanmıyor

# ornek.com

## Önemli sayfalar

- [Hakkımızda](https://ornek.com/hakkimizda): Kuruluş ve faaliyet alanı
- [Hizmetler](https://ornek.com/hizmetler): Sunulan hizmetlerin listesi
- [İletişim](https://ornek.com/iletisim): Adres ve iletişim bilgileri

llms.txt'i Google kullanmadığını açıkça belirtti. Bazı başka sistemler dikkate alıyor; maliyeti düşük olduğu için eklemekte zarar yok, ama AI Overviews görünürlüğüne katkısı olmaz. Bunu vaat eden içeriklere şüpheyle yaklaşın.

Dosyayı yükledikten sonra mutlaka ölçün

robots.txt bir beyandır, kilit değil. Dosyanız "izin veriyorum" dese bile güvenlik duvarınız botu 403 ile geri çevirebilir ve bundan haberiniz olmaz. Yükledikten sonra gerçek erişimi ölçün — iki katman birbirinden habersiz çalışır.

Bot erişimini ölç Dört boyutta tara

Konuyla ilgili yazılar

konunun tamamı

13 AI botunun tam listesi ve ne işe yaradıkları

GPTBot, ClaudeBot, PerplexityBot ve diğerleri — hangisi ne yapıyor, engellenirse ne kaybedersiniz ve hangi ikisi aslında tarayıcı bile değil.

21 Eylül 20265 dk okuma

Aynı konudaki diğer araçlar

hepsi

AI Bot Erişim Kontrolü

13 yapay zekâ tarayıcısı için robots.txt beyanını ve gerçek sunucu yanıtını ayrı ayrı ölçer. Güvenlik duvarınızın sessizce engellediği botları bulur.

Hazır · ~10 saniye Site Haritası ve İndeksleme Denetimi

XML site haritası geçerliliği, ölü bağlantılar, yönlendirme zincirleri, noindex çakışmaları ve robots.txt çelişkileri.

Hazır · ~30 saniye