Eğitim botu ile arama botu aynı şey değil

Yapay zekâ şirketlerinin çoğu web'i farklı amaçlarla ziyaret eden birden fazla bot kullanır. Bir kısmı gelecekteki modellerin eğitimi için içerik toplar, bir kısmı arama özelliklerinde gösterilecek sayfaları dizine ekler, bir kısmı da kullanıcı soru sorduğu anda sayfayı açar.

Bu ayrım önemlidir, çünkü robots.txt dosyasındaki tek bir yanlış kural sitenizi hiç istemediğiniz bir yerden çıkarabilir. Bir psikolog sitesi için amaç genellikle, doğru bilginin arama yanıtlarında bulunabilir olmasıdır.

Büyük sağlayıcıların botları

Aşağıdaki özet sağlayıcıların kendi belgelerine dayanır ve 13 Eylül 2026'da kontrol edildi. Bot adları ve davranışları değişebilir; bir kural eklemeden önce belgelerin güncel hâline bakın.

  • OpenAI: OAI-SearchBot, ChatGPT'nin arama özelliklerinde siteleri göstermek için kullanılır; OpenAI, bu botu engelleyen sitelerin ChatGPT arama yanıtlarında gösterilmeyeceğini belirtir. GPTBot model eğitimi içindir. ChatGPT-User kullanıcı eylemleriyle sayfa açar ve robots.txt kuralları bu isteklere uygulanmayabilir.
  • Anthropic: ClaudeBot model eğitimi, Claude-SearchBot arama sonuçlarının kalitesi, Claude-User ise kullanıcı sorularına yanıt verirken sayfa açmak için kullanılır. Anthropic üç botun da robots.txt yönergelerine uyduğunu belirtir.
  • Perplexity: PerplexityBot, Perplexity arama sonuçlarında siteleri göstermek için kullanılır ve model eğitimi için içerik toplamaz. Perplexity-User kullanıcı isteğiyle sayfa açar ve genellikle robots.txt kurallarını dikkate almaz.
  • Google: Google-Extended ayrı bir bot değil, robots.txt'te kullanılan bir denetim adıdır; içeriğin Gemini modellerinin eğitiminde ve yanıtların temellendirilmesinde kullanılmasını yönetir. Google, bunun Google Arama'ya dahil olmayı ve sıralamayı etkilemediğini belirtir.

Kendi robots.txt dosyanızı kontrol edin

robots.txt sitenizin kök adresinde durur: alanadiniz.com.tr/robots.txt. Bu adresi tarayıcıda açarak içeriğini görebilirsiniz. Standart, dosyaya ulaşılamadığında botların sitedeki kaynaklara erişebileceğini öngörür; yani dosyanın olmaması bir engel değildir.

Dikkat edilecek iki nokta var. Birincisi, hazır site şablonları veya güvenlik eklentileri bazen bütün botları engelleyen kurallar ekler. İkincisi, “Disallow: /” satırı hangi bot adının altındaysa o bot için bütün siteyi kapatır. Bir kuralın ne yaptığından emin değilseniz, silmeden önce kimin ve neden eklediğini öğrenin.

Eğitimi kapatıp aramada kalmak isterseniz

Bazı uzmanlar içeriklerinin model eğitiminde kullanılmasını istemez, ama arama yanıtlarında görünmeyi sürdürmek ister. Bu durumda yalnızca eğitimle ilişkili adlar engellenir, arama botlarına dokunulmaz. Bu tercih teknik bir zorunluluk değil, etik ve iş kararıdır; SEANS'ın kendi sitesi şu an hiçbir botu engellemiyor.

Aşağıdaki örnek, eğitimi kapatıp arama botlarını açık bırakan bir robots.txt dosyasıdır. Alan adını kendi adresinizle değiştirin ve yayından sonra dosyayı tarayıcıda açarak kontrol edin.

User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: *
Allow: /

Sitemap: https://alanadiniz.com.tr/sitemap.xml

robots.txt neyi garanti etmez?

Bir botun sitenize erişebilmesi, içeriğinizin yanıtlarda gösterileceği anlamına gelmez. Yanıt sistemleri hangi kaynağı kullanacaklarına kendileri karar verir. Google da AI özellikleri için ek bir özel dosya veya işaretleme gerekmediğini belirtir.

Bu nedenle erişim yalnızca başlangıç koşuludur. Görünür olmanın asıl dayanağı; kim olduğunuzu, nerede ve nasıl çalıştığınızı açıkça anlatan, kaynaklı ve güncel sayfalardır. Konunun genel çerçevesini SEO ve GEO yazımızda ele aldık.

İlgili yazı: SEO ve GEO: dijital görünürlükte ne değişiyor?

Kaynaklar ve editoryal not

Hazırlayan: SEANS Studio. Kaynaklar 13 Eylül 2026 tarihinde kontrol edildi. Öneriler, aksi belirtilmedikçe stüdyonun tasarım ve içerik yaklaşımını yansıtır. Sorunuz veya düzeltme öneriniz için: merhaba@seansstudio.com.tr