Bir web sitesine her gün çok sayıda otomatik tarayıcı uğrar. Son birkaç yılda bu tarayıcılara yapay zekâ şirketlerininkiler de eklendi. İşletmeler için karışıklık yaratan nokta şudur: Bu tarayıcıları engellemek, yapay zekâ cevaplarında görünürlüğü de mi kapatır? Cevap, hangi tarayıcının engellendiğine bağlıdır. Çünkü yapay zekâ şirketleri farklı amaçlar için farklı tarayıcılar kullanır ve bunları robots.txt’te ayrı adlarla tanımlar.
Kısa cevap: Yapay zekâ tarayıcıları genel olarak üç gruba ayrılır: model eğitimi için veri toplayanlar (ör. GPTBot), arama veya cevap üretimi için sayfa getirenler (ör. OAI-SearchBot) ve kullanıcının isteğiyle anlık sayfa okuyanlar (ör. ChatGPT-User). Eğitim tarayıcısını engellemek, çoğu durumda arama cevaplarındaki görünürlüğü kapatmaz; arama tarayıcısını engellemek ise kapatabilir. Google-Extended, Gemini ile ilgili kullanımları kontrol eder; Google Arama ve AI Overviews ise Googlebot ile çalışır.
Başlıca tarayıcılar ve amaçları
| User-agent | Şirket | Amaç (sağlayıcının açıklamasına göre) |
|---|---|---|
| GPTBot | OpenAI | Modellerin eğitimi için içerik toplama |
| OAI-SearchBot | OpenAI | ChatGPT arama sonuçlarında sitelerin gösterilmesi |
| ChatGPT-User | OpenAI | Kullanıcı isteğiyle sayfa ziyareti |
| Google-Extended | İçeriğin Gemini modellerinde kullanımını kontrol eden belirteç | |
| ClaudeBot | Anthropic | Model eğitimi için içerik toplama |
| PerplexityBot | Perplexity | Perplexity arama sonuçları için dizinleme |
Bu liste zamanla değişebilir; sağlayıcılar yeni tarayıcılar ekleyebilir veya amaçlarını güncelleyebilir. Karar vermeden önce her sağlayıcının güncel belgesine bakılmalıdır.
Google-Extended hakkında yaygın yanlış
Google-Extended, ayrı bir tarayıcı değil, robots.txt’te kullanılan bir belirteçtir. Google’ın açıklamasına göre bu belirteç, sitenin içeriğinin Gemini modellerinin eğitiminde ve bazı kullanımlarında kullanılıp kullanılmayacağını kontrol eder. Google Arama’daki sıralamayı veya AI Overviews’ı etkilemez; çünkü bunlar Google Arama’nın parçasıdır ve Googlebot ile taranan içeriği kullanır. AI Overviews’ta bir sayfanın gösterilmesini sınırlamak isteyen site sahibi, nosnippet gibi arama önizleme kontrollerini kullanmak durumundadır; bu da normal arama sonuçlarındaki snippet’i de etkiler.
Karar: hangi işletme ne yapmalı?
- Görünürlük öncelikli yerel işletme: Arama ve kullanıcı tarayıcılarına izin vermek, işletmenin yapay zekâ cevaplarında doğru bilgilerle temsil edilmesine yardımcı olabilir.
- Özgün içerik üreten yayıncı: Eğitim tarayıcılarını engelleyip arama tarayıcılarına izin vermek, sık tercih edilen bir dengedir.
- Erişimi tamamen kapatmak isteyen site: Tüm ilgili tarayıcıları engelleyebilir; ancak bunun görünürlük kaybı anlamına geldiği bilinmelidir.
Örnek robots.txt kuralı
Eğitim tarayıcılarını engelleyip arama tarayıcılarına izin vermek isteyen bir site, aşağıdaki gibi bir yapı kullanabilir:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /robots.txt bir rica niteliğindedir; kurallara uymayan tarayıcıları teknik olarak durdurmaz. Kurallara uymayan trafik için sunucu veya güvenlik duvarı düzeyinde önlem gerekir.
Kontrol ve doğrulama
robots.txt değişikliğinden sonra, Googlebot’un yanlışlıkla engellenmediği Search Console’daki robots.txt raporuyla kontrol edilmelidir. Yanlış bir kural, tüm sitenin arama sonuçlarından düşmesine yol açabilir. Sayfaların neden dizine eklenmediğini anlamak için Search Console dizinleme rehberimize bakabilirsiniz. llms.txt dosyasının bu kararla ilişkisini ise ayrı bir yazıda ele aldık.
Sık sorulan sorular
GPTBot’u engellersem ChatGPT sitemi hiç göstermez mi?
OpenAI’nin açıklamasına göre GPTBot eğitim, OAI-SearchBot ise arama içindir. GPTBot’u engellemek tek başına ChatGPT aramasında görünmeyi engellemez; ancak sağlayıcı politikaları değişebilir.
Tüm botları engellemek siteyi hızlandırır mı?
Yoğun tarama trafiği sunucuyu yorabilir; ancak arama motoru botlarını engellemek görünürlüğü yok eder. Sunucu yükü sorununda hız sınırlama daha doğru bir çözümdür.
Sonuç
Yapay zekâ tarayıcıları için robots.txt kararı, eğitim, arama ve kullanıcı isteği ayrımını bilerek verilmelidir. Teknik SEO kapsamında robots.txt denetimi için teklif isteyebilirsiniz.