Yapay zeka botları: GPTBot, ClaudeBot, Google-Extended ve diğerleri ne yapar?

Yapay zeka botları, yapay zeka şirketlerinin web sitelerini taramak için kullandığı tarayıcılardır. Üç farklı iş için gelirler: Model eğitimi için içerik toplamak (GPTBot, ClaudeBot), yapay zeka arama sonuçlarında kaynak göstermek için siteyi dizine eklemek (OAI-SearchBot, Claude-SearchBot, PerplexityBot) ve bir kullanıcının o anki sorusu için bir sayfayı açmak (ChatGPT-User, Claude-User, Perplexity-User). Bu ayrım önemlidir, çünkü robots.txt ile eğitim botlarını kapatıp arama botlarını açık bırakabilirsiniz. Böylece içeriğiniz eğitimde kullanılmaz ama yapay zeka aramalarında görünmeye devam eder.

Birçok site sahibi “yapay zeka botlarını engelleyeyim mi?” sorusunu tek bir karar gibi düşünüyor. Oysa her şirketin birden fazla botu var ve her biri farklı bir işe yarıyor. Yanlış botu engellerseniz, istemeden ChatGPT ya da Perplexity aramalarından çıkabilirsiniz. Bu yazıda her şirketin kendi belgelerine göre botların ne yaptığını ve robots.txt dosyasının nasıl yazılacağını anlatıyorum.

Üç tür yapay zeka botu

Tür	Ne yapar?	Engellersem ne olur?
Eğitim botu	İçeriği yapay zeka modellerinin eğitimi için toplar	İçeriğiniz gelecekteki modellerin eğitiminde kullanılmaz
Arama botu	Siteyi yapay zeka arama sonuçları için dizine ekler	Yapay zeka aramalarında kaynak olarak gösterilmezsiniz
Kullanıcı ziyareti	Bir kullanıcının sorusu için sayfayı anlık olarak açar	Sınırlı etki, bu ziyaretler çoğu zaman robots.txt’ye uymaz

OpenAI botları

OpenAI’ın geliştirici belgelerine göre şirketin dört botu var:

• GPTBot: OpenAI’ın üretken yapay zeka modellerinin eğitiminde kullanılabilecek içeriği tarar. OpenAI’a göre GPTBot’u engellemek, sitenin içeriğinin eğitimde kullanılmaması gerektiğini belirtir.
• OAI-SearchBot: ChatGPT’nin arama özelliklerinde siteleri göstermek için tarar. OpenAI’a göre OAI-SearchBot’u engelleyen siteler ChatGPT arama cevaplarında gösterilmez.
• ChatGPT-User: ChatGPT’de bir kullanıcının verdiği komutla bir sayfayı açar. OpenAI’a göre bu bot web’i otomatik olarak taramaz ve kullanıcı tarafından başlatıldığı için robots.txt kuralları uygulanmayabilir.
• OAI-AdsBot: Yalnızca ChatGPT reklamı olarak gönderilen açılış sayfalarını ziyaret eder. Reklamların nasıl çalıştığını ChatGPT reklamları yazısında anlattım.

OpenAI’a göre bu ayarlar birbirinden bağımsızdır. GPTBot’u engelleyip OAI-SearchBot’a izin verebilirsiniz. ChatGPT aramalarında görünürlükle ilgili ayrıntıları ChatGPT arama SEO yazısında anlattım.

Anthropic (Claude) botları

Anthropic’in yardım sayfasına göre üç bot var:

• ClaudeBot: Model eğitimine katkı sağlayabilecek içerikleri toplar. Engellemek, sitenin gelecekteki içeriğinin eğitim veri setlerinden çıkarılması gerektiğini belirtir.
• Claude-SearchBot: Kullanıcılara verilen arama cevaplarının doğruluğunu ve alaka düzeyini artırmak için içerikleri inceler. Engellemek, Claude’un arama cevaplarındaki görünürlüğünüzü azaltabilir.
• Claude-User: Claude kullanıcıları web içeriği gerektiren bir soru sorduğunda siteye erişir.

Anthropic, standart dışı Crawl-delay kuralını desteklediğini belirtiyor. Yani ClaudeBot’un tarama sıklığını robots.txt ile yavaşlatabilirsiniz.

Perplexity botları

Perplexity’nin belgelerine göre iki bot var:

• PerplexityBot: Siteleri Perplexity arama sonuçlarında göstermek için tarar. Perplexity’ye göre bu bot, yapay zeka modellerinin eğitimi için kullanılmaz.
• Perplexity-User: Bir kullanıcı soru sorduğunda sayfayı açar. Perplexity’ye göre kullanıcı tarafından başlatıldığı için genellikle robots.txt kurallarını dikkate almaz.

Perplexity’de görünürlük konusunu Perplexity SEO yazısında anlattım.

Google-Extended

Google-Extended diğerlerinden farklıdır: Ayrı bir tarayıcı değildir. Google’a göre kendi HTTP user-agent bilgisi yoktur, tarama mevcut Google tarayıcılarıyla yapılır. Google-Extended yalnızca robots.txt’de kullanılan bir kontrol adıdır.

Google’a göre Google-Extended, taranan içeriğin gelecekteki Gemini modellerinin eğitiminde ve Gemini uygulamalarında kullanılıp kullanılmayacağını kontrol eder. Google, Google-Extended’in sitenin Google Arama’ya dahil edilmesini etkilemediğini ve bir sıralama sinyali olmadığını açıkça belirtiyor.

Burada bir uyarı: Google’ın yapay zeka özetleri ve AI Mode, Google Arama’nın bir parçasıdır. Google-Extended’i engellemek sitenizi bu sonuçlardan çıkarmaz. Arama sonuçlarındaki yapay zeka özetleriyle ilgili ayrıntıları Google yapay zeka özetleri yazısında anlattım.

Applebot ve Applebot-Extended

Apple’ın destek sayfasına göre Applebot, Spotlight, Siri ve Safari’deki arama özellikleri için tarar. Apple’a göre taranan veriler Apple’ın üretken yapay zeka modellerinin eğitiminde de kullanılabilir.

Applebot-Extended da Google-Extended gibi ayrı bir tarayıcı değildir. Apple’a göre Applebot-Extended sayfaları taramaz, yalnızca Applebot’un topladığı verinin nasıl kullanılacağını belirler. Applebot-Extended’i engellemek, içeriğin Apple’ın genel amaçlı modellerinin eğitiminde kullanılmasını engeller, ama site Apple’ın arama özelliklerinde görünmeye devam eder.

Common Crawl (CCBot)

CCBot, Common Crawl adlı kâr amacı gütmeyen kuruluşun tarayıcısıdır. Common Crawl, web’in büyük bir kısmını tarayıp açık bir veri seti olarak yayımlar. Bu veri seti birçok yapay zeka modelinin eğitiminde kullanılır. CCBot’u engellemek, içeriğinizin bu açık veri setine girmesini engeller.

Örnek robots.txt

Eğitim botlarını kapatıp arama botlarını açık bırakan bir robots.txt şöyle olabilir:

# Model eğitimi: kapalı
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: CCBot
Disallow: /

# Yapay zeka araması: açık
User-agent: OAI-SearchBot
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: PerplexityBot
Allow: /

# Diğer bütün tarayıcılar
User-agent: *
Disallow: /sepet/
Disallow: /hesabim/

Sitemap: https://www.ornek.com/sitemap.xml

Bu dosyada dikkat edilecek bir nokta var: Bir tarayıcı kendi adıyla bir grup bulursa yalnızca o gruptaki kurallara uyar, User-agent: * grubunu okumaz. Yukarıdaki örnekte OAI-SearchBot, /sepet/ kuralını görmez. Arama botlarının da sepet ve hesap sayfalarına girmesini istemiyorsanız bu satırları onların gruplarına da ekleyin.

Hangi botları engellemeli?

Bu bir iş kararıdır, tek doğru cevabı yok. Benim önerim şöyle:

• Arama botlarını (OAI-SearchBot, Claude-SearchBot, PerplexityBot) açık tutun. Bu botlar, sitenizin yapay zeka cevaplarında kaynak olarak gösterilmesini sağlar. Kapatmak, yeni bir trafik kanalını kendi elinizle kapatmak demektir.
• Eğitim botları için kararı içeriğinize göre verin. Ürün sayfaları ve kategori açıklamaları ağırlıklı bir e-ticaret sitesi için eğitim botlarını engellemenin pratik bir faydası azdır. Özgün rehberlere, araştırmalara ya da uzman içeriğine yatırım yapan siteler ise bu içeriğin eğitimde kullanılmasını istemeyebilir.
• Kullanıcı ziyaretlerini (ChatGPT-User, Claude-User, Perplexity-User) engellemeye çalışmayın. Bu ziyaretler, bir kullanıcının o anda sitenizle ilgili soru sorduğu anlamına gelir.

Kararınız ne olursa olsun, robots.txt yalnızca kurallara uyan botları durdurur. Bot adını taklit eden ya da robots.txt’yi dikkate almayan tarayıcılar için Cloudflare gibi bir hizmetin bot ayarlarını kullanmanız gerekir. Bu ayarları Cloudflare yapay zeka bot ayarları yazısında anlattım.

Ayarınızın çalıştığını kontrol edin

Robots.txt dosyanızı değiştirdikten sonra iki şeye bakın. Birincisi, dosyanın ornek.com/robots.txt adresinde açıldığından ve 200 kodu döndürdüğünden emin olun. İkincisi, sunucu loglarında botların ziyaretlerini izleyin. Engellediğiniz botların birkaç gün içinde yalnızca robots.txt dosyasını istemesi, sayfaları ise istememesi gerekir. Logları nasıl okuyacağınızı log dosyası analizi yazısında anlattım.

Botlar ve isimleri hızla değişiyor. Şirketler yeni botlar ekliyor, eskilerinin görevini değiştiriyor. Robots.txt dosyanızı altı ayda bir gözden geçirmenizi ve bu listedeki şirketlerin bot belgelerine bakmanızı öneririm. Yapay zeka aramalarındaki görünürlüğünüzü bir bütün olarak ele almak isterseniz yapay zeka SEO ve GEO sayfasına göz atabilirsiniz.