Cloudflare yapay zeka bot ayarları: Googlebot'u engellemeden yapay zekayı yönetmek

Cloudflare, yapay zeka trafiğini üç gruba ayırıyor: Search (arama için içerik toplayan ve dizine ekleyen tarayıcılar), Agent (bir kişi adına anlık iş yapan yazılımlar) ve Training (model eğitimi için içerik toplayan tarayıcılar). Her biri ayrı ayrı engellenebiliyor. Kritik ayrıntı şu: Cloudflare’in duyurusuna göre 15 Eylül 2026’dan itibaren Training’i engelleyen ayarlar, arama ve eğitim için birlikte tarama yapan çok amaçlı tarayıcıları da engelliyor. Cloudflare bu tarayıcılara örnek olarak Googlebot, Applebot ve Bingbot’u sayıyor. Training’i ya da eski “Block AI bots” seçeneğini açan bir site, farkında olmadan Google’ın taramasını kapatmış olabilir.

Bu konu, son aylarda teknik SEO’da en çok dikkat edilmesi gereken sorunlardan biri. Çünkü ayar tek bir düğmeyle açılıyor, iyi niyetle açılıyor ve etkisi hemen fark edilmiyor. Site açılmaya devam ediyor, ziyaretçiler bir şey görmüyor. Ama Google sitenize ulaşamıyor ve sayfalar yavaş yavaş dizinden düşmeye başlıyor.

Cloudflare’in üç yapay zeka kategorisi

Cloudflare, Temmuz 2026’da yapay zeka botlarını yönetme biçimini değiştirdi. Eskiden tek bir “Block AI bots” düğmesi vardı. Artık yapay zeka trafiği, Cloudflare’in tanımlarıyla üç gruba ayrılıyor.

Search: İçeriğinizi, daha sonra onunla ilgili sorulara cevap verebilmek için toplayan ya da dizine ekleyen her davranış. ChatGPT’nin arama tarayıcısı OAI-SearchBot ve Perplexity’nin PerplexityBot’u bu gruba girer.

Agent: Genellikle anlık olarak, bir kişi adına hareket eden otomatik davranış. Bir kullanıcının isteğiyle sayfanızı açıp bilgi toplayan ya da işlem yapan yapay zeka asistanları bu gruptadır.

Training: İçeriğinizi bir modeli eğitmek ya da ince ayar yapmak için alan tarayıcı. OpenAI’ın GPTBot’u bu gruba örnektir.

Her kategori için üç seçenek var: bütün sayfalarda engelle, yalnızca reklam gösteren sayfalarda engelle ve izin ver. Cloudflare’e göre bu ayarlar ücretsiz plan dahil bütün müşterilere açık. Ayarlar, alan adının güvenlik ayarlarında yer alıyor.

Çok amaçlı tarayıcılar sorunu

Bazı tarayıcılar birden fazla iş yapar. Googlebot, Google aramanın tarayıcısıdır, ama Cloudflare onu arama ve eğitim için birlikte tarama yapan bir tarayıcı olarak sınıflandırıyor. Applebot ve Bingbot için de aynı durum geçerli.

Cloudflare’in duyurusuna göre 15 Eylül 2026’dan itibaren bu çok amaçlı tarayıcılar bütün davranışlarına göre değerlendiriliyor ve en kısıtlayıcı kural uygulanıyor. Yani Training’i engelleyen bir site, Search’e izin vermiş olsa bile Googlebot’u da engelliyor. Bu kural, eski “Block AI bots” seçeneği dahil yapay zeka eğitimini engelleyen bütün ayarlar için geçerli.

Pratikte bunun anlamı şu: “İçeriğim yapay zeka eğitiminde kullanılmasın” diye düşünerek bir düğmeye basan site sahibi, sitesini Google aramadan da çıkarıyor olabilir.

Değişiklikten önce de bu konuda şikayetler vardı. Search Engine Journal, Ağustos 2026’da bir site sahibinin Training’i engellediğinde Googlebot ve Bingbot’un site haritasına erişirken 403 hatası aldığını bildirdiğini aktardı.

15 Eylül 2026’da neler değişti?

Cloudflare’in duyurusunda iki ayrı değişiklik var.

Birincisi, yeni alan adları için varsayılanlar. Cloudflare’e yeni eklenen alan adlarında Training ve Agent kategorileri, reklam gösteren sayfalarda varsayılan olarak engelleniyor. Search varsayılan olarak açık kalıyor. Cloudflare’in gerekçesi, reklamın sayfayı bir insanın görmesinin amaçlandığına dair bir işaret olması.

İkincisi, yukarıda anlattığım çok amaçlı tarayıcı kuralı. Bu kural yeni alan adlarıyla sınırlı kalmıyor. Training’i engellemeyi seçmiş bütün siteleri etkiliyor.

Cloudflare, 15 Eylül’den önce site sahiplerinin güvenlik ayarlarından bu değişiklikten çıkabileceğini, yani “arama için de tarama yapan Training tarayıcılarında değişiklik istemiyorum” seçeneğini işaretleyebileceğini duyurmuştu. Bu tarih geçtiği için bugün yapılması gereken, mevcut ayarların ne olduğunu kontrol etmek.

Sitenizde ne olduğunu nasıl kontrol edersiniz?

Cloudflare panelinde ayarlara bakın

Cloudflare panelinde alan adınızı seçin ve güvenlik ayarlarındaki yapay zeka bot politikalarına bakın. Training için “Block” seçiliyse, ya da geçmişte “Block AI bots” seçeneğini açtıysanız, Googlebot etkileniyor olabilir.

AI Crawl Control bölümü de hangi yapay zeka tarayıcılarının sitenize geldiğini ve hangilerinin engellendiğini listeler. Cloudflare’in dokümanına göre bir tarayıcıyı buradan engellediğinizde, sistem bu engellemeyi uygulamak için alan adınızda bir güvenlik duvarı (WAF) kuralı oluşturuyor.

Search Console’da tarama istatistiklerine bakın

Search Console’daki tarama istatistikleri raporunda yanıt kodlarına göre dağılımı açın. 403 yanıtlarında ani bir artış, Googlebot’un engellendiğinin en net işaretidir. Tarama isteklerinin toplamında da belirgin bir düşüş görebilirsiniz.

URL Denetleme Aracı ile canlı test yapın

Search Console’daki URL Denetleme Aracı ile önemli bir sayfanızda canlı test yapın. Google sayfaya ulaşamıyorsa test başarısız olur ve sayfanın getirilemediğini gösterir.

Cloudflare’in güvenlik olaylarına bakın

Cloudflare panelindeki güvenlik olayları kaydında, engellenen isteklerin user-agent bilgisine göre filtreleme yapabilirsiniz. Googlebot, Bingbot ya da Applebot adına engellenen istekler görüyorsanız sorun buradadır.

Bu kayıtlarda Googlebot gibi görünen ama aslında sahte olan botların da engellendiğini unutmayın. Cloudflare doğrulanmış botları kayıtlarda ayrı olarak işaretler. Önemli olan, doğrulanmış Googlebot isteklerinin engellenip engellenmediğidir.

Doğru ayar hangisi?

Bu sorunun cevabı, işletmenin üç soruya vereceği cevaba bağlı.

Yapay zeka asistanlarında görünmek istiyor musunuz?

ChatGPT, Perplexity ve benzeri asistanların cevaplarında kaynak gösterilmek istiyorsanız Search açık kalmalı. Çoğu e-ticaret ve hizmet sitesi için cevap evettir. Bu konuyu ChatGPT arama ve Perplexity SEO yazılarında anlattım.

Yapay zeka asistanları kullanıcı adına sitenizi kullanabilsin mi?

Agent kategorisi, kullanıcılar adına ürün araştıran, fiyat karşılaştıran ya da işlem yapan yazılımları kapsar. E-ticaret siteleri için bu tarafın önemi giderek artıyor. Bu kategoriyi kapatmadan önce iyi düşünün.

İçeriğinizin model eğitiminde kullanılmasını istiyor musunuz?

Bu, en çok tartışılan karardır. Ama Cloudflare’de Training’i engellemek, çok amaçlı tarayıcılar nedeniyle Googlebot’u da etkileyebiliyor. Bu bedeli kabul etmeden bu düğmeye basmayın.

İçeriğinizin model eğitiminde kullanılmasını sınırlamak istiyorsanız, Cloudflare yerine robots.txt’de tarayıcı bazında kurallar yazmak daha kontrollü bir yoldur. OpenAI’ın eğitim tarayıcısı GPTBot’u engelleyip arama tarayıcısı OAI-SearchBot’a izin verebilirsiniz. Google’ın kendi ürünlerinde model eğitimini sınırlamak için de Google-Extended kuralı vardır. Google’a göre bu kural Google aramadaki görünürlüğü etkilemez. Bunun nasıl yapılacağını robots.txt rehberinde anlattım.

Çoğu e-ticaret ve hizmet sitesi için benim önerim şu: Search’e izin verin, Agent için kendi işinize göre karar verin, Training’i Cloudflare üzerinden engellemeyin. Model eğitimini sınırlamak istiyorsanız bunu robots.txt’de tarayıcı bazında yapın.

Diğer Cloudflare ayarları

Yapay zeka bot politikalarının dışında, Cloudflare’in bazı güvenlik özellikleri de tarayıcıları etkileyebilir. Bot Fight Mode gibi otomatik bot korumaları ve sıkı güvenlik duvarı kuralları, yapay zeka tarayıcılarını ve bazen arama motoru tarayıcılarını engelleyebilir. Yeni bir güvenlik ayarını açtıktan sonraki birkaç gün içinde Search Console’daki tarama istatistiklerine göz atmak, bu tür sorunları erken yakalamanın en kolay yoludur.

Ayarı değiştirdikten sonra

Googlebot’un engellendiğini fark edip ayarı düzelttiyseniz, Google’ın sitenizi tekrar taraması zaman alır. Önemli sayfalarınız için URL Denetleme Aracı’ndan dizine ekleme isteyebilirsiniz. Site haritanızı Search Console’da yeniden gönderin. Tarama istatistikleri raporunda 403 yanıtlarının azaldığını ve tarama isteklerinin normale döndüğünü takip edin.

Engelleme uzun sürdüyse bazı sayfalar dizinden düşmüş olabilir. Search Console’daki Sayfalar raporunda dizine eklenmeyen sayfaları takip edin. Bu konuyu tarandı ama dizine eklenmedi yazısında anlattım.