Search Console tarama istatistikleri raporu: Googlebot sitenizi nasıl tarıyor?

Search Console’daki tarama istatistikleri raporu, Google’ın tarayıcısı Googlebot’un sitenizi ne sıklıkla ve nasıl taradığını gösterir. Raporda günlük tarama isteği sayısı, indirilen veri miktarı ve sunucunuzun ortalama yanıt süresi grafik olarak yer alır. Altındaki tablolar, taramaların hangi yanıt kodlarıyla sonuçlandığını, hangi dosya türlerinin tarandığını ve Googlebot’un yeni sayfa mı keşfettiğini yoksa bildiği sayfaları mı yenilediğini gösterir. Rapor, sunucu sorunlarını ve taramayı etkileyen hataları erken fark etmenin en kolay yoludur.

Search Console’un çoğu raporu sayfaların dizine eklenip eklenmediğini ya da aramada nasıl göründüğünü anlatır. Tarama istatistikleri ise bir adım öncesine bakar: Google sitenize geldiğinde ne oluyor? Bu rapor menüde biraz saklı olduğu için çoğu site sahibi varlığından habersizdir.

Rapor nerede?

Search Console’da sol menünün en altındaki Ayarlar’a tıklayın. Açılan sayfada Tarama başlığı altında “Tarama istatistikleri” satırında Raporu aç bağlantısını göreceksiniz.

Rapor yalnızca kök düzeyindeki mülklerde bulunur: alan adı mülkleri (ornek.com) ve sitenin ana adresiyle açılmış URL ön eki mülkleri (https://ornek.com). https://ornek.com/blog/ gibi bir alt klasör için açılmış mülklerde rapor görünmez.

Üç ana grafik

Raporun üst kısmında üç ölçüm bulunur.

Toplam tarama istekleri

Google’ın sitenizdeki adreslere yaptığı bütün tarama istekleridir. Başarılı ve başarısız istekler birlikte sayılır. Bu sayıya sayfaların yanında görseller, CSS ve JavaScript dosyaları da dahildir.

Toplam indirme boyutu

Google’ın tarama sırasında indirdiği verinin toplamıdır. Sayfalarınız ve dosyalarınız büyüdükçe bu sayı da artar.

Ortalama yanıt süresi

Sunucunuzun Google’ın isteklerine cevap verme süresinin ortalamasıdır. Bu grafik raporun en çok işe yarayan kısmıdır. Yanıt süresi uzadığında Google sunucunuzu yormamak için daha az tarama yapabilir. Yanıt süresinde ani bir artış, çoğu zaman sunucu tarafında bir sorunun ilk işaretidir.

Bu üç grafiği birlikte okuyun. Yanıt süresinin arttığı günlerde tarama isteklerinin düştüğünü görüyorsanız, Google sunucunuzun yavaşladığını fark edip taramayı azaltmıştır.

Ana makine durumu

Grafiklerin yanında “Ana makine durumu” kutusu bulunur. Google burada sitenize erişirken üç konuda sorun yaşayıp yaşamadığını gösterir:

• robots.txt dosyasının alınması
• DNS çözümlemesi, yani alan adının sunucu adresine çevrilmesi
• Sunucu bağlantısı

Kutu yeşilse son 90 günde önemli bir sorun yaşanmamıştır. Son 90 gün içinde ama bir haftadan önce bir sorun yaşandıysa bu da raporda belirtilir. Son bir hafta içinde yaşanan sorunlar ise “yakın tarihli sorun” olarak gösterilir ve tekrar edip etmediğini kontrol etmeniz gerekir.

robots.txt satırı özellikle önemlidir. Google’a göre robots.txt dosyası sürekli olarak 429 ya da 5xx hatası döndürürse Google sitenin taranmasını durdurabilir. robots.txt dosyasının kendisi hakkında ayrıntıları robots.txt rehberinde anlattım.

Taramaların dökümü

Raporun alt kısmındaki dört tablo taramaları farklı açılardan gruplar. Her satıra tıklayarak örnek adresleri görebilirsiniz.

Yanıta göre

Taramaların hangi HTTP yanıt kodlarıyla sonuçlandığını gösterir. İsteklerin büyük çoğunluğunun 200 (Tamam) olması beklenir. Bilinçli olarak kurduğunuz 301 ve 302 yönlendirmeleri sorun değildir. Silinen sayfalar için 404 de normal olabilir.

İncelenmesi gerekenler şunlardır: 5xx sunucu hataları, 401 ve 407 yetki hataları, DNS hataları, zaman aşımları ve yönlendirme hataları. Yönlendirmelerin oranı yüksekse sitenin içinde hâlâ eski adreslere verilen linkler olabilir. Bunu 301 ve 302 yönlendirme yazısında anlattım.

Dosya türüne göre

Taramaların HTML, görsel, JavaScript, CSS ve diğer dosya türlerine dağılımını gösterir. JavaScript ve CSS oranının yüksek olması, sayfaların işlenmesi için çok sayıda dosyanın indirildiğini gösterir. Bu her zaman bir sorun olmasa da büyük sitelerde taramanın bir kısmının bu dosyalara gittiği anlamına gelir.

Amaca göre

İki satır vardır: Keşif ve Yenileme. Keşif, Google’ın daha önce hiç taramadığı adresleri, Yenileme ise bildiği sayfaları tekrar taramasını gösterir.

Düzenli olarak yeni ürün ya da yazı eklediğiniz halde Keşif oranı çok düşükse, Google yeni sayfalarınızı bulmakta zorlanıyor olabilir. Bu durumda XML site haritasının güncel olduğunu ve yeni sayfalara siteden link verildiğini kontrol edin.

Googlebot türüne göre

Taramaların hangi Googlebot türü tarafından yapıldığını gösterir: akıllı telefon, masaüstü, görsel, video, sayfa kaynağı yükleme gibi. Mobil öncelikli dizine ekleme nedeniyle taramaların büyük kısmının akıllı telefon tarayıcısından gelmesi beklenir.

Tarama düşüşleri ve artışları

Ani düşüş

Tarama isteklerinde ani bir düşüş gördüğünüzde aynı tarihlerde şunlardan birinin olup olmadığına bakın:

• robots.txt dosyasına yeni ve geniş kapsamlı bir engelleme kuralı eklenmesi
• Ortalama yanıt süresinin artması
• Sunucu hatalarının ya da zaman aşımlarının artması

Google, düşük kaliteli içeriğin de daha az taranmaya yol açabileceğini belirtiyor.

Ani artış

Taramalarda ani bir artış gördüğünüzde önce Googlebot türü tablosuna bakın. Artış AdsBot’tan geliyorsa, sebep çoğu zaman Google Ads’teki dinamik arama ağı reklamlarıdır.

Artış sayfaları tarayan Googlebot’tan geliyorsa, sitede sayısız adres üreten bir yapı olabilir. Filtre ve sıralama parametreleri, takvim sayfaları ve site içi arama sonuçları bunun yaygın sebepleridir. Bu durumda tarama bütçesinin önemli bir kısmı değersiz adreslere harcanır. Filtrelerin nasıl yönetileceğini kategori sayfası SEO rehberinde anlattım.

Sunucu artan taramayı kaldıramıyorsa Google geçici bir çözüm olarak 503 ya da 429 yanıtı döndürmeyi önerir. Ama bunu iki üç günden uzun sürdürmeyin. Uzun süre bu yanıtları alan adresler dizinden düşebilir.

Raporu ne sıklıkla kontrol etmeli?

Küçük ve orta ölçekli siteler için ayda bir göz atmak yeterlidir. Sunucu değişikliği, site taşıma, altyapı güncellemesi ya da robots.txt değişikliğinden sonraki birkaç hafta ise daha sık kontrol edin. Bu tür değişikliklerin yan etkileri ilk olarak bu raporda görünür.

Tarama istatistikleri raporu, Google’ın sitenize ulaşırken yaşadığı sorunları gösterir. Taranan sayfaların neden dizine eklenmediğini görmek için tarandı ama dizine eklenmedi yazısına, aramadaki performansı okumak için performans raporu rehberine göz atabilirsiniz.