Tarama bütçesi nedir? Sitenizin buna gerçekten ihtiyacı var mı?

Tarama bütçesi, Google’ın bir sitede belirli bir sürede tarayabileceği ve taramak istediği adreslerin toplamıdır. İki şeyden oluşur: sunucunun kaldırabileceği tarama miktarı (tarama kapasitesi) ve Google’ın sitedeki sayfaları ne kadar taramak istediği (tarama talebi). Google’a göre bu konu esas olarak çok büyük ve içeriği sık değişen siteleri ilgilendirir. Birkaç bin sayfalık bir kurumsal site ya da orta ölçekli bir e-ticaret sitesi için tarama bütçesi çoğu zaman bir sorun değildir. Sorun olduğunda ise sebebi genellikle sayısız değersiz adres üreten bir yapıdır.

Tarama bütçesi, SEO’da en çok abartılan kavramlardan biri. Birçok rehber onu her sitenin öncelikli sorunu gibi anlatır ve bir dizi optimizasyon önerir. Oysa Google’ın kendi dokümanı, bu rehberin kimin için olduğunu açıkça sınırlıyor. Bu yazıda önce sitenizin bu konuyla ilgilenmesi gerekip gerekmediğini, sonra gerekiyorsa ne yapılacağını anlatıyorum.

Tarama bütçesi kimin sorunu?

Google’ın tarama bütçesi dokümanı, kendisini şu siteler için yazılmış olarak tanımlıyor:

• Bir milyondan fazla benzersiz sayfası olan ve içeriği yaklaşık haftalık değişen siteler
• On binden fazla benzersiz sayfası olan ve içeriği her gün değişen siteler
• Search Console’da çok sayıda adresi “Bulundu, şu anda dizine eklenmedi” durumunda olan siteler

Google bu sayıların kesin eşikler olmadığını da belirtiyor. Ama mesaj açık: bu profillere uymayan siteler için tarama bütçesi genellikle bir öncelik değildir.

Pratikte bu şu anlama gelir. Birkaç yüz ya da birkaç bin sayfası olan bir site, Google’ın bütün sayfalarını taramasında sorun yaşamaz. Bu sitelerde bir sayfa dizine girmiyorsa sebep çoğu zaman sayfanın kalitesi, kopya içerik ya da teknik bir hatadır. Tarama bütçesi nadiren sebeptir. Bunu tarandı ama dizine eklenmedi yazısında anlattım.

Bir istisna var: küçük görünen ama filtre, sıralama ve parametre kombinasyonlarıyla on binlerce adres üreten e-ticaret siteleri. Sitede 2.000 ürün olabilir, ama Google’ın bildiği adres sayısı 200.000 olabilir. Bu siteler tarama bütçesi sorununu fark etmeden yaşar.

Tarama kapasitesi

Tarama kapasitesi, Google’ın sunucuyu yormadan sitenize ne kadar istek gönderebileceğidir. Google bunu sunucunun durumuna göre sürekli ayarlar.

Sunucu hızlı ve sağlıklı cevap verdiğinde kapasite artar. Sunucu yavaşladığında, 5xx hataları verdiğinde ya da 429 (çok fazla istek) yanıtı döndürdüğünde Google taramayı azaltır. Bu, Google’ın siteyi korumak için yaptığı bir şeydir.

Sunucunuzun Google’a nasıl cevap verdiğini Search Console’daki tarama istatistikleri raporunda görebilirsiniz. Ortalama yanıt süresinin arttığı dönemlerde tarama isteklerinin düştüğünü görüyorsanız, sınır sunucunuzdur. Googlebot’un her isteğini tek tek görmek için log dosyası analizi yazısına bakabilirsiniz.

Google’ın dokümanında bir ayrıntı daha var: tarama bütçesi ana makine adı başına hesaplanır. Yani www.ornek.com ile blog.ornek.com ayrı tarama bütçelerine sahiptir.

Tarama talebi

Tarama talebi, Google’ın sitenizdeki sayfaları ne kadar taramak istediğidir. Google’a göre bunu belirleyen başlıca etkenler şunlardır:

• Google’ın bildiği adreslerin sayısı. Kopya ve gereksiz adresler de buna dahildir.
• Sayfaların popülerliği. Daha çok bağlantı alan ve daha çok ziyaret edilen sayfalar daha sık taranır.
• Sayfaların ne kadar sık değiştiği.

Burada önemli nokta şu: Google’ın bildiği adreslerin büyük kısmı değersizse, Google zamanının bir kısmını bu adreslere harcar. Önemli sayfalarınız daha geç taranır.

Google’ın önerileri

Google’ın tarama bütçesi dokümanında önerilenler kısaca şunlar.

Adres envanterini yönetin

Kopya içerikleri birleştirin ve taranmasına gerek olmayan adresleri robots.txt ile engelleyin. E-ticaret sitelerinde bu genellikle filtre ve sıralama parametreleri, site içi arama sonuçları ve oturum kimliği içeren adresler demektir. Bunu site içi arama sayfaları ve kategori sayfası SEO yazılarında anlattım.

Kaldırılan sayfalar için 404 ya da 410

Kalıcı olarak kaldırılan sayfalar 404 ya da 410 döndürmelidir. Google’a göre bu adresler bir süre sonra tarama kuyruğundan düşer. robots.txt ile engellenen adresler ise kuyrukta daha uzun süre kalır.

Soft 404’leri düzeltin

İçeriği boş olduğu halde 200 kodu döndüren sayfalar, yani soft 404 sayfaları, taranmaya devam eder. Bu sayfaları gerçek 404’e çevirin ya da içerik ekleyin.

Site haritasını güncel tutun

XML site haritası yalnızca dizine eklenmesini istediğiniz adresleri içermeli ve güncellenen sayfalarda lastmod tarihi doğru olmalıdır.

Yönlendirme zincirlerinden kaçının

Her yönlendirme adımı ayrı bir istektir. Uzun yönlendirme zincirleri taramayı yavaşlatır.

Sayfaları hızlı sunun

Sunucu yanıt süresini iyileştirin. Google, sayfanın değişmediğini bildiren 304 (Değiştirilmedi) yanıtının desteklenmesini de öneriyor. Bu sayede değişmeyen sayfalar her seferinde baştan indirilmez.

Yapılmaması gerekenler

Google’ın dokümanı iki yaygın yanlışı açıkça belirtiyor.

Tarama bütçesi için noindex kullanmak

Noindex, sayfanın dizine eklenmesini engeller, taranmasını engellemez. Google sayfayı tarar, noindex’i görür ve sayfayı dizine eklemez. Yani tarama zaten yapılmış olur. Google, tarama bütçesi kazanmak için noindex kullanılmamasını açıkça söylüyor. Noindex dizini temiz tutmak için doğru araçtır. Taramayı azaltmaz.

robots.txt ile bütçeyi geçici olarak kaydırmak

Bazı siteler, belirli bir bölümün daha çok taranması için diğer bölümleri geçici olarak robots.txt ile engeller. Google’a göre bu işe yaramaz. robots.txt yalnızca hiç taranmasını istemediğiniz adresler için kullanılmalıdır. Engellenen bölümden boşalan tarama, sunucu kapasitesi zaten sınırda değilse diğer sayfalara aktarılmaz.

Tarama bütçesi sorunu nasıl anlaşılır?

Sitenizde gerçekten bir tarama bütçesi sorunu olup olmadığını anlamak için şunlara bakın.

Search Console’daki Sayfalar raporunda “Bulundu, şu anda dizine eklenmedi” satırı. Burada önemli kategori ve ürün sayfalarınız uzun süre bekliyorsa, Google bu sayfaları taramaya fırsat bulamıyor olabilir.

Tarama istatistikleri raporunda taramanın nereye gittiği. Örnek adreslerin çoğu parametreli, filtreli ya da sıralamalı adreslerse, tarama değersiz adreslere harcanıyor demektir.

Yeni sayfaların ne kadar sürede taranıp dizine girdiği. Yeni bir ürünün haftalarca taranmaması, sitenin büyüklüğüne göre bir işaret olabilir.

Büyük sitelerde sunucu kayıtlarının (log) incelenmesi en kesin yöntemdir. Kayıtlar, Googlebot’un hangi adresleri ne sıklıkla taradığını gösterir. Önemli sayfaların ne kadar sık ziyaret edildiğini, değersiz adreslere ne kadar zaman harcandığını buradan net olarak görürsünüz.

Bütçeyi artırmak

Google’a göre tarama bütçesini artırmanın iki yolu var. Sınır sunucu kapasitesiyse, yani URL denetimi aracında ya da tarama istatistiklerinde sunucunun yük nedeniyle yavaşladığı görülüyorsa, sunucu kaynaklarını artırmak. Sınır sunucu değilse, sitedeki içeriğin kalitesini ve değerini artırmak.

İkincisi çoğu zaman göz ardı edilir. Google, faydalı bulduğu sayfaları daha sık ve daha istekli tarar. Birbirine benzeyen binlerce zayıf sayfa, sitenin geneline olan ilgiyi de azaltır. Bu yüzden tarama bütçesi sorunlarının uzun vadeli çözümü çoğu zaman teknik ayarlardan çok, sitedeki gereksiz sayfaların azaltılmasıdır.