Log dosyası analizi nedir? Googlebot'un sitenizde ne yaptığını görmek

Log dosyası analizi, sunucunun tuttuğu erişim kayıtlarını inceleyerek arama motoru botlarının sitenizde ne yaptığını görmektir. Sunucu, sitenize gelen her isteği bir satır olarak kaydeder: isteğin geldiği IP adresi, tarih ve saat, istenen adres, sunucunun verdiği durum kodu ve isteği yapanın kendini nasıl tanıttığı (user-agent). Bu kayıtlar Googlebot’un hangi sayfaları ne sıklıkla taradığını, hangilerini hiç taramadığını ve hangi adreslerde hata aldığını tahmine yer bırakmadan gösterir.

Search Console size Google’ın sitenizi nasıl gördüğünün bir özetini verir. Log dosyası ise olanın kendisidir. Binlerce sayfası olan bir e-ticaret sitesinde “Google yeni ürünlerimi neden geç buluyor?” ya da “Tarama bütçemi nereye harcıyor?” sorularının kesin cevabı loglardadır. Bu yazıda logları nasıl alacağınızı, nasıl okuyacağınızı ve SEO için hangi sorulara cevap aradığınızı anlatıyorum.

Log dosyası neye benzer?

Apache ve Nginx sunucularının varsayılan erişim günlüğünde bir satır şuna benzer:

66.249.66.1 - - [21/Oct/2026:14:32:07 +0300] "GET /erkek-deri-bot/ HTTP/1.1" 200 48210 "-" "Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)"

Bu satırdaki bilgiler soldan sağa şöyle okunur:

• 66.249.66.1: isteği yapan IP adresi
• [21/Oct/2026:14:32:07 +0300]: tarih ve saat
• GET /erkek-deri-bot/: istenen adres
• 200: sunucunun verdiği durum kodu
• 48210: gönderilen verinin boyutu (bayt)
• son kısım: isteği yapanın user-agent bilgisi

Bir e-ticaret sitesinde günde yüz binlerce satır oluşabilir. Bu yüzden loglar elle okunmaz, bir araçla analiz edilir.

Log analizi ne zaman gerekir?

Her site için gerekli değil. Birkaç yüz sayfalık bir kurumsal sitede Search Console’daki tarama istatistikleri raporu çoğu soruyu cevaplar. Log analizi şu durumlarda gerçek fayda sağlar:

• Binlerce ürünü ve kategorisi olan büyük bir e-ticaret sitesi
• Yeni sayfaların dizine eklenmesinin haftalar sürmesi
• Search Console’da çok sayıda “Bulundu, şu anda dizine eklenmedi” sayfası
• Filtre ve parametreli adreslerin taramayı şişirdiğinden şüphelenmek
• Bir yapı değişikliği ya da yönlendirme çalışmasından sonra Googlebot’un yeni yapıyı nasıl taradığını görmek
• Yapay zeka botlarının siteyi ne kadar taradığını merak etmek

Loglar nereden alınır?

Logların yeri sitenin barındırıldığı yere göre değişir:

• Paylaşımlı hosting: cPanel’de “Metrics” altındaki “Raw Access” bölümünden, Plesk’te günlük dosyaları bölümünden sıkıştırılmış log dosyaları indirilir. Bazı firmalar logları yalnızca birkaç gün saklar. İndirmeyi düzenli yapın.
• Kendi sunucunuz: Apache’de genellikle /var/log/apache2/, Nginx’te /var/log/nginx/ klasöründe access.log adıyla bulunur. Yazılım ekibinizden isteyin.
• Hazır e-ticaret altyapıları: Ham loglara genellikle erişiminiz yoktur. Altyapı firmasından talep edebilirsiniz, ama her firma bu hizmeti vermez.
• Cloudflare gibi bir CDN kullanıyorsanız: Ziyaretlerin bir kısmı önbellekten karşılandığı için sunucunuza hiç ulaşmaz. Bu durumda sunucu logu eksik bir resim verir. CDN’in kendi log hizmeti plana bağlıdır.

Analiz için en az iki ila dört haftalık log toplayın. Birkaç günlük veri, az taranan sayfalar hakkında yanlış sonuç çıkarmanıza yol açar.

Googlebot’u doğrulamak

Logda kendini “Googlebot” olarak tanıtan her istek Google’dan gelmez. User-agent bilgisi taklit edilebilir ve birçok tarama aracı, hatta kötü niyetli botlar kendini Googlebot gibi gösterir.

Google’a göre gerçek Googlebot şu adımlarla doğrulanır:

1. Logdaki IP adresine ters DNS sorgusu yapın (host 66.249.66.1).
2. Çıkan alan adının googlebot.com, google.com ya da googleusercontent.com ile bittiğini kontrol edin.
3. Bu alan adına normal DNS sorgusu yapın ve sonucun başlangıçtaki IP adresiyle aynı olduğunu görün.

Google, tarayıcılarının IP aralıklarını JSON dosyaları olarak yayımlıyor. Googlebot gibi genel tarayıcılar common-crawlers.json dosyasındadır. Log analiz araçlarının çoğu bu doğrulamayı otomatik yapar.

Log analizi nasıl yapılır?

Araç seçimi

En yaygın araç Screaming Frog Log File Analyser’dır. Log dosyalarını sürükleyip bırakırsınız, araç botları doğrular ve raporları hazırlar. Ücretsiz sürümü sınırlı sayıda satırı işler. Daha büyük siteler için Botify, Oncrawl gibi ücretli platformlar ya da logları bir veri tabanına aktarıp sorgulamak tercih edilir. Küçük bir dosya için Excel bile işe yarar.

Logu site taramasıyla birleştirin

Log analizinin asıl gücü, log verisini bir site taramasıyla karşılaştırdığınızda ortaya çıkar. Siteyi bir tarama aracıyla tarayın ve iki listeyi yan yana koyun:

• Sitede var olan ama Googlebot’un hiç taramadığı sayfalar: Bu sayfalar ya iç link almıyor ya da sitenin çok derininde. Yetim sayfa olup olmadıklarına bakın.
• Googlebot’un taradığı ama sitenin yapısında olmayan adresler: Eski adresler, parametreli adresler, filtre kombinasyonları. Tarama kapasitesinin bir kısmı bunlara gidiyor demektir.

Loglarda aranacak sorular

Googlebot hangi bölümlere zaman harcıyor?

İstekleri klasöre göre gruplayın: /kategori/, /urun/, /blog/, ?filtre= gibi. Tarama isteklerinin büyük kısmı filtreli adreslere ya da site içi arama sonuçlarına gidiyorsa, tarama bütçesinin büyük kısmı satış getirmeyen sayfalara harcanıyor demektir.

Önemli sayfalar ne sıklıkla taranıyor?

En çok satan ürünlerinizin ve ana kategorilerinizin son tarama tarihlerine bakın. Ana kategoriler genellikle her gün, ürünler daha seyrek taranır. Önemli bir kategori haftalardır taranmıyorsa, o sayfaya giden iç linkleri kontrol edin.

Googlebot hangi hataları alıyor?

Durum koduna göre filtreleyin. Googlebot’un sık sık 404, 301 ya da 5xx aldığı adresleri listeleyin. 301 alan adreslere hâlâ site içinden link veriliyorsa linkleri son adrese çevirin. 5xx hataları belirli saatlerde yoğunlaşıyorsa sunucu o saatlerde yük altında olabilir.

Yeni sayfalar ne kadar sürede taranıyor?

Yeni eklenen ürünlerin adreslerini loglarda arayın ve ilk tarandıkları tarihe bakın. Bu süre haftalarla ölçülüyorsa, yeni ürünlerin ana sayfadan ya da kategorilerden yeterince hızlı link almadığını gösterir. Site haritasının güncel olduğunu da kontrol edin.

Mobil mi, masaüstü mü?

Googlebot’un akıllı telefon ve masaüstü sürümleri ayrı user-agent’larla gelir. Google mobil öncelikli dizine ekleme kullandığı için isteklerin büyük kısmının akıllı telefon tarayıcısından gelmesi beklenir.

Yapay zeka botlarını izlemek

Loglar, yapay zeka şirketlerinin tarayıcılarını görmenin de en doğrudan yoludur. User-agent bilgisinde şu adlar görünür:

• GPTBot (OpenAI, model eğitimi için)
• OAI-SearchBot (OpenAI, ChatGPT aramaları için)
• ChatGPT-User (bir kullanıcının ChatGPT’de verdiği komutla gelen ziyaret)
• ClaudeBot (Anthropic)
• PerplexityBot (Perplexity)

Bu botların hangi sayfalarınızı ne sıklıkla taradığını görmek, yapay zeka aramalarındaki görünürlüğünüz hakkında ipucu verir. Bu botlara izin verme ya da engelleme kararını Cloudflare yapay zeka bot ayarları yazısında anlattım. Yapay zeka trafiğinin ölçülmesini de yapay zeka trafiği nasıl ölçülür? yazısında bulabilirsiniz.

Log verisini korurken dikkat

Log dosyaları ziyaretçilerin IP adreslerini içerir. IP adresleri KVKK kapsamında kişisel veri sayılabilir. Logları paylaşırken yalnızca bot kayıtlarını filtreleyin ya da IP adreslerini maskeleyin. Logları gereğinden uzun saklamayın ve kimin eriştiğini kontrol edin.

Log analizi ilk seferde zahmetli görünür, ama bir kez kurulduğunda üç ayda bir tekrarlamak yeterlidir. Büyük bir e-ticaret sitesinde taramanın nereye gittiğini bilmek, hangi teknik işe öncelik vereceğinizi doğrudan belirler. Sitenizin loglarını birlikte incelemek isterseniz teknik SEO danışmanlığı sayfasına göz atabilirsiniz.