Tarama bütçesi (crawl budget) nedir? Küçük ve orta siteler için gerekli mi?

Tarama bütçesi (crawl budget), Googlebot'un bir sitede belirli bir sürede tarayabileceği ve taramak isteyeceği URL sayısıdır. İki unsurdan oluşur: sunucunuzu yormadan tarayabileceği miktar (tarama hızı limiti) ve sayfalarınıza duyduğu ilgi (tarama talebi). Google'a göre bu konu esas olarak çok sayfalı büyük siteler için önemlidir; çoğu küçük ve orta site için sorun değildir.

SEO dünyasında tarama bütçesi sık sık fazla büyütülür. Birkaç yüz sayfalık bir kurumsal sitenin tarama bütçesi nedeniyle sıralama kaybettiğini düşünmek çoğunlukla yanlış teşhistir. Öte yandan, çok sayıda gereksiz URL üreten e-ticaret siteleri, haber siteleri veya ilan portalları için bu konu gerçekten önem taşır. Bu yazıda kavramı sade biçimde açıyor, kimin dert etmesi gerektiğini, nasıl ölçüleceğini ve israfın nasıl azaltılacağını anlatıyoruz.

Tarama bütçesi tam olarak nedir?

Tarama bütçesi, Googlebot'un sitenizdeki sayfaları ne sıklıkla ve ne kadar tarayacağını belirleyen kapasite ve ilgi dengesidir. Google'ın tüm interneti taramak için sınırsız kaynağı yoktur; bu yüzden hangi sitede neye, ne kadar zaman ayıracağını sürekli önceliklendirir. Sitenize ayrılan pay, bu önceliklendirmenin sonucudur.

Burada iki ayrı kavramı birbirinden ayırmak gerekir: tarama (crawl) ve dizine ekleme (index). Taranan her sayfa dizine eklenmez; dizine eklenen her sayfa da yüksek sıralama almaz. Tarama bütçesi yalnızca ilk adımla, yani Googlebot'un sayfayı ziyaret etmesiyle ilgilidir. Bir sayfanın hiç taranmaması dizinde görünmemesinin nedenlerinden biridir, ama tek neden değildir.

• —Tarama: Googlebot'un URL'yi ziyaret edip içeriği alması.
• —Dizine ekleme: Google'ın sayfayı arama dizinine almaya karar vermesi.
• —Sıralama: dizindeki sayfaların sorgulara göre sıralanması.
• —Tarama bütçesi yalnızca birinci adımı etkiler; diğerleri içerik kalitesi ve ilgililikle belirlenir.

Tarama bütçesini oluşturan iki bileşen nedir?

Google'a göre tarama bütçesi tarama hızı limiti ve tarama talebinden oluşur. Tarama hızı limiti, Googlebot'un sunucunuzu aşırı yüklemeden yapabileceği eşzamanlı bağlantı ve istek miktarıdır. Tarama talebi ise Google'ın sayfalarınızı ne kadar taramak istediğidir; popülerlik ve içeriğin ne kadar eskidiği gibi etkenlerle belirlenir.

• —Tarama hızı limiti: sunucunuz hızlı ve sağlıklı yanıt veriyorsa artabilir; yavaşlama veya hata artışı olursa Google taramayı kısar.
• —Tarama talebi: popüler, sık güncellenen ve değerli sayfalar için yüksek; eski, değişmeyen ve düşük değerli sayfalar için düşüktür.
• —Site olayları: büyük bir taşınma veya URL yapısı değişikliği, talebi geçici olarak artırabilir.
• —Sonuç: tarama bütçesi sabit bir sayı değil, durumlara göre değişen bir dengedir.

Tarama hızı limiti sunucu sağlığıyla doğrudan ilişkilidir. Sunucu yavaş yanıt verir ya da sık hata dönerse Googlebot kendini kısıtlar. Bu nedenle sunucu performansı, tarama bütçesinin dolaylı ama önemli bir bileşenidir. Sayfa hızı konusunu ayrı bir yazıda ele aldık.

Google tarama bütçesi konusunda kimleri uyarıyor?

Google'ın tarama bütçesi belgeleri, bu konunun öncelikle çok büyük siteler için önemli olduğunu belirtir. Belgelerdeki yaklaşık ölçütlere göre bu, kabaca bir milyon veya daha fazla benzersiz sayfası olan ve içeriği orta sıklıkta değişen siteler ile on binden fazla benzersiz sayfası olan ve içeriği çok sık, örneğin günlük, değişen siteleri kapsar.

Üçüncü bir işaret ise Search Console'da çok sayıda URL'nin “Keşfedildi, şu anda dizine eklenmemiş” olarak görünmesidir. Bu, Google'ın URL'leri bildiğini ama tarama sırası getirmediğini gösterebilir. Ancak bu durumun yaygın başka nedenleri de olduğunu unutmayın: zayıf içerik, kopya sayfalar veya yavaş sunucu gibi.

• —Çok büyük site: yüz binlerce, milyonlarca benzersiz URL.
• —Çok sık değişen site: haber, ilan, fiyat veya stok bilgisi günlük yenilenen siteler.
• —Sorun işareti: önemli sayfalarınızın aylarca taranmaması veya çok sayıda URL'nin keşfedilip taranmaması.
• —Büyüklük tek başına yeterli değil: site büyüse bile sorun yoksa bütçeyi dert etmek gerekmez.

Bu ölçütler Google'ın kendi belgelerindeki yaklaşık rehberlerdir ve zamanla değişebilir; en güncel hali için resmi belgeye bakın. Kendi sitenizin bu kapsama girip girmediğini bilmiyorsanız, aşağıdaki bölümlerdeki ölçüm adımlarını izlemek en doğru yoldur.

Küçük ve orta ölçekli siteler için tarama bütçesi sorun mudur?

Çoğu küçük ve orta ölçekli site için tarama bütçesi sorun değildir. Birkaç yüz veya birkaç bin sayfalı bir kurumsal site, hizmet sayfaları ve blog yazılarıyla genellikle Google tarafından rahatça taranır. Böyle sitelerde dizine girmeyen sayfaların nedeni neredeyse her zaman tarama değil, içerik değeri, kopyalama, teknik engel veya iç linkleme zayıflığıdır.

Bu dürüstlük önemli, çünkü bazı kaynaklar küçük işletmelere gereksiz yere tarama bütçesi optimizasyonu satar. Eğer web siteniz bir hizmet firmasına, kliniğe, atölyeye veya yerel bir işletmeye aitse ve yüzlerce sayfası varsa, zamanınızı tarama bütçesiyle değil, içerik kalitesi, yerel sinyaller ve iç linklemeyle geçirmeniz daha verimlidir.

• —Birkaç yüz sayfalık kurumsal site: genellikle tarama bütçesi sorunu yaşamaz.
• —Birkaç bin sayfalık blog veya katalog: düzenli bir yapı varsa genellikle sorun olmaz.
• —Binlerce filtre URL'si üreten e-ticaret: dikkat edilmesi gereken bir risk vardır.
• —Sayfa dizine girmiyorsa: önce içerik, canonical, noindex ve iç linkleri kontrol edin.

Tarama bütçesi israfına en çok ne yol açar?

Tarama bütçesi israfı, Googlebot'un değeri düşük veya hiç olmayan URL'lere zaman harcamasıdır. En büyük nedenler genellikle sonsuz URL kombinasyonları üreten filtreler, oturum ve sıralama parametreleri, kopya içerik, uzun yönlendirme zincirleri, çok sayıda 404 ve soft 404 sayfalarıdır.

• —Facet (filtre) navigasyonu: renk, beden, fiyat ve sıralama kombinasyonları çok sayıda benzersiz URL üretir.
• —Parametreli URL'ler: oturum kimliği, izleme parametreleri ve sıralama parametreleri aynı içeriği farklı adreslerde sunar.
• —Kopya içerik: http/https, www/www'suz, sonunda eğik çizgi olan ve olmayan sürümler.
• —Yönlendirme zincirleri: A'dan B'ye, B'den C'ye giden zincirler her adımda tarama harcar.
• —Hata sayfaları: çok sayıda 404 ve soft 404 URL'si ısrarla taranabilir.
• —Sonsuz alanlar: takvim, sonsuz kaydırma veya sınırsız sayfalama bağlantıları.
• —Düşük kaliteli otomatik üretilmiş sayfalar: değeri olmayan etiket, arşiv ve arama sonucu sayfaları.
• —Yavaş sunucu: yanıt süresi uzadıkça Googlebot daha az sayfa tarar.

Bir sitede bu sorunların tamamı bulunmayabilir; çoğu zaman bir ya da iki ana kaynak toplam taramanın büyük kısmını tüketir. Bu yüzden ilk adım, taramanın nereye gittiğini ölçmektir.

E-ticaret filtre URL'leri tarama bütçesini nasıl etkiler?

E-ticaret sitelerinde renk, beden, marka, fiyat aralığı ve sıralama filtreleri birleştiğinde, birkaç yüz ürün binlerce hatta milyonlarca benzersiz URL'ye dönüşebilir. Googlebot bu kombinasyonları keşfedip taramaya çalışırsa gerçek ürün ve kategori sayfalarına ayıracağı zaman azalır.

Çözüm, hangi filtre kombinasyonlarının gerçekten arama talebi olan ve içeriği zengin sayfalar olduğuna karar vermektir. Örneğin “siyah deri ceket” gibi aranan bir kombinasyon için ayrı, benzersiz içerikli bir sayfa mantıklı olabilir; “siyah, 38 beden, fiyata göre artan” gibi bir kombinasyon ise dizine girmemelidir. Bu ayrım, hem tarama hem de kopya içerik açısından önemlidir.

• —Arama talebi olan ve içeriği özelleştirilmiş filtre sayfalarını bilinçli olarak dizine açın.
• —Diğer filtre kombinasyonlarının taranmasını robots.txt ile kapatmayı veya iç bağlantıları sınırlamayı değerlendirin.
• —Sıralama ve oturum parametrelerini canonical ile tek bir adrese bağlayın.
• —Filtre bağlantılarını tarayıcı için gereksiz yere her sayfada link olarak sunmaktan kaçının.
• —Sitemap'e yalnızca dizine girmesini istediğiniz, canonical sayfaları koyun.

Bu konular, e-ticaret SEO'sunun merkezindedir. Ürün ve kategori sayfası optimizasyonunu ayrıca ele aldığımız rehberde ayrıntılı bulabilirsiniz. Her çözümün riski vardır; örneğin robots.txt ile bir kalıbı kapatmak, yanlış kuralla önemli sayfaları da kapatabilir. Değişiklikten önce mutlaka test edin.

Search Console Tarama İstatistikleri raporu nasıl okunur?

Search Console'da Ayarlar bölümündeki “Tarama istatistikleri” raporu, Googlebot'un sitenize yaptığı son dönemdeki istekleri gösterir: toplam tarama isteği, indirilen toplam boyut, ortalama yanıt süresi, yanıt koduna göre dağılım, dosya türüne göre dağılım ve ana bilgisayar durumu. Tarama bütçesini ölçmenin en erişilebilir ve ücretsiz yoludur.

• —Toplam tarama isteği: günlük tarama hacmindeki ani düşüşler veya artışlar önemli bir işarettir.
• —Ortalama yanıt süresi: yükselen süre, sunucu sorununun veya aşırı yükün göstergesi olabilir.
• —Yanıt kodlarına göre dağılım: 200 dışındaki oranın büyük olması (yönlendirme, 404, 5xx) israf işaretidir.
• —Dosya türüne göre dağılım: taramanın büyük kısmı HTML yerine gereksiz kaynaklara gidiyorsa dikkat edin.
• —Amaca göre dağılım: yeni sayfaların keşfi mi, mevcutların yenilenmesi mi daha çok?
• —Ana bilgisayar durumu: robots.txt, DNS ve sunucu bağlantı sorunlarının geçmişi.

Raporu okurken tek bir güne değil, genel eğilime bakın. Ani bir sunucu hatası artışı, taşıma sonrası geçici bir artış ya da yapılan bir teknik değişiklik, grafiklerde açıkça görülebilir. Bu raporun amacı bir “bütçe sayısı” bulmak değil, taramanın sağlıklı ve amaca uygun olup olmadığını anlamaktır.

Log dosyası analizi ne zaman gerekir?

Sunucu log dosyaları, Googlebot'un hangi URL'leri, ne zaman ve hangi yanıt koduyla istediğini satır satır gösterir. Tarama İstatistikleri raporu özet sunarken, log analizi hangi tek tek URL'lerin taranıp taranmadığını gösterir. Büyük sitelerde ve karmaşık sorunlarda log analizi çok değerlidir; küçük sitelerde ise çoğu zaman gerekli değildir.

Log analizi yaparken, gerçek Googlebot'u taklit eden sahte botları ayıklamak için Google'ın belgelediği doğrulama yöntemlerini kullanın. Ardından en çok taranan URL desenlerini, hiç taranmayan önemli sayfaları ve hata dönen adresleri listeleyin. Önemli sayfaların hiç taranmadığı ve gereksiz kalıpların sürekli tarandığı bir tablo, optimizasyon fırsatını net gösterir.

• —Gerekli olabilir: yüz binlerce URL'li siteler, karmaşık filtre yapıları, büyük taşımalar sonrası.
• —Genellikle gerekli değil: birkaç yüz sayfalık kurumsal siteler.
• —Bakılacaklar: en çok taranan URL desenleri, taranmayan önemli sayfalar, yanıt kodu dağılımı.
• —Dikkat: log verisi kişisel veri içerebilir; paylaşırken ve saklarken gizliliğe özen gösterin.

Tarama israfı nasıl azaltılır? Adım adım uygulama

Tarama israfını azaltmak için önce taramanın nereye gittiğini ölçün, sonra en büyük kaynağı kapatın: gereksiz URL'leri üretmeyi bırakın, yönlendirme zincirlerini kısaltın, silinen sayfalara doğru durum kodu verin, sitemap'i temizleyin ve sunucuyu hızlandırın. En büyük kazanç genellikle ilk bir ya da iki sorunun giderilmesinden gelir.

• —1. Adım: Tarama İstatistikleri raporunda yanıt kodu ve dosya türü dağılımına bakın.
• —2. Adım: Sitenizi bir tarama aracıyla tarayıp yönlendirme zincirlerini, 404'leri ve kopya URL'leri listeleyin.
• —3. Adım: Yönlendirme zincirlerini tek adıma indirin; iç linkleri doğrudan son adrese verin.
• —4. Adım: Artık var olmayan sayfalar için 404 veya 410, taşınan sayfalar için 301 verin.
• —5. Adım: Sonsuz veya düşük değerli URL kalıplarını (filtre, oturum, arama) üretmeyi veya link vermeyi bırakın.
• —6. Adım: Gerçekten taranmasını istemediğiniz kalıpları robots.txt ile kapatmayı değerlendirin ve test edin.
• —7. Adım: Sitemap'i yalnızca canonical, 200 yanıtlı ve dizine girmesini istediğiniz URL'lerle sınırlayın.
• —8. Adım: Sunucu yanıt süresini iyileştirin; önbellek, CDN ve veritabanı optimizasyonu düşünün.
• —9. Adım: Değişikliklerin ardından Tarama İstatistikleri raporunu birkaç hafta izleyin.

Bir noktaya dikkat edin: noindex etiketi tarama bütçesini kurtarmaz, çünkü Google noindex'i görmek için sayfayı yine de taramalıdır. Robots.txt ise taramayı engeller ama dizine ekleme sinyali değildir; engellenen bir URL yine de dışarıdan bağlantı alıyorsa bilgilerle dizinde görünebilir. Her aracın farklı bir amacı vardır.

Sunucu hızı ve site yapısı tarama bütçesini nasıl etkiler?

Sunucunuz hızlı ve kararlı yanıt veriyorsa Googlebot daha fazla istek yapabilir; yavaşsa veya hata veriyorsa kendini kısıtlar. Bu nedenle sunucu hızı hem kullanıcı deneyimi hem tarama kapasitesi için iki yönlü fayda sağlar. Site yapısında da düz, anlaşılır bir hiyerarşi ve güçlü iç linkleme, önemli sayfaların keşfini kolaylaştırır.

• —Yanıt süresi (TTFB): ilk bayt süresini düşürmek taramayı da rahatlatır.
• —Önbellek ve CDN: tekrar eden istekleri hızlandırır, sunucu yükünü azaltır.
• —Düz site yapısı: önemli sayfalara ana sayfadan az tıklamayla ulaşılmalı.
• —İç linkleme: yetim sayfalar keşfi zorlaştırır; her önemli sayfa en az bir güçlü sayfadan bağlanmalı.
• —Hata oranı: 5xx hataları ve zaman aşımları taramayı doğrudan kısıtlar.

Sunucu sorununa dair kalıcı bir çözüm istiyorsanız, hız konusunu sayfa tarafında ve sunucu tarafında birlikte ele alın. Core Web Vitals ve sayfa hızı yazılarımız bu konuda destekleyici olacaktır.

Tarama bütçesi hakkında yaygın yanlış anlamalar nelerdir?

En yaygın yanlış anlamalar şunlardır: tarama bütçesinin her site için kritik olduğu, daha çok taranmanın daha yüksek sıralama getirdiği ve belirli bir “bütçe sayısı”nın bulunabileceği. Gerçekte daha fazla tarama otomatik olarak daha iyi sıralama anlamına gelmez; Google tarama ile sıralamayı ayrı süreçler olarak yürütür.

• —“Her site tarama bütçesini optimize etmeli”: Google’ın belgelerine göre bu öncelikle büyük siteler içindir.
• —“Daha çok tarama, daha iyi sıralama demek”: tarama sıralama faktörü değildir.
• —“Sayfa dizine girmediyse bütçe yetmiyordur”: çoğu zaman neden içerik değeri, kopyalama veya teknik engeldir.
• —“noindex tarama bütçesini kurtarır”: Google noindex'i görmek için sayfayı yine de taramak zorundadır.
• —“Crawl-delay Google için çalışır”: Googlebot crawl-delay yönergesini desteklemez.
• —“Sitemap’teki her URL taranır”: sitemap bir ipucudur, garanti değildir.

Bu yanlış anlamalar nedeniyle bazı siteler gereksiz teknik işlere zaman harcarken asıl sorunları, yani zayıf içerik ve eksik iç linkleri göz ardı eder. Dürüst yaklaşım, önce teşhis koymak, sonra öncelik sıralamasını buna göre yapmaktır.

Kendi sitenizde tarama bütçesi sorunu var mı? Hızlı kontrol listesi

Sitenizde gerçek bir tarama bütçesi sorunu olup olmadığını anlamak için birkaç basit soruya yanıt arayın: sitenizde kaç benzersiz URL var, önemli sayfalar tarama istatistiklerinde ve dizin raporunda nasıl görünüyor ve gereksiz URL üretimi var mı? Çoğu küçük site için yanıtlar sorunun olmadığını gösterir.

• —Benzersiz ve değerli URL sayınız birkaç yüz-birkaç bin mi, yoksa yüz binleri aşıyor mu?
• —Search Console'da çok sayıda önemli sayfa “Keşfedildi, şu anda dizine eklenmemiş” durumunda mı?
• —Tarama istatistiklerinde yanıt kodlarının büyük kısmı 200 dışında mı (yönlendirme, 404, 5xx)?
• —Filtre, oturum veya arama parametreleri binlerce URL üretiyor mu?
• —Yönlendirme zincirleri, kopya sürümler (http/https, www) ve soft 404'ler var mı?
• —Sunucu yanıt süresi tutarlı ve hızlı mı?
• —Yeni eklenen sayfalar makul bir sürede keşfedilip taranıyor mu?

Yanıtlarınız çoğunlukla “hayır” ise tarama bütçesi sizin için öncelik değildir; enerjinizi içerik, iç linkleme ve yerel görünürlüğe harcayın. Bazı maddeler “evet” çıkıyorsa, yukarıdaki adımlarla başlayın. 404 Ajans olarak teknik denetimlerde bu sırayı izliyoruz: önce ölçüm, sonra yalnızca gerçekten sorun olan alanlara müdahale.