Yüz binlerce ürün sayfası olan bir e-ticaret sitesinde arama motoru botları her URL’yi aynı sıklıkla ziyaret edemez. Botlar zamanlarını değersiz sayfalara harcarsa yeni ürünler geç indekslenir, fiyat ve stok güncellemeleri sonuçlara geç yansır. Tarama önceliklendirme, botun sınırlı kaynağını gelir getiren sayfalara yönlendirme işidir.
Önce taramanın nereye gittiğini ölç
Sunucu log kayıtları, botun gerçekte nereleri gezdiğini gösteren en güvenilir kaynaktır. Logları URL tipine göre gruplayın: kategori, ürün, filtre, arama sonucu, sayfalama, parametreli adresler. Taramanın büyük kısmı filtre kombinasyonlarına ya da oturum parametrelerine gidiyorsa sorun burada demektir. Search Console’daki tarama istatistikleri raporu yanıt süresi ve durum kodu dağılımı için ikinci bir kontrol noktası sunar.
Değersiz URL’leri kontrol altına al
Renk, beden, fiyat aralığı ve sıralama seçeneklerinin birleşimi milyonlarca URL üretebilir. Arama talebi olan kombinasyonları ayırın; örneğin marka ve kategori birleşimi çoğu zaman gerçek bir sorgudur. Bunları indekslenebilir, temiz ve içerikli sayfalara dönüştürün. Talebi olmayan kombinasyonlar için robots.txt ile tarama engeli koymak en etkili yoldur, çünkü canonical ve noindex etiketleri botun sayfayı yine ziyaret etmesini gerektirir. Dahili arama sonuçlarını ve sıralama parametrelerini de aynı şekilde kapatın. Engellediğiniz sayfalara site içinden çok sayıda link verilmediğinden emin olun.
Değerli sayfaları öne çıkar
Site haritasına yalnızca indekslenmesini istediğiniz, 200 durum kodu veren ve canonical’ı kendisini gösteren URL’leri koyun. Haritayı ürün, kategori ve içerik diye bölün; böylece her grubun indekslenme oranını ayrı izleyebilirsiniz. Gerçek değişiklik tarihini lastmod alanında kullanın, her gün tüm sayfaları güncellenmiş göstermeyin. Dahili linkleme de güçlü bir sinyaldir: en çok satan ürünler ve ana kategoriler ana sayfadan birkaç tıklamayla erişilebilir olmalı. Stoğu biten ürünlerde kalıcı olarak kalkmışsa 410 ya da en yakın kategoriye 301 yönlendirmesi kullanın, geçici tükenmişse sayfayı açık tutun.
Sunucu hızını ve teknik temizliği ihmal etme
Yanıt süresi yükseldikçe botlar tarama hızını düşürür. Önbellekleme kullanın, gereksiz yönlendirme zincirlerini kısaltın ve 5xx hatalarını hızla giderin. Sayfalama içinde derinlere inildiğinde ürünlerin yalnızca o sayfalardan erişilebilir olması riskli olduğundan, ürünlere alternatif yollardan da link verin. Değişiklikleri yaptıktan sonra log analizini birkaç hafta sonra tekrarlayarak etkisini doğrulayın.
Tarama önceliklendirme tek seferlik bir düzenleme değil, katalog büyüdükçe tekrarlanan bir bakım işidir. Botun zamanını önemli sayfalara yönlendirdikçe indeksleme hızı ve görünürlük birlikte iyileşir.