Blogger Robots.txt İndeksleme Uyarı Sorununu Giderme

24.6.19
Blogger Robots.txt SEO

Blogger Robots.txt İndeksleme Uyarı Sorununu Giderme - Google Arama Konsolunu (Google Search Console) yeni sürümünde, özellikle Blogger platformunu kullananlar bazı bağlantıların robots.txt tarafından engellenmiş olmasına rağmen dizine eklendiği uyarısı alıyor.

Dizine eklenmiş tüm URL'ler kontrol edilirse, robots.txt tarafından engellenmiş olsa bile, bu bağlantıların tüm arama sayfaları, arama etiketi sayfası ve gezinti sayfasında olduğunu görebilirsiniz.

Blog sayfalarınız robots.txt tarafından engellenmiş olsa bile dizine eklenir. Bunun nedeni Blogger'ın robots.txt dosyasını aşağıdaki gibi kullanmasından kaynaklanıyor.

Robots.txt
User-agent: Mediapartners-Google
Disallow:

User-agent: *
Disallow: /search
Allow: /

Sitemap: https://www.arlinadesign.com/sitemap.xml

Yukarıdaki robots.txt, tüm arama sayfalarının taranmasına izin verilmediğini gösteriyor.

Ancak, arama sayfaları bir "breadcrumb", "menü" veya etiket widget'ındaki gibi veya bir "blog-pager next prev"deki (sayfa bağlantıları), sayfalar yine de bot tarafından taranır.

Bu sorunu gidermek için, bu sayfaların botlar tarafından taranmasına ve arama sonuçlarında gösterilmesine izin verilmesi gerekir.

Yukarıdaki gibi robots.txt dosyası kullanıyorsanız, lütfen robots.txt dosyasını aşağıdaki kodla değiştirin.

Önerilen Robots.txt Dosyası
User-agent: *
Disallow:

Sitemap: https://www.arlinadesign.com/sitemap.xml
Sitemap: https://www.arlinadesign.com/atom.xml?redirect=false&start-index=1&max-results=500
Sitemap: https://www.arlinadesign.com/feeds/posts/default
Sitemap: https://www.arlinadesign.com/sitemap-pages.xml

Lütfen blogunuzun alan adı (domain) ile yukarıda işaretlenmiş yerleri değiştirin.

Blog gönderileriniz (yayınlarınız) 500'ün üzerindeyse aşağıdaki gibi yeni bir satır oluşturun.

500'den fazla içerikler için
Sitemap: https://www.arlinadesign.com/atom.xml?redirect=false&start-index=501&max-results=500

Eğer, blog gönderileriniz (yayınlarınız) 1000'in üzerindeyse tekrar aşağıdaki gibi yeni bir satır oluşturun.

1000'den fazla içerikler için
Sitemap: https://www.arlinadesign.com/atom.xml?redirect=false&start-index=1001&max-results=500

Blog sitenizin arşiv sayfasındaki botları engellemek için aşağıdaki meta etiket (meta tag noindex) kodunu blogunuzun <head> bölümüne kaydedin. Böylece yinelenen içeriği Google arama sayfasında göstermemiş olursunuz.

Meta Tag Noindex
<b:if cond='data:view.isArchive'>
<meta content='noindex,noarchive' name='robots'/>
</b:if>

Burada dikkat etmeniz gereken husus, Blogger arşiv widget'ını kullanıp kullanmadığınız. Çünkü bu meta etiketi arşiv widget'inde bulunan bağlantıların indeks almasını engelleyecektir.

Yukarıdaki adımları gerçekleştirdikten sonra, yeni eklemiş olduğunuz robots.txt dosyasını Google arama konsolunda bulunan robots.txt test aracı hızlı bir şekilde robots.txt dosyasını tanımlar.

Tüm işlemler bittikten sonra, bazı sayfa bağlantılarının robots.txt tarafından engellenmiş ve dizin uyarısı alınmış olsa bile doğrulama işlemini yapın ve arama konsolunu takip edin.

Diğer sonuçlar için bu yayını daha sonra güncelleyeceğiz.

  1. Merhaba
    Özel robot başlık etiketleri nasıl olmalı? Siz ne kullanıyorsunuz?

    YanıtlaSil
    Yanıtlar
    1. Merhaba, istediğiniz konu ile ilgili olarak en son paylaşmış olduğumuz yayını okuyun lütfen.

      Sil