Google, Robots.txt dosyasının neden görmezden gelinebileceğini ve SEO’yu olumsuz yönde etkileyebileceğini söylüyor
Google’dan John Mueller, robots.txt ile ilgili bir soruyu yanıtladı ve SEO ve web sitesi indeksleme hedeflerinizi etkileyebilecek gözden kaçması kolay bir hatayı açıkladı. Spesifik sorun, arama kutusu spam’inin Google tarafından dizine eklenmesiyle ilgiliydi, ancak bu hata genel olarak herhangi bir bağlamda herkesin başına gelebilir.
Web Sitesi Arama Kutusu Spam’ı
Reddit’te soruyu soran kişi, arama çubuğu spam saldırısına maruz kalıyordu. Spam gönderenlerin yaptığı, spam içerikli nişlerini yansıtan bir sorguyla arama yapmak ve bir bağlantı veya web sitesi adı eklemektir. Bundan sonra arama çubuğu, spam içerikli arama sonucunu oluşturmak için başvurulabilecek bir URL oluşturur.
Soruyu soran kişinin başına gelen de buydu. Yanıtları, Google’ın dosyayı dizine eklemesini önlemek için robots.txt dosyasına bir satır eklemek oldu. Ancak Google yine de arama tarafından oluşturulan spam içerikli URL’leri dizine ekliyordu.
Google’ın Dizine Eklediği Sayfalar Robots.txt Tarafından Engellendi
Birisi Reddit’te, müşterilerinin Shopify arama kutusunun spam sorgularına yanıt olarak spam içerikli web sayfaları oluşturduğunu ve Google’ın bu sayfaları dizine eklemesini yasaklayan bir robots.txt dosyasına rağmen Google’ın bu sayfaları dizine eklediğini yayınladı. Müşterinin yaptığı, bu spam içerikli URL’leri başka bir web sayfasına yönlendirmekti. Soruyu soran kişi sayfaların dizine eklenmesinin nasıl durdurulacağını sormadı (ki sorması gereken de buydu); yönlendirilen URL’lerin bunun yerine 404 olarak işaretlenmesi gerekip gerekmediğini sordular.
Kişi şunu sordu:
“Robots.txt dosyasına /search’ü izin vermeme olarak eklediğimiz bir müşterinin Shopify mağazasında çalışıyoruz, ancak bu arama sonuçları hâlâ Google’ın içinde indeksleniyor.
Ancak bu sayfalardan birini açmaya çalıştığımda bir yönlendirme seti var ve mağazadaki başka bir koleksiyon sayfasına yönlendiriyorlar. Bunun yerine 404 sayfasını mı görüntülememiz gerekiyor? Bunu düzeltmenin en kolay yolu nedir?”
Robots.txt Dosyası Neden Spam’in Dizine Alınmasına Neden Oldu?
Google’dan John Mueller, müşterinin robots.txt dosyasını tanımlayıp incelemek için ekstra bir adım attı ve Google’ın, Googlebot’un arama sonuçları sayfalarını dizine eklemesini yasaklayan yönergeyi göz ardı etmesine neden olan bir hata tespit etti.
Mueller’in yanıtı şöyle oldu:
“Ayrıca, bunun sizin siteniz olup olmadığından emin değilim, ancak benzer dizine eklenmiş URL’lere sahip bulduğum sitede “user-agent: Googlebot” (yorumlardaki “START: Özel Kurallar” bloğunda) için bölümler vardı ve ayrıca daha aşağılarda “user-agent: *” bölümünde çok daha fazlası vardı. Robots.txt ile daha spesifik kurallar kazanır, yani bir user-agent: Googlebot bölümünüz varsa, *yalnızca* bu bölümü kullanır. Tüm kuralları uygulamak istiyorsanız “user-agent: *” bölümünde bunları kopyalamanız gerekir. Ayrıca, eğer bu sizin sitenizse, kurallarının paylaşılmasını istediğiniz tüm kullanıcı aracılarını birlikte listeleyebilirsiniz, örneğin:
kullanıcı aracısı: googlebot
kullanıcı aracısı: otherbot
kullanıcı aracısı: imgsrc
kullanıcı aracısı: bir şeypt
izin verme: /balıklar
izin verme: /turuncu-kediler
… vesaire …”
Kullanıcı Aracısına Özel Direktifler Öncelik Kazanır
Olan şuydu: Müşteri, tüm kullanıcı aracılarını (user-agent: *) hedefleyen bir satırdaki yönergeleri takip etmesi için Google’a güveniyordu, ancak robots.txt dosyasının Googlebot’a özel başka bir bölümü olduğundan Google, “user-agent: *” yönergelerini göz ardı etti ve özellikle Googlebot’a hitap eden yönergeye uydu.
Bu, robots.txt’nin çalışma biçiminde bir tuhaflık gibi görünebilir, ancak aslında mantıklıdır çünkü bu, kullanıcıların belirli tarayıcıları benzersiz kurallarla hedeflemesine ve diğer herkesi farklı bir kurallar kümesiyle hedeflemesine olanak tanır.
Arama Kutusu Spam’inden Nasıl Korunulur?
WordPress ve Shopify’ın her ikisinin de arama kutusu spam’ını azaltma yolları vardır.
WordPress ve Shopify’ın her ikisinin de arama kutusu spam’ını azaltma yolları vardır.
Shopify Arama Kutusu Spam Azaltma
Shopify’ın web sitesinde, tüm arama sonuçlarına otomatik olarak noindex yönergesinin nasıl ekleneceğine ilişkin bir eğitim bulunmaktadır. Bu, tüm arama sonucu sayfalarının dizine eklenmesini etkili bir şekilde önleyecektir. Ancak bunun işe yaraması için robots.txt içeren arama sayfalarını engellememek gerekir.
Noindex yönergesinin kullanılması, robots.txt kullanılmasından daha etkilidir çünkü robots.txt, indekslemeyi kontrol etmez; yalnızca taramayı kontrol eder.
Shopify şu talimatları verir:
“Robots.txt.liquid dosyanızda bulunmayan sayfaları özelleştirerek gizleyebilirsiniz.
mağazanızın theme.liquid düzen dosyasının bölümü. Belirli sayfaların dizine eklenmesini durdurmak için bazı meta etiket kodları eklemeniz gerekir.
Shopify yöneticinizden Online Mağaza > Temalar’a gidin.
Düzenlemek istediğiniz temayı bulun, eylemler menüsünü açmak için… düğmesine tıklayın ve ardından Kodu düzenle’ye tıklayın.
Düzen klasöründe theme.liquid dosyasına tıklayın.
Arama şablonunu hariç tutmak için aşağıdaki kodu boş bir satıra yapıştırın.
bölüm:
{% eğer şablon ‘arama’ içeriyorsa %}
{% endif %}”
WordPress Arama Kutusu Spam Azaltma
Arama kutusu spam’ını WordPress ile azaltmak oldukça kolaydır. Yoast, Rank Math ve AIOSEO SEO eklentilerinin kullanıcılarının arama sonuçları sayfaları varsayılan olarak otomatik olarak noindex olarak ayarlanmıştır. Ek olarak, Divi (ve Ekstra teması) gibi bazı sayfa oluşturucular ve temalar, aramalara yanıt olarak otomatik olarak spam içerikli kelimeler ve URL’ler oluşturmayacak ve bunun yerine, aramanın sonuç vermediğini belirten birkaç cümle yerleştirecektir.
Robots.txt Bilgisi
Etkili SEO geniş bir bilgi yelpazesi gerektirir. Robots.txt, amaçlandığından daha az etkili olmasına neden olabilecek bazı tuhaflıklar içerir; bu nedenle, güncel kalmak için resmi spesifikasyonları okumak faydalı olacaktır.
Shutterstock/Stockinq’ten Öne Çıkan Görsel
