E-ticaret için Robots.txt: WooCommerce, Magento ve Shopify için En İyi Uygulamalar ve Örnekler

Bir çevrimiçi mağazada, arama motorları neredeyse sonsuz sayıda URL bulabilir: filtre kombinasyonları, sıralama düzenleri, dahili arama sonuçları, sepet ve hesap sayfaları. İyi yazılmış bir robots.txt dosyası, tarayıcılara nereye gitmemeleri gerektiğini söyler, böylece zamanlarını önemli sayfalarda harcarlar.

Kötü yazılmış bir tanım, tüm mağazanızı Google’dan da kaldırabilir. Bu kılavuz, WooCommerce, Magento 2 ve Shopify için en iyi uygulamaları ve kullanıma hazır örnekleri kapsamaktadır.

robots.txt ne yapar (ve yapmaz)

robots.txt alanınızın kökünde bulunan bir metin dosyasıdır (https://www.example.com/robots.txt) ve tarayıcılar için kurallar içerir.

• Bu tarama kontrolünü sağlar: botların hangi URL’leri isteyebileceği
• güvenilir bir şekilde dizinlemeyi kontrol etmez. Engellenmiş bir URL, diğer sayfalar ona bağlantı verirse Google’da hala görünebilir, sadece içeriksiz olarak.
• Bu kamudur. Hassas alanları gizlemek için asla kullanmayın; bunları kimlik doğrulama ile koruyun.

Bir sayfayı arama sonuçlarından çıkarmak için bir noindex meta etiketi veya başlık kullanın ve sayfanın engellenmediğinden emin olun robots.txt dosyasında, aksi takdirde Google noindex‘i göremez.

Temel sözdizimi

User-agent: *
Disallow: /checkout/
Allow: /checkout/assets/

Sitemap: https://www.example.com/sitemap.xml

• Kullanıcı-aracı – kuralların hangi tarayıcıya uygulandığı (* = hepsi)
• Disallow – tarayıcılar tarafından taranamayacak yol ön eki
• Allow – yasaklı bir yol içinde istisna
• * herhangi bir karakterle eşleşir ve $ URL’nin sonunu işaret eder (Google ve Bing tarafından desteklenir)
• Sitemap – XML sitemap’inizin mutlak URL’si

Bir çevrimiçi mağazada neleri engellemeli?

Genellikle engellemek güvenlidir:

• Sepet, ödeme ve hesap sayfaları
• İç arama sonuç sayfaları
• Sıralama, görüntüleme ve sınırlama parametreleri
• İndekslenmesini istemediğiniz filtre parametre kombinasyonlarını filtreleyin.
• Karşılaştır, istek listesi ve “sepete ekle” URL’leri

asla engellenmemesi gerekenler

• CSS ve JavaScript dosyaları. Google, sayfalarınızı görüntülemek için bunlara ihtiyaç duyar.
• Ürün resimleri (isteyerek resim arama trafiği almak istemiyorsanız hariç)
• Kategori ve ürün sayfaları
• Google’ın görmesini istediğiniz noindex etiketi olan sayfalar
• Yayın sonrası sitenizin tamamı. Staging’deki Disallow: /‘nin kaldırıldığını kontrol edin.

WooCommerce robots.txt örneği

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?s=
Disallow: /*add-to-cart=
Disallow: /*?orderby=
Disallow: /*&orderby=
Disallow: /*?filter_
Disallow: /*&filter_

Sitemap: https://www.example.com/sitemap_index.xml

Sepet, ödeme ve hesap yollarını, mağazanız çevrilmiş slug’lar kullanıyorsa ayarlayın (örneğin /winkelwagen/ veya /warenkorb/). Site haritası URL’si SEO eklentinize bağlıdır.

Magento 2 robots.txt örneği

Magento 2’de robots.txt dosyasını Content → Design → Configuration → (mağaza görünümü) → Search Engine Robots altında düzenleyebilirsiniz.

User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /wishlist/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /sendfriend/
Disallow: /review/product/
Disallow: /*?dir=
Disallow: /*&dir=
Disallow: /*?product_list_order=
Disallow: /*&product_list_order=
Disallow: /*?product_list_limit=
Disallow: /*&product_list_limit=
Disallow: /*?product_list_mode=
Disallow: /*&product_list_mode=
Disallow: /*SID=

Sitemap: https://www.example.com/sitemap.xml

Katmanlı navigasyon filtreleri (?color=, ?size=) dikkatli bir karar gerektirir: arama talebi olmayan kombinasyonları engellemek ve değerli olanları taranabilir ve dizine eklenebilir durumda tutmak. Benim e-ticaret teknik SEO kontrol listemdeki çoklu yönlendirme bölümüne bakın.

Shopify robots.txt

Shopify, sepet, ödeme, hesap, dahili arama ve çeşitli parametre URL’lerini zaten engelleyen mantıklı bir varsayılan robots.txt dosyası oluşturur. Bunu, temanızın içine bir robots.txt.liquid şablonu ekleyerek özelleştirebilirsiniz.

Sadece belirgin bir sorun olduğunda özelleştirin, örneğin bir filtre uygulamasının binlerce taranabilir URL oluşturması gibi. Shopify’ın varsayılan kurallarını koruyun ve kendi kurallarınızı bunların üzerine ekleyin. Daha fazlası için Shopify SEO kontrol listeniz‘e bakın.

AI tarayıcıları

Arama motoru botlarının yanı sıra, AI şirketleri kendi tarayıcılarını çalıştırır. Onlara robots.txt dosyasında kullanıcı ajanı ile hitap edebilirsiniz. Bilinçli bir şekilde karar verin:

• İzin verin eğer ürünlerinizin ve içeriğinizin AI asistanlarında görünmesini istiyorsanız (bkz. Çevrimiçi mağazalar için GEO)
• Belirli olanları engelleyin eğer içeriğinizin kullanılmasını istemiyorsanız, bunun bu araçlardaki görünürlüğü azaltabileceğini unutmayın.

Her sağlayıcının belgelerini, eğitim ve canlı arama tarayıcıları arasında farklılık gösterdiği için mevcut kullanıcı ajanı adları için kontrol edin.

Yaygın hatalar

1. Disallow: / sahneden kalma. Tek en zararlı robots.txt hatası.
2. Noindex olan sayfaları engelleme. Google noindex’i asla görmez ve URL’ler indeksli kalabilir.
3. CSS/JS klasörlerini engellemek. Kötü render alma ve değerlendirme ile sonuçlanır.
4. Dil sürümlerini unutma. /cart/ için kurallar /de/warenkorb/ kapsamamaktadır.
5. Google’dan sayfaları kaldırmak için robots.txt kullanma. Bunun yerine noindex veya kaldırma araçlarını kullanın.
6. Dosya ve son eğik çizgi hataları. Yollar büyük/küçük harf duyarlıdır.

robots.txt dosyanızı nasıl test edersiniz

• Google Arama Konsolu’ndaki robots.txt raporu, Google’ın bulduğu robots.txt dosyalarını ve herhangi bir hatayı gösterir.
• Belirli bir URL’nin engellenip engellenmediğini kontrol etmek için URL Denetimi kullanın.
• Sitelerinizi robots.txt dosyasına saygı gösteren bir tarayıcı ile tarayın ve taranan URL’leri beklediğinizle karşılaştırın.

Sıkça sorulan sorular

robots.txt sıralamaları iyileştirir mi?

Doğrudan değil. Arama motorlarının önemli sayfalarda tarama süresi harcamasına yardımcı olur, bu da birçok filtre URL’sine sahip büyük mağazalarda en önemli olanıdır.

Küçük bir mağaza tarama bütçesi konusunda endişelenmeli mi?

Genellikle pek fazla değil. Binlerce ürünü ve filtreyi olan mağazalar için bu çok önemlidir.

Google, robots.txt değişikliklerini ne kadar hızlı alır?

Google genellikle robots.txt dosyasını yaklaşık bir gün boyunca önbelleğe alır, bu nedenle değişiklikler genellikle hızlı bir şekilde algılanır.

Tarama ve dizinleme konusunda yardıma mı ihtiyacınız var?

WooCommerce, Magento ve Shopify mağazaları için, yüzeysel navigasyon ve robots.txt dahil olmak üzere tarama ve dizinleme sorunlarını çözüyorum. teknik SEO hizmetimi veya denetim talep edin kısmına bakın.