Robots.txt für E-Commerce: Beste Praktiken und Beispiele für WooCommerce, Magento und Shopify

In einem Online-Shop können Suchmaschinen eine nahezu endlose Anzahl von URLs finden: Filterkombinationen, Sortierreihenfolgen, interne Suchergebnisse, Warenkorb- und Kontoseiten. Eine gut geschriebene robots.txt Datei sagt den Crawlern, wo sie nicht hingehen sollen, damit sie ihre Zeit auf den Seiten verbringen, die wichtig sind.

Ein schlecht geschriebener kann auch deinen gesamten Shop von Google entfernen. Dieser Leitfaden behandelt bewährte Praktiken und einsatzbereite Beispiele für WooCommerce, Magento 2 und Shopify.

Was die robots.txt tut (und nicht tut)

robots.txt ist eine Textdatei im Stammverzeichnis Ihrer Domain (https://www.example.com/robots.txt) mit Regeln für Crawler.

Es steuert das Crawlen: welche URLs Bots anfordern dürfen
Es steuert die Indizierung nicht zuverlässig. Eine blockierte URL kann trotzdem in Google erscheinen, wenn andere Seiten darauf verlinken, jedoch ohne Inhalt.
Es ist öffentlich. Verwenden Sie es niemals, um sensible Bereiche zu verbergen; schützen Sie diese mit Authentifizierung.

Um eine Seite aus den Suchergebnissen herauszuhalten, verwenden Sie ein noindex Meta-Tag oder einen Header und stellen Sie sicher, dass die Seite nicht in robots.txt blockiert ist, andernfalls kann Google das noindex nicht erkennen.

Grundsyntax

User-agent: *
Disallow: /checkout/
Allow: /checkout/assets/

Sitemap: https://www.example.com/sitemap.xml

User-agent – auf welchen Crawler die Regeln zutreffen (* = alle)
Disallow – Pfadpräfix, das nicht gecrawlt werden darf
Erlauben – Ausnahme innerhalb eines nicht erlaubten Pfades
* entspricht beliebigen Zeichen und $ kennzeichnet das Ende der URL (unterstützt von Google und Bing)
Sitemap – absolute URL zu Ihrer XML-Sitemap

Was man in einem Online-Shop blockieren sollte

In der Regel sicher zu blockieren:

Warenkorb-, Checkout- und Kontoseiten
Interne Suchergebnisseiten
Sortieren, anzeigen und begrenzen Sie Parameter
Filterparameterkombinationen, die Sie nicht indiziert haben möchten
Vergleichen, Wunschliste und „in den Warenkorb legen“ URLs

Was niemals blockiert werden sollte

CSS- und JavaScript-Dateien. Google benötigt sie, um Ihre Seiten darzustellen.
Produktbilder (es sei denn, Sie möchten absichtlich keinen Bildsuchverkehr)
Kategorie- und Produktseiten
Seiten mit einem noindex-Tag, die Sie von Google sehen lassen möchten
Ihre gesamte Website nach dem Start. Überprüfen Sie, dass das Disallow: / aus der Staging-Umgebung verschwunden ist.

WooCommerce robots.txt Beispiel

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?s=
Disallow: /*add-to-cart=
Disallow: /*?orderby=
Disallow: /*&orderby=
Disallow: /*?filter_
Disallow: /*&filter_

Sitemap: https://www.example.com/sitemap_index.xml

Passen Sie die Pfade für den Warenkorb, den Checkout und das Konto an, wenn Ihr Shop übersetzte Slugs verwendet (zum Beispiel /winkelwagen/ oder /warenkorb/). Die Sitemap-URL hängt von Ihrem SEO-Plugin ab.

Magento 2 robots.txt Beispiel

In Magento 2 können Sie die robots.txt unter Inhalt → Design → Konfiguration → (Store-Ansicht) → Suchmaschinen-Robots bearbeiten.

User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /wishlist/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /sendfriend/
Disallow: /review/product/
Disallow: /*?dir=
Disallow: /*&dir=
Disallow: /*?product_list_order=
Disallow: /*&product_list_order=
Disallow: /*?product_list_limit=
Disallow: /*&product_list_limit=
Disallow: /*?product_list_mode=
Disallow: /*&product_list_mode=
Disallow: /*SID=

Sitemap: https://www.example.com/sitemap.xml

Schichtnavigation Filter (?color=, ?size=) benötigen eine bewusste Entscheidung: blockiere die Kombinationen, die keine Suchnachfrage haben, und halte die wertvollen für das Crawlen und Indizieren zugänglich. Siehe den Abschnitt zur facettierten Navigation in meiner e-commerce technischen SEO-Checkliste.

Shopify robots.txt

Shopify generiert eine sinnvolle Standard-robots.txt, die bereits den Warenkorb, den Checkout, das Konto, die interne Suche und mehrere Parameter-URLs blockiert. Sie können sie anpassen, indem Sie eine robots.txt.liquid Vorlage zu Ihrem Theme hinzufügen.

Passen Sie nur an, wenn es ein klares Problem gibt, zum Beispiel eine Filter-App, die Tausende von durchsuchbaren URLs erstellt. Behalten Sie die Standardregeln von Shopify bei und fügen Sie Ihre eigenen hinzu. Mehr in meiner Shopify SEO-Checkliste.

AI-Crawler

Neben Suchmaschinen-Bots betreiben KI-Unternehmen ihre eigenen Crawler. Sie können diese im robots.txt über den User-Agent ansprechen. Entscheiden Sie bewusst:

Erlauben Sie ihnen, wenn Sie möchten, dass Ihre Produkte und Inhalte in KI-Assistenten angezeigt werden (siehe GEO für Online-Shops)
Blockieren Sie spezifische, wenn Sie nicht möchten, dass Ihre Inhalte verwendet werden, wobei Sie beachten sollten, dass dies die Sichtbarkeit in diesen Tools verringern kann.

Überprüfen Sie die Dokumentation jedes Anbieters auf die aktuellen Benutzermaschinen-Namen, da diese zwischen Trainings- und Live-Such-Crawlern variieren.

Häufige Fehler

Disallow: / übrig geblieben von der Staging-Umgebung. Der einzelner schädlichste Fehler in der robots.txt.
Seiten blockieren, die noindex haben. Google sieht das noindex nie und die URLs können weiterhin indexiert bleiben.
Blockieren von CSS/JS-Ordnern. Führt zu schlechter Darstellung und Bewertung.
Vergessen von Sprachversionen. Regeln für /cart/ decken /de/warenkorb/ nicht ab.
Verwendung von robots.txt, um Seiten von Google zu entfernen. Verwenden Sie stattdessen noindex oder Entfernungstools.
Fall- und Trailing-Slash-Fehler. Pfade sind groß- und kleinschreibungsempfindlich.

So testen Sie Ihre robots.txt

Der robots.txt-Bericht in der Google Search Console zeigt, welche robots.txt-Dateien Google gefunden hat und welche Fehler aufgetreten sind.
Verwenden Sie URL-Inspektion, um zu überprüfen, ob eine bestimmte URL blockiert ist.
Durchsuchen Sie Ihre Website mit einem Crawler, der robots.txt respektiert, und vergleichen Sie die gecrawlten URLs mit dem, was Sie erwarten.

Häufig gestellte Fragen

Verbessert robots.txt die Rankings?

Nicht direkt. Es hilft Suchmaschinen, Crawling-Zeit auf wichtigen Seiten zu verbringen, was besonders bei großen Shops mit vielen Filter-URLs von Bedeutung ist.

Sollte sich ein kleiner Laden um das Crawl-Budget sorgen?

In der Regel nicht viel. Für Geschäfte mit Tausenden von Produkten und Filtern spielt es eine große Rolle.

Wie schnell nimmt Google Änderungen an der robots.txt auf?

Google speichert robots.txt normalerweise bis zu etwa einem Tag im Cache, sodass Änderungen in der Regel schnell erkannt werden.

Brauchen Sie Hilfe beim Crawlen und Indizieren?

Ich behebe Crawl- und Indexierungsprobleme für WooCommerce-, Magento- und Shopify-Shops, einschließlich facettierter Navigation und robots.txt. Siehe mein technisches SEO-Service oder fordere ein Audit an.