Taal: Nederlands
Dienst aanvragen

Robots.txt voor E-commerce: Beste Praktijken en Voorbeelden voor WooCommerce, Magento en Shopify

Een goede robots.txt helpt zoekmachines hun tijd te besteden aan jouw producten en categorieën in plaats van aan filters, winkelwagentjes en zoekresultaten. Hier zijn best practices en voorbeelden per platform.

Hasan Gültekin4 min leestijd

Op een online winkel kunnen zoekmachines een bijna eindeloos aantal URL’s vinden: filtercombinaties, sorteerordes, interne zoekresultaten, winkelwagentje- en accountpagina’s. Een goed geschreven robots.txt bestand vertelt crawlers waar ze niet naartoe moeten gaan, zodat ze hun tijd besteden aan de pagina’s die er toe doen.

Een slecht geschreven eentje kan ook je hele winkel van Google verwijderen. Deze gids behandelt best practices en kant-en-klare voorbeelden voor WooCommerce, Magento 2 en Shopify.

Wat robots.txt doet (en niet doet)

robots.txt is een tekstbestand in de root van je domein (https://www.example.com/robots.txt) met regels voor crawlers.

  • Het beheert crawlen: welke URL’s bots mogen aanvragen
  • Het controleert de indexering niet betrouwbaar. Een geblokkeerde URL kan nog steeds in Google verschijnen als andere pagina’s ernaar linken, maar dan zonder inhoud.
  • Het is openbaar. Gebruik het nooit om gevoelige gebieden te verbergen; bescherm die met authenticatie.

Om een pagina uit de zoekresultaten te houden, gebruik een noindex meta-tag of header en zorg ervoor dat de pagina niet geblokkeerd is in robots.txt, anders kan Google de noindex niet zien.

Basis syntaxis

User-agent: *
Disallow: /checkout/
Allow: /checkout/assets/

Sitemap: https://www.example.com/sitemap.xml
  • User-agent – op welke crawler de regels van toepassing zijn (* = allemaal)
  • Disallow – padprefix dat mogelijk niet gecrawld mag worden
  • Toestaan – uitzondering binnen een niet-toegestane pad
  • * komt overeen met elk teken en $ markeert het einde van de URL (ondersteund door Google en Bing)
  • Sitemap – absolute URL naar uw XML-sitemap

Wat te blokkeren op een online winkel

Meestal veilig om te blokkeren:

  • Winkelwagentje, afreken- en accountpagina’s
  • Interne zoekresultaatpagina’s
  • Sorteer-, bekijk- en limietparameters
  • Filter parametercombinaties die u niet wilt laten indexeren
  • Vergelijk, verlanglijst en “voeg toe aan winkelwagentje” URL’s

wat nooit te blokkeren

  • CSS- en JavaScript-bestanden. Google heeft ze nodig om je pagina’s weer te geven
  • Productafbeeldingen (tenzij je opzettelijk geen afbeeldingzoekverkeer wilt)
  • Categorie- en productpagina’s
  • Pagina’s met een noindex-tag die je wilt dat Google ziet
  • Je hele site na lancering. Controleer of de Disallow: / van staging verdwenen is.

WooCommerce robots.txt voorbeeld

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /cart/
Disallow: /checkout/
Disallow: /my-account/
Disallow: /*?s=
Disallow: /*add-to-cart=
Disallow: /*?orderby=
Disallow: /*&orderby=
Disallow: /*?filter_
Disallow: /*&filter_

Sitemap: https://www.example.com/sitemap_index.xml

Pas de paden voor de winkelwagentje, afrekenen en account aan als je winkel vertaalde slugs gebruikt (bijvoorbeeld /winkelwagen/ of /warenkorb/). De sitemap-URL is afhankelijk van je SEO-plugin.

Magento 2 robots.txt voorbeeld

In Magento 2 kun je robots.txt bewerken onder Inhoud → Ontwerp → Configuratie → (winkelweergave) → Zoekmachine Robots.

User-agent: *
Disallow: /checkout/
Disallow: /customer/
Disallow: /wishlist/
Disallow: /catalog/product_compare/
Disallow: /catalogsearch/
Disallow: /sendfriend/
Disallow: /review/product/
Disallow: /*?dir=
Disallow: /*&dir=
Disallow: /*?product_list_order=
Disallow: /*&product_list_order=
Disallow: /*?product_list_limit=
Disallow: /*&product_list_limit=
Disallow: /*?product_list_mode=
Disallow: /*&product_list_mode=
Disallow: /*SID=

Sitemap: https://www.example.com/sitemap.xml

Gelaagde navigatiefilters (?color=, ?size=) vereisen een weloverwogen beslissing: blokkeer de combinaties die geen zoekvraag hebben, en houd de waardevolle combinaties doorzoekbaar en indexeerbaar. Zie de sectie over gefacetteerde navigatie in mijn e-commerce technische SEO-checklist.

Shopify robots.txt

Shopify genereert een verstandige standaard robots.txt die al de winkelwagentje, afrekenen, account, interne zoekopdracht en verschillende parameter-URL’s blokkeert. Je kunt het aanpassen door een robots.txt.liquid sjabloon aan je thema toe te voegen.

Pas alleen aan wanneer er een duidelijk probleem is, bijvoorbeeld een filterapp die duizenden doorzoekbare URL’s aanmaakt. Houd de standaardregels van Shopify en voeg je eigen regels daarbovenop toe. Meer in mijn Shopify SEO-checklist.

AI crawlers

Naast zoekmachinebots draaien AI-bedrijven hun eigen crawlers. Je kunt ze aanspreken via de user agent in robots.txt. Beslis bewust:

  • Sta ze toe als je wilt dat je producten en inhoud verschijnen in AI-assistenten (zie GEO voor online winkels)
  • Blokkeer specifieke als je niet wilt dat je inhoud wordt gebruikt, houd er rekening mee dat dit de zichtbaarheid in die tools kan verminderen.

Controleer de documentatie van elke provider voor de huidige gebruikersagentnamen, aangezien deze verschillen tussen training en live-zoekcrawlers.

Veelvoorkomende fouten

  1. Disallow: / achtergebleven van staging. De meest schadelijke robots.txt-fout.
  2. Blokkeren van pagina’s die noindex hebben. Google ziet de noindex nooit en de URL’s kunnen geïndexeerd blijven.
  3. Blokkeren van CSS/JS-mappen. Leidt tot slechte weergave en evaluatie.
  4. Taalversies vergeten. Regels voor /cart/ dekken /de/warenkorb/ niet.
  5. Gebruik robots.txt om pagina’s van Google te verwijderen. Gebruik in plaats daarvan noindex of verwijderingshulpmiddelen.
  6. Hoofdletter- en trailing slash-fouten. Paden zijn hoofdlettergevoelig.

Hoe uw robots.txt te testen

  • Het robots.txt-rapport in Google Search Console toont welke robots.txt-bestanden Google heeft gevonden en eventuele fouten.
  • Gebruik URL-inspectie om te controleren of een specifieke URL is geblokkeerd
  • Crawl uw site met een crawler die robots.txt respecteert en vergelijk de gecrawlde URL’s met wat u verwacht.

Veelgestelde vragen

Verbetert robots.txt de rankings?

Niet direct. Het helpt zoekmachines om crawltijd te besteden aan belangrijke pagina’s, wat vooral belangrijk is op grote winkels met veel filter-URL’s.

Moet een kleine winkel zich zorgen maken over crawlbudget?

Gewoonlijk niet veel. Voor winkels met duizenden producten en filters, doet het er veel toe.

Hoe snel pikt Google wijzigingen in robots.txt op?

Google cachet over het algemeen robots.txt tot ongeveer een dag, dus wijzigingen worden meestal snel opgepikt.

Heeft u hulp nodig bij crawlen en indexeren?

Ik los crawl- en indexeringsproblemen op voor WooCommerce, Magento en Shopify winkels, inclusief gefacetteerde navigatie en robots.txt. Bekijk mijn technische SEO-service of vraag een audit aan.