Voor webshop-eigenaren en beheerders

NoembaarBot

NoembaarBot bezoekt een webshop alleen als iemand daar een scan voor aanvraagt. Hij leest openbare pagina's om te controleren hoe goed AI-zoekmachines de shop kunnen lezen.

Wat hij doet

  • Hij leest robots.txt, de sitemap, de homepage en maximaal 50 productpagina's.
  • Maximaal één verzoek per seconde, met een time-out van 10 seconden per pagina.
  • Alleen openbare pagina's: geen formulieren, geen inlog, geen winkelwagen.
  • Hij volgt de regels in je robots.txt voor NoembaarBot (en anders die voor *).

Herkennen en blokkeren

De user-agent is:

NoembaarBot/0.1 (+https://noembaar.nl/bot)

Wil je niet gescand worden? Zet dit in je robots.txt:

User-agent: NoembaarBot
Disallow: /

Vragen of klachten? Mail privacy@noembaar.nl.