Techniek
Onder de motorkap: elke stap is na te lopen.
Geen zwarte doos. Noembaar werkt in vijf vaste stappen, op eigen code, met data in de EU.
Werkwijze
Vijf stappen, van crawl tot doorvoeren.
01
crawl()
robots.txt, sitemap en productpagina's
02
parse()
HTML, JSON-LD en microdata
03
extract()
kenmerken met bewijs
04
review()
jij keurt goed
05
write()
export, feed of koppeling
- Platform
- Elk platform; doorvoeren via koppeling, productfeed of CSV
- Gecontroleerde crawlers
- 7 AI-bots: OAI-SearchBot, ChatGPT-User, PerplexityBot, GPTBot, Google-Extended, ClaudeBot, Applebot-Extended
- Productdata
- schema.org Product en Offer, als JSON-LD, microdata of metatags
- Extractie
- eigen engine, Nederlandse woordenlijsten en patronen
- Wijzigingen
- alleen na goedkeuring, altijd terug te draaien
- Toegang voor scan
- alleen openbare pagina's, geen login
Architectuur
Drie onderdelen, allemaal in de EU.
Een scan wordt opgeknipt in kleine stappen die via een wachtrij worden verwerkt. Zo blijft elke stap kort en betrouwbaar, ook bij grote shops.
Vercel, functies in Frankfurt
Website en API
Formulieren, rapporten en de worker die scans uitvoert.
Supabase, EU
Database en wachtrij
Scans worden in kleine stappen verwerkt via een wachtrij in Postgres.
eigen crawler
NoembaarBot
Leest alleen openbare pagina's, maximaal één verzoek per seconde, en volgt je robots.txt.
NoembaarBot
Een beleefde crawler.
- Bezoekt een shop alleen als iemand een scan aanvraagt.
- Maximaal één verzoek per seconde, 10 seconden time-out per pagina, maximaal 50 productpagina's.
- Volgt je robots.txt voor
NoembaarBot, en anders de regels voor alle bots. - Leest alleen openbare pagina's: geen inlog, formulieren of winkelwagen.
NoembaarBot/0.1 (+https://noembaar.nl/bot)
Data en AVG
Alleen wat nodig is, in de EU.
- Database bij Supabase in de EU; website en API bij Vercel met functies in Frankfurt.
- We bewaren het adres van je webshop, je platform, je e-mailadres en de scanresultaten.
- IP-adressen slaan we alleen versleuteld (gehasht) op, om misbruik te beperken.
- Je productdata gaat niet naar externe AI-diensten.
Proef op de som
Deze pagina scant zichzelf.
Wat we aanraden, doen we zelf. Druk op de knop: Noembaar leest de robots.txt en de productdata van deze pagina, live in je eigen browser.
$ Zie in twee minuten waar je shop staat.
De scan is gratis en vrijblijvend. Je krijgt direct een rapport met je score en de belangrijkste verbeteringen.