Wat hij doet
Data Enricher helpt webshops hun productinformatie compleet te maken. Als een shop naar een product vraagt (een EAN of een productnaam), zoeken we op het web en lezen we een paar openbare productpagina's om de feiten te vinden, zoals specificaties en afmetingen. We kopiëren je teksten niet: de AI schrijft nieuwe teksten op basis van de feiten.
Hoe hij zich gedraagt
- Hij volgt robots.txt, ook Disallow-regels, Crawl-delay en Request-rate.
- Hij leest alleen openbare productpagina's die een zoekmachine voor één product toont, nooit hele websites, en hij logt nooit in, vult geen formulieren in en plaatst geen bestellingen.
- Hij leest hooguit een paar pagina's per site tegelijk, met een vaste grens per site per minuut.
- Een site die antwoordt met 403, 429 of een botcontrole laten we urenlang met rust, en na een paar keer voorgoed.
- Producten die we eerder vonden, halen we uit onze eigen cache, zodat dezelfde pagina niet steeds opnieuw wordt gelezen.
Hoe je hem herkent
De crawler zegt altijd wie hij is en doet zich nooit voor als browser.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - IP-adressen:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Beperken of blokkeren
Wil je de crawler voor je hele site blokkeren? Zet dit in je robots.txt:
User-agent: DataEnricher
Disallow: /
Of vraag om meer tijd tussen twee pagina's (in seconden):
User-agent: DataEnricher
Crawl-delay: 10
Vragen of problemen
Klopt er iets niet, of wil je dat we (een deel van) je site overslaan? Mail ons, dan regelen we het snel: info@mark-app.com