Data Enricher-crawleren

Ser du DataEnricher i loggene dine? Her kan du lese om hvem vi er, hva crawleren vår gjør, og hvordan du kan begrense eller blokkere den.

Hva den gjør

Data Enricher hjelper nettbutikker med å fullføre produktinformasjonen sin. Når en butikk spør om et produkt (en EAN eller et produktnavn), søker vi på nettet og leser noen offentlige produktsider for å finne faktaene, som spesifikasjoner og dimensjoner. Vi kopierer ikke tekstene dine: AI-en skriver nye tekster basert på faktaene.

Hvordan den oppfører seg

  • Den følger robots.txt, inkludert Disallow-regler, Crawl-delay og Request-rate.
  • Den leser bare offentlige produktsider som en søkemotor viser for ett enkelt produkt, aldri hele nettsteder, og den logger aldri inn, fyller ikke ut skjemaer og plasserer ikke bestillinger.
  • Den leser høyst noen få sider per nettsted om gangen, med en fast grense per nettsted per minutt.
  • Et nettsted som svarer med 403, 429 eller en bot-sjekk, blir etterlatt i fred i flere timer, og permanent etter noen ganger.
  • Produkter vi fant tidligere, hentes fra vår egen cachen, slik at den samme siden ikke leses om igjen og om igjen.

Hvordan du kjenner den igjen

Crawleren sier alltid hvem den er, og utgir seg aldri for å være en nettleser.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • IP-adresser: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Begrense eller blokkere

Vil du blokkere crawleren for hele nettstedet ditt? Legg dette til i robots.txt:

User-agent: DataEnricher
Disallow: /

Eller be om mer tid mellom to sider (i sekunder):

User-agent: DataEnricher
Crawl-delay: 10

Spørsmål eller problemer

Er det noe som ikke stemmer, eller vil du at vi skal hoppe over (en del av) nettstedet ditt? Send oss en e-post, så ordner vi det raskt: info@mark-app.com