Data Enricher-crawleren

Ser du DataEnricher i dine logfiler? Her kan du læse, hvem vi er, hvad vores crawler gør, og hvordan du begrænser eller blokerer den.

Hvad den gør

Data Enricher hjælper webshops med at fuldende deres produktinformation. Når en shop forespørger et produkt (en EAN eller et produktnavn), søger vi på nettet og læser et par offentlige produktsider for at finde fakta som specifikationer og dimensioner. Vi kopierer ikke dine tekster: AI'en skriver nye tekster på baggrund af fakta.

Hvordan den opfører sig

  • Den følger robots.txt, herunder Disallow-regler, Crawl-delay og Request-rate.
  • Den læser kun offentlige produktsider, som en søgemaskine viser for ét enkelt produkt, aldrig hele websteder, og den logger aldrig ind, udfylder formularer eller afgiver ordrer.
  • Den læser højst et par sider pr. websted ad gangen med en fast grænse pr. websted pr. minut.
  • Et websted, der svarer med 403, 429 eller et bot-tjek, lades være i fred i flere timer, og efter et par gange for bestandigt.
  • Produkter, som vi fandt tidligere, hentes fra vores egen cache, så den samme side ikke læses igen og igen.

Hvordan du genkender den

Crawleren oplyser altid, hvem den er, og udgiver sig aldrig for at være en browser.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • IP-adresser: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Begræns eller bloker

Vil du blokere crawleren for hele dit websted? Tilføj dette til din robots.txt:

User-agent: DataEnricher
Disallow: /

Eller anmod om mere tid mellem to sider (i sekunder):

User-agent: DataEnricher
Crawl-delay: 10

Spørgsmål eller problemer

Er noget ikke korrekt, eller vil du have, at vi springer (en del af) dit websted over? Send os en e-mail, så ordner vi det hurtigt: info@mark-app.com