Data Enricher-crawlern

Ser du DataEnricher i dina loggar? Här kan du läsa om vilka vi är, vad vår crawler gör och hur du begränsar eller blockerar den.

Vad den gör

Data Enricher hjälper webbshoppar att komplettera sin produktinformation. När en shop frågar efter en produkt (en EAN eller ett produktnamn) söker vi på webben och läser ett fåtal publika produktsidor för att hitta fakta som specifikationer och mått. Vi kopierar inte dina texter: AI:n skriver nya texter utifrån faktan.

Hur den beter sig

  • Den följer robots.txt, inklusive Disallow-regler, Crawl-delay och Request-rate.
  • Den läser bara publika produktsidor som en sökmotor visar för en enskild produkt, aldrig hela webbplatser, och den loggar aldrig in, fyller i formulär eller lägger beställningar.
  • Den läser som mest några få sidor per sajt samtidigt, med en fast gräns per sajt och minut.
  • En sajt som svarar med 403, 429 eller en bot-kontroll lämnas i fred i timmar, och efter några gånger för gott.
  • Produkter vi hittat tidigare hämtas från vår egen cache, så att samma sida inte läses om och om igen.

Hur du känner igen den

Crawlern berättar alltid vem den är och utger sig aldrig för att vara en webbläsare.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • IP-adresser: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Begränsa eller blockera

Vill du blockera crawlern för hela din sajt? Lägg till detta i din robots.txt:

User-agent: DataEnricher
Disallow: /

Eller be om mer tid mellan två sidor (i sekunder):

User-agent: DataEnricher
Crawl-delay: 10

Frågor eller problem

Stämmer något inte, eller vill du att vi hoppar över (en del av) din sajt? Maila oss så ordnar vi det snabbt: info@mark-app.com