Vad den gör
Data Enricher hjälper webbshoppar att komplettera sin produktinformation. När en shop frågar efter en produkt (en EAN eller ett produktnamn) söker vi på webben och läser ett fåtal publika produktsidor för att hitta fakta som specifikationer och mått. Vi kopierar inte dina texter: AI:n skriver nya texter utifrån faktan.
Hur den beter sig
- Den följer robots.txt, inklusive Disallow-regler, Crawl-delay och Request-rate.
- Den läser bara publika produktsidor som en sökmotor visar för en enskild produkt, aldrig hela webbplatser, och den loggar aldrig in, fyller i formulär eller lägger beställningar.
- Den läser som mest några få sidor per sajt samtidigt, med en fast gräns per sajt och minut.
- En sajt som svarar med 403, 429 eller en bot-kontroll lämnas i fred i timmar, och efter några gånger för gott.
- Produkter vi hittat tidigare hämtas från vår egen cache, så att samma sida inte läses om och om igen.
Hur du känner igen den
Crawlern berättar alltid vem den är och utger sig aldrig för att vara en webbläsare.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - IP-adresser:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Begränsa eller blockera
Vill du blockera crawlern för hela din sajt? Lägg till detta i din robots.txt:
User-agent: DataEnricher
Disallow: /
Eller be om mer tid mellan två sidor (i sekunder):
User-agent: DataEnricher
Crawl-delay: 10
Frågor eller problem
Stämmer något inte, eller vill du att vi hoppar över (en del av) din sajt? Maila oss så ordnar vi det snabbt: info@mark-app.com