Hvad den gør
Data Enricher hjælper webshops med at fuldende deres produktinformation. Når en shop forespørger et produkt (en EAN eller et produktnavn), søger vi på nettet og læser et par offentlige produktsider for at finde fakta som specifikationer og dimensioner. Vi kopierer ikke dine tekster: AI'en skriver nye tekster på baggrund af fakta.
Hvordan den opfører sig
- Den følger robots.txt, herunder Disallow-regler, Crawl-delay og Request-rate.
- Den læser kun offentlige produktsider, som en søgemaskine viser for ét enkelt produkt, aldrig hele websteder, og den logger aldrig ind, udfylder formularer eller afgiver ordrer.
- Den læser højst et par sider pr. websted ad gangen med en fast grænse pr. websted pr. minut.
- Et websted, der svarer med 403, 429 eller et bot-tjek, lades være i fred i flere timer, og efter et par gange for bestandigt.
- Produkter, som vi fandt tidligere, hentes fra vores egen cache, så den samme side ikke læses igen og igen.
Hvordan du genkender den
Crawleren oplyser altid, hvem den er, og udgiver sig aldrig for at være en browser.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - IP-adresser:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Begræns eller bloker
Vil du blokere crawleren for hele dit websted? Tilføj dette til din robots.txt:
User-agent: DataEnricher
Disallow: /
Eller anmod om mere tid mellem to sider (i sekunder):
User-agent: DataEnricher
Crawl-delay: 10
Spørgsmål eller problemer
Er noget ikke korrekt, eller vil du have, at vi springer (en del af) dit websted over? Send os en e-mail, så ordner vi det hurtigt: info@mark-app.com