Cosa fa
Data Enricher aiuta i negozi online a completare le informazioni sui loro prodotti. Quando un negozio richiede un prodotto (un EAN o il nome di un prodotto), cerchiamo sul Web e leggiamo alcune pagine di prodotti pubbliche per trovare i fatti, come specifiche e dimensioni. Non copiamo i tuoi testi: l'IA scrive nuovi testi basandosi sui fatti.
Come si comporta
- Rispetta robots.txt, comprese le regole Disallow, Crawl-delay e Request-rate.
- Legge solo pagine di prodotti pubbliche che un motore di ricerca mostra per un singolo prodotto, mai interi siti web, e non effettua mai accessi, non compila moduli e non effettua ordini.
- Legge al massimo poche pagine per sito alla volta, con un limite fisso per sito al minuto.
- Un sito che risponde con 403, 429 o un controllo bot viene ignorato per ore e, dopo qualche volta, definitivamente.
- I prodotti trovati in precedenza vengono presi dalla nostra cache, in modo che la stessa pagina non venga letta continuamente.
Come riconoscerlo
Il crawler dichiara sempre chi è e non si spaccia mai per un browser.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - Indirizzi IP:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Limitarlo o bloccarlo
Vuoi bloccare il crawler per l'intero sito? Aggiungi questo al tuo robots.txt:
User-agent: DataEnricher
Disallow: /
O richiedi più tempo tra due pagine (in secondi):
User-agent: DataEnricher
Crawl-delay: 10
Domande o problemi
C'è qualcosa che non va o desideri che saltiamo (una parte del) tuo sito? Scrivici e risolveremo rapidamente: info@mark-app.com