Il crawler di Data Enricher

Hai visto DataEnricher nei tuoi log? Qui spieghiamo chi siamo, cosa fa il nostro crawler e come puoi limitarlo o bloccarlo.

Cosa fa

Data Enricher aiuta i negozi online a completare le informazioni sui loro prodotti. Quando un negozio richiede un prodotto (un EAN o il nome di un prodotto), cerchiamo sul Web e leggiamo alcune pagine di prodotti pubbliche per trovare i fatti, come specifiche e dimensioni. Non copiamo i tuoi testi: l'IA scrive nuovi testi basandosi sui fatti.

Come si comporta

  • Rispetta robots.txt, comprese le regole Disallow, Crawl-delay e Request-rate.
  • Legge solo pagine di prodotti pubbliche che un motore di ricerca mostra per un singolo prodotto, mai interi siti web, e non effettua mai accessi, non compila moduli e non effettua ordini.
  • Legge al massimo poche pagine per sito alla volta, con un limite fisso per sito al minuto.
  • Un sito che risponde con 403, 429 o un controllo bot viene ignorato per ore e, dopo qualche volta, definitivamente.
  • I prodotti trovati in precedenza vengono presi dalla nostra cache, in modo che la stessa pagina non venga letta continuamente.

Come riconoscerlo

Il crawler dichiara sempre chi è e non si spaccia mai per un browser.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • Indirizzi IP: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Limitarlo o bloccarlo

Vuoi bloccare il crawler per l'intero sito? Aggiungi questo al tuo robots.txt:

User-agent: DataEnricher
Disallow: /

O richiedi più tempo tra due pagine (in secondi):

User-agent: DataEnricher
Crawl-delay: 10

Domande o problemi

C'è qualcosa che non va o desideri che saltiamo (una parte del) tuo sito? Scrivici e risolveremo rapidamente: info@mark-app.com