O crawler do Data Enricher

Vê o DataEnricher nos seus registos? Aqui pode ler quem somos, o que o nosso crawler faz e como o pode limitar ou bloquear.

O que faz

O Data Enricher ajuda as lojas online a completar a informação dos seus produtos. Quando uma loja pergunta por um produto (um EAN ou um nome de produto), pesquisamos na web e lemos algumas páginas públicas de produtos para encontrar os factos, tais como especificações e dimensões. Não copiamos os seus textos: a IA escreve novos textos com base nos factos.

Como se comporta

  • Segue o robots.txt, incluindo regras Disallow, Crawl-delay e Request-rate.
  • Lê apenas páginas públicas de produtos que um motor de busca mostra para um único produto, nunca websites inteiros, e nunca inicia sessão, preenche formulários ou faz encomendas.
  • Lê no máximo algumas páginas por site de cada vez, com um limite fixo por site por minuto.
  • Um site que responda com 403, 429 ou um controlo de bots é deixado em paz durante horas e, após algumas vezes, permanentemente.
  • Os produtos encontrados anteriormente são obtidos a partir da nossa própria cache, para que a mesma página não seja lida repetidamente.

Como o reconhece

O crawler diz sempre quem é e nunca se faz passar por um navegador.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • Endereços IP: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Limitar ou bloquear

Pretende bloquear o crawler para todo o seu site? Adicione isto ao seu robots.txt:

User-agent: DataEnricher
Disallow: /

Ou peça mais tempo entre duas páginas (em segundos):

User-agent: DataEnricher
Crawl-delay: 10

Dúvidas ou problemas

Algo não está certo, ou quer que ignoremos (uma parte do) seu site? Envie-nos um email e resolveremos rapidamente: info@mark-app.com