O que faz
O Data Enricher ajuda as lojas online a completar a informação dos seus produtos. Quando uma loja pergunta por um produto (um EAN ou um nome de produto), pesquisamos na web e lemos algumas páginas públicas de produtos para encontrar os factos, tais como especificações e dimensões. Não copiamos os seus textos: a IA escreve novos textos com base nos factos.
Como se comporta
- Segue o robots.txt, incluindo regras Disallow, Crawl-delay e Request-rate.
- Lê apenas páginas públicas de produtos que um motor de busca mostra para um único produto, nunca websites inteiros, e nunca inicia sessão, preenche formulários ou faz encomendas.
- Lê no máximo algumas páginas por site de cada vez, com um limite fixo por site por minuto.
- Um site que responda com 403, 429 ou um controlo de bots é deixado em paz durante horas e, após algumas vezes, permanentemente.
- Os produtos encontrados anteriormente são obtidos a partir da nossa própria cache, para que a mesma página não seja lida repetidamente.
Como o reconhece
O crawler diz sempre quem é e nunca se faz passar por um navegador.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - Endereços IP:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Limitar ou bloquear
Pretende bloquear o crawler para todo o seu site? Adicione isto ao seu robots.txt:
User-agent: DataEnricher
Disallow: /
Ou peça mais tempo entre duas páginas (em segundos):
User-agent: DataEnricher
Crawl-delay: 10
Dúvidas ou problemas
Algo não está certo, ou quer que ignoremos (uma parte do) seu site? Envie-nos um email e resolveremos rapidamente: info@mark-app.com