Ce qu'il fait
Data Enricher aide les boutiques en ligne à compléter leurs informations produit. Lorsqu'une boutique recherche un produit (un EAN ou un nom de produit), nous effectuons une recherche sur le Web et lisons quelques pages de produits publiques pour trouver les faits, tels que les caractéristiques et les dimensions. Nous ne copions pas vos textes : l'IA rédige de nouveaux textes à partir des faits.
Comment il se comporte
- Il respecte robots.txt, y compris les règles Disallow, Crawl-delay et Request-rate.
- Il lit uniquement les pages de produits publiques qu'un moteur de recherche affiche pour un seul produit, jamais des sites entiers, et il ne se connecte jamais, ne remplit aucun formulaire et ne passe aucune commande.
- Il lit tout au plus quelques pages par site à la fois, avec une limite fixe par site et par minute.
- Un site qui répond par 403, 429 ou un contrôle anti-robot est laissé tranquille pendant des heures, et définitivement après quelques tentatives.
- Les produits trouvés précédemment sont récupérés depuis notre propre cache, afin de ne pas relire sans cesse la même page.
Comment le reconnaître
Le robot indique toujours qui il est et ne se fait jamais passer pour un navigateur.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - Adresses IP:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Limiter ou bloquer
Vous souhaitez bloquer le robot pour l'ensemble de votre site ? Ajoutez ceci à votre fichier robots.txt :
User-agent: DataEnricher
Disallow: /
Ou demandez plus de temps entre deux pages (en secondes) :
User-agent: DataEnricher
Crawl-delay: 10
Questions ou problèmes
Quelque chose ne va pas, ou vous souhaitez que nous ignorions tout ou partie de votre site ? Envoyez-nous un e-mail et nous réglerons cela rapidement : info@mark-app.com