Le robot d'indexation de Data Enricher

Vous voyez DataEnricher dans vos journaux ? Découvrez ici qui nous sommes, ce que fait notre robot et comment vous pouvez le limiter ou le bloquer.

Ce qu'il fait

Data Enricher aide les boutiques en ligne à compléter leurs informations produit. Lorsqu'une boutique recherche un produit (un EAN ou un nom de produit), nous effectuons une recherche sur le Web et lisons quelques pages de produits publiques pour trouver les faits, tels que les caractéristiques et les dimensions. Nous ne copions pas vos textes : l'IA rédige de nouveaux textes à partir des faits.

Comment il se comporte

  • Il respecte robots.txt, y compris les règles Disallow, Crawl-delay et Request-rate.
  • Il lit uniquement les pages de produits publiques qu'un moteur de recherche affiche pour un seul produit, jamais des sites entiers, et il ne se connecte jamais, ne remplit aucun formulaire et ne passe aucune commande.
  • Il lit tout au plus quelques pages par site à la fois, avec une limite fixe par site et par minute.
  • Un site qui répond par 403, 429 ou un contrôle anti-robot est laissé tranquille pendant des heures, et définitivement après quelques tentatives.
  • Les produits trouvés précédemment sont récupérés depuis notre propre cache, afin de ne pas relire sans cesse la même page.

Comment le reconnaître

Le robot indique toujours qui il est et ne se fait jamais passer pour un navigateur.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • Adresses IP: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Limiter ou bloquer

Vous souhaitez bloquer le robot pour l'ensemble de votre site ? Ajoutez ceci à votre fichier robots.txt :

User-agent: DataEnricher
Disallow: /

Ou demandez plus de temps entre deux pages (en secondes) :

User-agent: DataEnricher
Crawl-delay: 10

Questions ou problèmes

Quelque chose ne va pas, ou vous souhaitez que nous ignorions tout ou partie de votre site ? Envoyez-nous un e-mail et nous réglerons cela rapidement : info@mark-app.com