Crawler Data Enricher

Vidíte DataEnricher ve svých záznamech? Zde se dozvíte, kdo jsme, co náš crawler dělá a jak ho můžete omezit nebo zablokovat.

Co dělá

Data Enricher pomáhá e-shopům doplnit informace o produktech. Když se shop zeptá na produkt (EAN nebo název produktu), prohledáme web a přečteme několik veřejných stránek produktů, abychom našli fakta, jako jsou specifikace a rozměry. Vaše texty nekopírujeme: AI píše nové texty na základě faktů.

Jak se chová

  • Dodržuje soubor robots.txt, včetně pravidel Disallow, Crawl-delay a Request-rate.
  • Čte pouze veřejné produktové stránky, které vyhledávač zobrazuje pro jeden produkt, nikdy celé weby, a nikdy se nepřihlašuje, nevyplňuje formuláře ani nezadává objednávky.
  • Na každém webu čte naráz maximálně několik stránek s pevným limitem pro jeden web za minutu.
  • Web, který odpovídá kódem 403, 429 nebo bot-checkem, necháme na pokoji po dobu několika hodin a po několika pokusech natrvalo.
  • Produkty nalezené dříve získáváme z naší vlastní mezipaměti, takže se stejná stránka nečte stále dokola.

Jak ho poznáte

Crawler vždy říká, kdo je, a nikdy se vydává za prohlížeč.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • IP adresy: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Omezení nebo zablokování

Chcete crawler zablokovat pro celý svůj web? Vložte do svého souboru robots.txt toto:

User-agent: DataEnricher
Disallow: /

Nebo požádejte o delší pauzu mezi dvěma stránkami (v sekundách):

User-agent: DataEnricher
Crawl-delay: 10

Otázky nebo problémy

Něco není v pořádku nebo chcete, abychom vynechali (část) vašeho webu? Napište nám e-mail a my to rychle vyřešíme: info@mark-app.com