Co dělá
Data Enricher pomáhá e-shopům doplnit informace o produktech. Když se shop zeptá na produkt (EAN nebo název produktu), prohledáme web a přečteme několik veřejných stránek produktů, abychom našli fakta, jako jsou specifikace a rozměry. Vaše texty nekopírujeme: AI píše nové texty na základě faktů.
Jak se chová
- Dodržuje soubor robots.txt, včetně pravidel Disallow, Crawl-delay a Request-rate.
- Čte pouze veřejné produktové stránky, které vyhledávač zobrazuje pro jeden produkt, nikdy celé weby, a nikdy se nepřihlašuje, nevyplňuje formuláře ani nezadává objednávky.
- Na každém webu čte naráz maximálně několik stránek s pevným limitem pro jeden web za minutu.
- Web, který odpovídá kódem 403, 429 nebo bot-checkem, necháme na pokoji po dobu několika hodin a po několika pokusech natrvalo.
- Produkty nalezené dříve získáváme z naší vlastní mezipaměti, takže se stejná stránka nečte stále dokola.
Jak ho poznáte
Crawler vždy říká, kdo je, a nikdy se vydává za prohlížeč.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - IP adresy:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Omezení nebo zablokování
Chcete crawler zablokovat pro celý svůj web? Vložte do svého souboru robots.txt toto:
User-agent: DataEnricher
Disallow: /
Nebo požádejte o delší pauzu mezi dvěma stránkami (v sekundách):
User-agent: DataEnricher
Crawl-delay: 10
Otázky nebo problémy
Něco není v pořádku nebo chcete, abychom vynechali (část) vašeho webu? Napište nám e-mail a my to rychle vyřešíme: info@mark-app.com