Что он делает
Data Enricher помогает интернет-магазинам дополнять информацию о товарах. Когда магазин запрашивает товар (по EAN или названию), мы ищем в сети и читаем несколько общедоступных страниц товаров, чтобы найти факты, такие как характеристики и размеры. Мы не копируем ваши тексты: ИИ пишет новые тексты на основе фактов.
Как он работает
- Он следует правилам robots.txt, включая правила Disallow, Crawl-delay и Request-rate.
- Он читает только общедоступные страницы товаров, которые поисковая система показывает для одного товара, никогда не сканирует целые сайты, не входит в систему, не заполняет формы и не размещает заказы.
- Он читает не более нескольких страниц сайта одновременно, с фиксированным лимитом на сайт в минуту.
- Сайт, который отвечает кодом 403, 429 или проверкой на бота, оставляется в покое на часы, а после нескольких раз — навсегда.
- Найденные ранее товары берутся из нашего собственного кеша, чтобы одна и та же страница не читалась снова и снова.
Как его узнать
Кроулер всегда заявляет о себе и никогда не маскируется под браузер.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - IP-адреса:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Ограничение или блокировка
Хотите заблокировать кроулер для всего сайта? Добавьте это в свой robots.txt:
User-agent: DataEnricher
Disallow: /
Или запросите больше времени между двумя страницами (в секундах):
User-agent: DataEnricher
Crawl-delay: 10
Вопросы или проблемы
Что-то не так или вы хотите, чтобы мы не посещали (часть) вашего сайта? Напишите нам, и мы быстро всё решим: info@mark-app.com