Кроулер Data Enricher

Заметили DataEnricher в своих логах? Здесь рассказано, кто мы, что делает наш кроулер и как вы можете его ограничить или заблокировать.

Что он делает

Data Enricher помогает интернет-магазинам дополнять информацию о товарах. Когда магазин запрашивает товар (по EAN или названию), мы ищем в сети и читаем несколько общедоступных страниц товаров, чтобы найти факты, такие как характеристики и размеры. Мы не копируем ваши тексты: ИИ пишет новые тексты на основе фактов.

Как он работает

  • Он следует правилам robots.txt, включая правила Disallow, Crawl-delay и Request-rate.
  • Он читает только общедоступные страницы товаров, которые поисковая система показывает для одного товара, никогда не сканирует целые сайты, не входит в систему, не заполняет формы и не размещает заказы.
  • Он читает не более нескольких страниц сайта одновременно, с фиксированным лимитом на сайт в минуту.
  • Сайт, который отвечает кодом 403, 429 или проверкой на бота, оставляется в покое на часы, а после нескольких раз — навсегда.
  • Найденные ранее товары берутся из нашего собственного кеша, чтобы одна и та же страница не читалась снова и снова.

Как его узнать

Кроулер всегда заявляет о себе и никогда не маскируется под браузер.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • IP-адреса: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Ограничение или блокировка

Хотите заблокировать кроулер для всего сайта? Добавьте это в свой robots.txt:

User-agent: DataEnricher
Disallow: /

Или запросите больше времени между двумя страницами (в секундах):

User-agent: DataEnricher
Crawl-delay: 10

Вопросы или проблемы

Что-то не так или вы хотите, чтобы мы не посещали (часть) вашего сайта? Напишите нам, и мы быстро всё решим: info@mark-app.com