Crawler Data Enricher

Widzisz DataEnricher w swoich logach? Dowiedz się, kim jesteśmy, co robi nasz crawler i jak możesz go ograniczyć lub zablokować.

Co robi

Data Enricher pomaga sklepom internetowym uzupełnić informacje o produktach. Gdy sklep pyta o produkt (EAN lub nazwę produktu), przeszukujemy internet i czytamy kilka publicznych stron produktów, aby znaleźć fakty, takie jak specyfikacje i wymiary. Nie kopiujemy Twoich tekstów: sztuczna inteligencja pisze nowe teksty na podstawie faktów.

Jak się zachowuje

  • Przestrzega pliku robots.txt, w tym reguł Disallow, Crawl-delay i Request-rate.
  • Czyta tylko publiczne strony produktów, które wyszukiwarka pokazuje dla jednego produktu, nigdy całe strony internetowe, i nigdy się nie loguje, nie wypełnia formularzy ani nie składa zamówień.
  • Czyta co najwyżej kilka stron na raz w jednej witrynie, z ustalonym limitem na witrynę na minutę.
  • Witrynę, która odpowiada kodem 403, 429 lub weryfikacją bota, zostawiamy w spokoju na wiele godzin, a po kilku razy na zawsze.
  • Produkty znalezione wcześniej pobieramy z własnej pamięci podręcznej, dzięki czemu ta sama strona nie jest czytana w kółko.

Jak go rozpoznać

Crawler zawsze mówi, kim jest, i nigdy nie podszywa się pod przeglądarkę.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • Adresy IP: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Ograniczenie lub blokowanie

Chcesz zablokować crawler dla całej swojej witryny? Dodaj to do swojego pliku robots.txt:

User-agent: DataEnricher
Disallow: /

Lub poproś o większy odstęp czasu między dwiema stronami (w sekundach):

User-agent: DataEnricher
Crawl-delay: 10

Pytania lub problemy

Coś jest nie tak lub chcesz, abyśmy omijali (część) Twojej witryny? Napisz do nas, a szybko to rozwiążemy: info@mark-app.com