Co robi
Data Enricher pomaga sklepom internetowym uzupełnić informacje o produktach. Gdy sklep pyta o produkt (EAN lub nazwę produktu), przeszukujemy internet i czytamy kilka publicznych stron produktów, aby znaleźć fakty, takie jak specyfikacje i wymiary. Nie kopiujemy Twoich tekstów: sztuczna inteligencja pisze nowe teksty na podstawie faktów.
Jak się zachowuje
- Przestrzega pliku robots.txt, w tym reguł Disallow, Crawl-delay i Request-rate.
- Czyta tylko publiczne strony produktów, które wyszukiwarka pokazuje dla jednego produktu, nigdy całe strony internetowe, i nigdy się nie loguje, nie wypełnia formularzy ani nie składa zamówień.
- Czyta co najwyżej kilka stron na raz w jednej witrynie, z ustalonym limitem na witrynę na minutę.
- Witrynę, która odpowiada kodem 403, 429 lub weryfikacją bota, zostawiamy w spokoju na wiele godzin, a po kilku razy na zawsze.
- Produkty znalezione wcześniej pobieramy z własnej pamięci podręcznej, dzięki czemu ta sama strona nie jest czytana w kółko.
Jak go rozpoznać
Crawler zawsze mówi, kim jest, i nigdy nie podszywa się pod przeglądarkę.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - Adresy IP:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Ograniczenie lub blokowanie
Chcesz zablokować crawler dla całej swojej witryny? Dodaj to do swojego pliku robots.txt:
User-agent: DataEnricher
Disallow: /
Lub poproś o większy odstęp czasu między dwiema stronami (w sekundach):
User-agent: DataEnricher
Crawl-delay: 10
Pytania lub problemy
Coś jest nie tak lub chcesz, abyśmy omijali (część) Twojej witryny? Napisz do nas, a szybko to rozwiążemy: info@mark-app.com