Der Data Enricher-Crawler

Siehst du DataEnricher in deinen Logs? Hier erfährst du, wer wir sind, was unser Crawler tut und wie du ihn einschränken oder blockieren kannst.

Was er tut

Data Enricher hilft Onlineshops, ihre Produktinformationen zu vervollständigen. Wenn ein Shop nach einem Produkt fragt (einer EAN oder einem Produktnamen), suchen wir im Web und lesen einige öffentliche Produktseiten, um die Fakten wie Spezifikationen und Abmessungen zu finden. Wir kopieren deine Texte nicht: Die KI schreibt neue Texte auf Basis der Fakten.

Wie er sich verhält

  • Er befolgt robots.txt, einschließlich Disallow-Regeln, Crawl-delay und Request-rate.
  • Er liest nur öffentliche Produktseiten, die eine Suchmaschine für ein einzelnes Produkt anzeigt, niemals ganze Websites, und er loggt sich nie ein, füllt keine Formulare aus und gibt keine Bestellungen auf.
  • Er liest höchstens ein paar Seiten pro Website gleichzeitig, mit einem festen Limit pro Website und Minute.
  • Eine Website, die mit 403, 429 oder einer Bot-Prüfung antwortet, wird stundenlang in Ruhe gelassen und nach einigen Malen dauerhaft.
  • Produkte, die wir zuvor gefunden haben, rufen wir aus unserem eigenen Cache ab, damit dieselbe Seite nicht immer wieder gelesen wird.

Wie du ihn erkennst

Der Crawler gibt immer an, wer er ist, und gibt sich nie als Browser aus.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • IP-Adressen: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

Einschränken oder blockieren

Möchtest du den Crawler für deine gesamte Website blockieren? Füge dies zu deiner robots.txt hinzu:

User-agent: DataEnricher
Disallow: /

Oder fordere mehr Zeit zwischen zwei Seiten an (in Sekunden):

User-agent: DataEnricher
Crawl-delay: 10

Fragen oder Probleme

Stimmt etwas nicht oder möchtest du, dass wir (einen Teil) deiner Website überspringen? Mail uns, dann regeln wir das schnell: info@mark-app.com