Ce face
Data Enricher ajută magazinele online să-și completeze informațiile despre produse. Când un magazin solicită un produs (un EAN sau denumirea unui produs), căutăm pe web și citim câteva pagini publice de produse pentru a găsi faptele, cum ar fi specificațiile și dimensiunile. Nu copiem textele tale: inteligența artificială scrie texte noi pe baza faptelor.
Cum se comportă
- Respectă fișierul robots.txt, inclusiv regulile Disallow, Crawl-delay și Request-rate.
- Citește doar pagini publice de produse pe care un motor de căutare le afișează pentru un singur produs, niciodată site-uri întregi, și nu se autentifică niciodată, nu completează formulare și nu plasează comenzi.
- Citește cel mult câteva pagini pe site simultan, cu o limită fixă pe site pe minut.
- Un site care răspunde cu 403, 429 sau cu o verificare bot este lăsat în pace timp de ore întregi, iar după câteva încercări, definitiv.
- Produsele găsite anterior sunt preluate din propria noastre cache, astfel încât aceeași pagină să nu fie citită în mod repetat.
Cum îl recunoști
Crawlerul spune întotdeauna cine este și nu se dă niciodată drept browser.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - Adrese IP:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
Limitare sau blocare
Vrei să blochezi crawlerul pentru întregul tău site? Adaugă acest lucru în fișierul tău robots.txt:
User-agent: DataEnricher
Disallow: /
Sau solicită mai mult timp între două pagini (în secunde):
User-agent: DataEnricher
Crawl-delay: 10
Întrebări sau probleme
Ceva nu este în regulă sau vrei să ocolim (o parte din) site-ul tău? Trimite-ne un e-mail și vom rezolva rapid: info@mark-app.com