Data Enricher 크롤러

로그에서 DataEnricher를 발견하셨나요? 당사가 누구인지, 크롤러의 역할은 무엇인지, 제한하거나 차단하는 방법을 여기서 확인하세요.

수행하는 역할

Data Enricher는 웹샵이 제품 정보를 완성할 수 있도록 돕습니다. 샵에서 제품(EAN 또는 상품명)을 조회하면, 웹을 검색하고 몇 가지 공개된 제품 페이지를 읽어 사양 및 치수 같은 팩트를 찾습니다. 텍스트를 그대로 복사하지 않으며, AI가 팩트를 기반으로 새로운 텍스트를 작성합니다.

동작 방식

  • Disallow 규칙, Crawl-delay 및 Request-rate를 포함하여 robots.txt를 준수합니다.
  • 검색엔진이 단일 제품에 대해 보여주는 공개 제품 페이지마저 읽을 뿐 전체 웹사이트는 절대 읽지 않으며, 로그인하거나 양식을 작성하거나 주문하지 않습니다.
  • 사이트당 분당 고정 제한을 두고, 한 번에 사이트당 몇 페이지만 읽습니다.
  • 403, 429 또는 봇 검사로 응답하는 사이트는 몇 시간 동안 방문하지 않으며, 몇 차례 반복되면 영구히 방문하지 않습니다.
  • 이전에 찾은 제품은 자체 캐시에서 가져오므로 동일한 페이지를 계속해서 다시 읽지 않습니다.

식별 방법

크롤러는 항상 자신의 정체를 밝히며 브라우저로 위장하지 않습니다.

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • IP 주소: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

제한 또는 차단

사이트 전체에서 크롤러를 차단하시겠습니까? robots.txt에 다음을 추가하세요:

User-agent: DataEnricher
Disallow: /

또는 두 페이지 사이의 간격을 더 길게 요청하세요(초 단위):

User-agent: DataEnricher
Crawl-delay: 10

문의 또는 문제

문제가 있거나 사이트(의 일부)를 건너뛰도록 요청하고 싶으신가요? 이메일을 보내주시면 신속하게 처리해 드리겠습니다: info@mark-app.com