수행하는 역할
Data Enricher는 웹샵이 제품 정보를 완성할 수 있도록 돕습니다. 샵에서 제품(EAN 또는 상품명)을 조회하면, 웹을 검색하고 몇 가지 공개된 제품 페이지를 읽어 사양 및 치수 같은 팩트를 찾습니다. 텍스트를 그대로 복사하지 않으며, AI가 팩트를 기반으로 새로운 텍스트를 작성합니다.
동작 방식
- Disallow 규칙, Crawl-delay 및 Request-rate를 포함하여 robots.txt를 준수합니다.
- 검색엔진이 단일 제품에 대해 보여주는 공개 제품 페이지마저 읽을 뿐 전체 웹사이트는 절대 읽지 않으며, 로그인하거나 양식을 작성하거나 주문하지 않습니다.
- 사이트당 분당 고정 제한을 두고, 한 번에 사이트당 몇 페이지만 읽습니다.
- 403, 429 또는 봇 검사로 응답하는 사이트는 몇 시간 동안 방문하지 않으며, 몇 차례 반복되면 영구히 방문하지 않습니다.
- 이전에 찾은 제품은 자체 캐시에서 가져오므로 동일한 페이지를 계속해서 다시 읽지 않습니다.
식별 방법
크롤러는 항상 자신의 정체를 밝히며 브라우저로 위장하지 않습니다.
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - IP 주소:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
제한 또는 차단
사이트 전체에서 크롤러를 차단하시겠습니까? robots.txt에 다음을 추가하세요:
User-agent: DataEnricher
Disallow: /
또는 두 페이지 사이의 간격을 더 길게 요청하세요(초 단위):
User-agent: DataEnricher
Crawl-delay: 10
문의 또는 문제
문제가 있거나 사이트(의 일부)를 건너뛰도록 요청하고 싶으신가요? 이메일을 보내주시면 신속하게 처리해 드리겠습니다: info@mark-app.com