它的作用
Data Enricher 帮助网店完善产品信息。当网店查询某个产品(EAN 或产品名称)时,我们会在网络上搜索并阅读几个公开的产品页面,以查找规格和尺寸等事实信息。我们不会复制您的文本:AI 会根据这些事实信息撰写新文本。
它的行为特征
- 它遵循 robots.txt,包括 Disallow 规则、Crawl-delay 和 Request-rate。
- 它仅读取搜索引擎为一个产品显示的公开产品页面,绝不抓取整个网站,也绝不登录、填写表单或下订单。
- 它同时最多只读取每个网站的几个页面,且对每个网站每分钟的请求数设有固定限制。
- 对于返回 403、429 或人机验证的网站,我们会将其搁置数小时;若多次出现,则永久不再访问。
- 我们之前找到的产品直接取自我们自己的缓存,因此不会重复读取同一页面。
如何识别它
该爬虫总是表明自己的身份,绝不伪装成浏览器。
- User-Agent:
DataEnricher/1.0 (+https://data-enricher.com/en/bot) - From:
info@mark-app.com - IP 地址:
188.245.8.38,2a01:4f8:c014:25c4::1 - Reverse DNS:
crawler.data-enricher.com
限制或阻止
想要为整个网站阻止该爬虫?请将以下内容添加到您的 robots.txt 中:
User-agent: DataEnricher
Disallow: /
或者要求增加两个页面之间的间隔时间(以秒为单位):
User-agent: DataEnricher
Crawl-delay: 10
疑问或问题
发现任何异常,或者希望我们避开您的网站(或部分网页)?请给我们发邮件,我们将迅速处理: info@mark-app.com