Data Enricher 爬虫

在日志中看到了 DataEnricher?这里介绍了我们是谁、我们的爬虫有何作用,以及您该如何限制或阻止它。

它的作用

Data Enricher 帮助网店完善产品信息。当网店查询某个产品(EAN 或产品名称)时,我们会在网络上搜索并阅读几个公开的产品页面,以查找规格和尺寸等事实信息。我们不会复制您的文本:AI 会根据这些事实信息撰写新文本。

它的行为特征

  • 它遵循 robots.txt,包括 Disallow 规则、Crawl-delay 和 Request-rate。
  • 它仅读取搜索引擎为一个产品显示的公开产品页面,绝不抓取整个网站,也绝不登录、填写表单或下订单。
  • 它同时最多只读取每个网站的几个页面,且对每个网站每分钟的请求数设有固定限制。
  • 对于返回 403、429 或人机验证的网站,我们会将其搁置数小时;若多次出现,则永久不再访问。
  • 我们之前找到的产品直接取自我们自己的缓存,因此不会重复读取同一页面。

如何识别它

该爬虫总是表明自己的身份,绝不伪装成浏览器。

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • IP 地址: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

限制或阻止

想要为整个网站阻止该爬虫?请将以下内容添加到您的 robots.txt 中:

User-agent: DataEnricher
Disallow: /

或者要求增加两个页面之间的间隔时间(以秒为单位):

User-agent: DataEnricher
Crawl-delay: 10

疑问或问题

发现任何异常,或者希望我们避开您的网站(或部分网页)?请给我们发邮件,我们将迅速处理: info@mark-app.com