Data Enricherクローラー

ログにDataEnricherが表示されていますか?ここでは私たちが何者であるか、クローラーの動作、そして制限・ブロック方法について説明します。

動作について

Data Enricherは、ウェブショップの商品情報を補完するサポートをします。ショップから商品(EANや商品名)についての問い合わせがあると、ウェブを検索し、仕様や寸法などの事実を見つけるために公開されているいくつかの商品ページを読み込みます。文章のコピーはせず、AIが事実をもとに新しい文章を作成します。

挙動について

  • Disallowルール、Crawl-delay、Request-rateを含め、robots.txtに従います。
  • 検索エンジンが1つの商品に対して表示する公開商品ページのみを読み込み、ウェブサイト全体を読み込むことはありません。また、ログイン、フォームの入力、注文の実行を行うことは決してありません。
  • サイトごとに1分あたりの固定制限を設け、1サイトにつき一度に最大数ページのみを読み込みます。
  • 403、429、またはボットチェックで応答するサイトは数時間アクセスせず、何度か続いた場合は永久にアクセスしません。
  • 以前に見つかった商品は独自のキャッシュから取得されるため、同じページが繰り返し読み込まれることはありません。

識別方法

クローラーは常に自身の身元を明かし、ブラウザを装うことはありません。

  • User-Agent: DataEnricher/1.0 (+https://data-enricher.com/en/bot)
  • From: info@mark-app.com
  • IPアドレス: 188.245.8.38, 2a01:4f8:c014:25c4::1
  • Reverse DNS: crawler.data-enricher.com

制限またはブロックする

サイト全体でクローラーをブロックしたいですか?robots.txtに以下を追加してください:

User-agent: DataEnricher
Disallow: /

または、ページ間の時間を増やすよう要求します(秒単位):

User-agent: DataEnricher
Crawl-delay: 10

ご質問・トラブル

おかしな点がある場合や、サイト(の一部)へのアクセスを避けてほしい場合は、メールでお知らせください。迅速に対応いたします: info@mark-app.com