saichoku-bot について
採用直行便は、医療機関の公式サイトを自動で巡回して採用ページの所在を確認しています。巡回に使うクローラーは次の User-Agent を名乗ります。
saichoku-bot/1.0 (+https://saichoku.com/about-bot)
巡回の作法
robots.txtに従います。Disallowの指定があるページは取得しません。- 同じサイトへのアクセスは1秒に1回以下に抑えます。
- 取得するのは、トップページ・robots.txt・sitemap.xml と、採用ページの候補となる数ページだけです。
- ページの本文は保存しません。保存するのは、採用ページのURL、応募手段(フォーム・メール・電話)の有無、確認日、本文の変化を検知するための要約値(ハッシュ)のみです。
- 採用ページを見つけたあとは、そのURLだけを1日1回確認します。
巡回を止めたい場合
robots.txt に次の2行を加えていただければ、以後は取得しません。
User-agent: saichoku-bot
Disallow: / あわせて掲載中止のご依頼をいただければ、一覧からも外します。