User-agent: *
# 会員・店舗向けの画面は Disallow せず、X-Robots-Tag: noindex で弾く
# (NoindexPrivateAreaMiddleware)。Disallow はクロールを止めるだけで登録は止められず、
# ログイン導線の ?next= 経由で URL を知られると「robots.txt によりブロックされましたが、
# インデックスに登録しました」になる。noindex はクロールできて初めて効く。
Disallow: /api/
Disallow: /djadmin/
Disallow: /dashboard/
# タップ開封で初めて写真を返す画像ゲート系エンドポイント (SafeSearch 対策・issue #987)
Disallow: /timeline/widget/
Disallow: /ranking/deck/
Disallow: /ranking/vip-fan/
Disallow: /ranking/featured/
Disallow: /ranking/card/
Disallow: /ranking/concierge/
# Cloudflare の画像変換 (/cdn-cgi/image/) は「元画像 × パラメータ」を暦月ごとに課金するため、
# クローラーが毎月全画像をなめると数え直しになる (issue #1771)。og:image は R2 の直 URL
# (media.men-esthe.co.jp) なので、ここで止めても SNS のプレビューには影響しない
Disallow: /cdn-cgi/

# PostHog の画像取得ボット。検索には関係せず、画像変換の取得の最大の出元だった (issue #1771)
User-agent: PostHogImageFetcherBot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

Sitemap: https://men-esthe.co.jp/sitemap.xml