# saunatime.jp robots.txt (2026-08-18 整備) # # 方針: # - 検索エンジン(Google/Bing等)と大手AIクローラー(GPTBot, OAI-SearchBot, # ChatGPT-User, ClaudeBot, Claude-User, Google-Extended, PerplexityBot, # Applebot 等)のクロールを歓迎する。 # - ただし検索結果ページ(組み合わせが無限で、検索エンジンサーバーに # 高負荷をかける)へのクロールだけは全ボット共通で制限する。 # 施設ページ・都道府県/市区町村ページ・記事はすべてクロール可。 # - AI向けのサイト案内は https://saunatime.jp/llms.txt を参照。 User-agent: * Disallow: /search Disallow: /suggest/ Disallow: /users/ # --- 以下は robots.txt を無視しがちな高負荷ボット・SEO調査ボット --- # (nginx側でも遮断済み。ここは宣言として残す) User-agent: Bytespider Disallow: / User-agent: PetalBot Disallow: / User-agent: SemrushBot Disallow: / User-agent: AhrefsBot Disallow: / User-agent: MJ12bot Disallow: / User-agent: DotBot Disallow: / User-agent: DataForSeoBot Disallow: / Sitemap: https://saunatime.jp/sitemap.xml.gz