# 以下のクローラは許可しません。
User-agent: Yetibot
User-agent: baiduspider
User-agent: baiduimagespider
User-agent: Bytespider
User-agent: TikTokSpider
User-agent: MJ12bot
User-agent: GPTBot
Disallow: /

# アクセス頻度の多いクローラーは制限します。

# 頻度の制限（秒単位）
User-agent: bingbot
User-agent: Applebot
User-agent: HeadlessChrome
Crawl-delay: 5


User-agent: SemrushBot
Crawl-delay: 10

#生成AI系クローラー
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: PerplexityBot
User-agent: newsai
User-agent: OAI-SearchBot
Crawl-delay: 20

# 頻度の制限（分単位）です。
#User-agent: Slurp
#Crawl-delay: 0.1