# Robots.txt otimizado para To The Marketing
# Última atualização: Setembro 2024

# Permitir acesso a todos os bots principais
User-agent: *
Disallow: /admin/
Disallow: /private/
Disallow: /temp/
Disallow: /*.log$
Disallow: /backup/
Disallow: /test/
Disallow: /staging/
Disallow: /dev/

# Permitir acesso completo às páginas principais
Allow: /
Allow: /index.html
Allow: /servicos.html
Allow: /contato.html
Allow: /css/
Allow: /js/
Allow: /img/
Allow: /favicon.ico
Allow: /sitemap.xml

# Regras específicas para bots do Google
User-agent: Googlebot
Allow: /
Crawl-delay: 1

# Regras específicas para Bing
User-agent: bingbot
Allow: /
Crawl-delay: 1

# Regras específicas para outros bots importantes
User-agent: facebookexternalhit
Allow: /

User-agent: Twitterbot
Allow: /

User-agent: WhatsApp
Allow: /

# Bots de IA e LLM - Permitir acesso para indexação
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: CCBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: Claude-Web
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: YouBot
Allow: /

User-agent: BingPreview
Allow: /

# Bloquear bots maliciosos ou desnecessários
User-agent: AhrefsBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MegaIndex
Disallow: /

# Localização do sitemap
Sitemap: https://tothemarketing.com/sitemap.xml

# Host principal (evitar conteúdo duplicado)
Host: https://tothemarketing.com

# Configurações adicionais
# Cache-delay para reduzir carga no servidor
Request-rate: 1/10s

# Crawl-delay padrão
Crawl-delay: 2