# ==============================================================
# robots.txt — badis.ai
# ==============================================================

# --- Règle générale (moteurs de recherche classiques) ---
User-agent: *
Allow: /
# Endpoint POST du formulaire. Les deux formes sont listees : un GET sur
# /contact-handler.php est redirige en 301 vers /contact-handler par la
# regle de retrait du .php, et cette URL-la echappait au Disallow.
Disallow: /contact-handler.php
Disallow: /contact-handler
# Partiels d'inclusion PHP : renvoyes en 404 par le .htaccess, mais on
# evite aussi de depenser du budget de crawl a le decouvrir.
Disallow: /header
Disallow: /footer
Disallow: /style
Disallow: /icon-helper
Disallow: /related-solutions
Disallow: /articles-data
Disallow: /products-select
Disallow: /conversion-tracking
Disallow: /_leads

# ==============================================================
# Crawlers IA : autorisation explicite (GEO)
# NB : un robot qui a son propre groupe ci-dessous N'HÉRITE PAS des
# règles du groupe "*" (dont le Disallow /contact-handler.php). C'est
# voulu : on ouvre tout aux moteurs de réponse IA pour maximiser les
# citations. /contact-handler.php ne sert qu'au POST du formulaire :
# un GET d'un crawler n'y récupère rien d'utile.
# ==============================================================

# OpenAI (ChatGPT / recherche)
User-agent: GPTBot
Allow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: ChatGPT-User
Allow: /

# Anthropic (Claude)
# ClaudeBot = crawler d'entraînement ; Claude-SearchBot / Claude-Web /
# Claude-User = récupération en direct qui génère les citations Claude.
User-agent: ClaudeBot
Allow: /
User-agent: Claude-SearchBot
Allow: /
User-agent: Claude-Web
Allow: /
User-agent: Claude-User
Allow: /
User-agent: anthropic-ai
Allow: /

# Perplexity
# (Perplexity-User est déclenché par un utilisateur et ne respecte pas
#  forcément robots.txt — l'autoriser ici est sans risque.)
User-agent: PerplexityBot
Allow: /
User-agent: Perplexity-User
Allow: /

# Google (AI Overviews / Gemini / NotebookLM)
User-agent: Google-Extended
Allow: /

# Microsoft / Bing (Copilot)
User-agent: Bingbot
Allow: /

# Apple
User-agent: Applebot
Allow: /
User-agent: Applebot-Extended
Allow: /

# Common Crawl (jeu de données réutilisé pour l'entraînement)
User-agent: CCBot
Allow: /

# Meta / Amazon
User-agent: meta-externalagent
Allow: /
User-agent: Meta-ExternalFetcher
Allow: /
User-agent: Amazonbot
Allow: /

# DuckDuckGo (DuckAssist)
User-agent: DuckAssistBot
Allow: /

# Mistral
User-agent: MistralAI-User
Allow: /

# ==============================================================
# (OPTIONNEL) Bloquer les crawlers d'entraînement « pur » sans
# bénéfice de citation. Décommenter pour les refuser. À NE PAS
# activer si l'objectif reste la visibilité maximale dans les IA.
# ==============================================================
# User-agent: Bytespider
# Disallow: /
# User-agent: CCBot
# Disallow: /

# --- Sitemap ---
Sitemap: https://badis.ai/sitemap.xml

# --- Ressources pour agents IA (llms.txt) ---
# Résumé structuré du site à destination des moteurs génératifs.
# https://badis.ai/llms.txt (marché Algérie) et https://badis.ai/fr/llms.txt (marché France)