User-agent: *
Allow: /

# Geschützte Bereiche
Disallow: /admin/
Disallow: /private/
Disallow: /includes/
Disallow: /scripts/kontakt/mail.aspx

# =====================
# KI-Crawler ERLAUBEN
# =====================
# Diese Crawler werden explizit erlaubt, um in KI-Suchen gefunden zu werden

# OpenAI ChatGPT
User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

# Google AI (Gemini)
User-agent: Google-Extended
Allow: /

# Anthropic Claude
User-agent: anthropic-ai
Allow: /
User-agent: Claude-Web
Allow: /

# Perplexity
User-agent: PerplexityBot
Allow: /

# Microsoft Copilot/Bing AI
User-agent: Bingbot
Allow: /

# Meta AI
User-agent: FacebookBot
Allow: /

# =====================
# SPAM-Bots BLOCKIEREN
# =====================
User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

User-agent: MJ12bot
Disallow: /

User-agent: BLEXBot
Disallow: /

User-agent: DotBot
Disallow: /

User-agent: PetalBot
Disallow: /

# =====================
# Sitemaps & LLMs.txt
# =====================
Sitemap: https://www.dentblanc.de/sitemap.xml

# KI-Crawler Informationen
# Siehe auch: https://www.dentblanc.de/llms.txt