# robots.txt – J. Castermans Glazenwasserij & Schoonmaak
# https://www.jcastermans.nl/robots.txt
# Gegenereerd: januari 2024

# ── Algemene crawlers ────────────────────────────────
User-agent: *
Allow: /
Disallow: /tmp/
Disallow: /draft/
Crawl-delay: 1

# ── Google ───────────────────────────────────────────
User-agent: Googlebot
Allow: /
Allow: /css/
Allow: /js/
Crawl-delay: 0

User-agent: Googlebot-Image
Allow: /

# ── Bing ─────────────────────────────────────────────
User-agent: Bingbot
Allow: /
Crawl-delay: 1

# ── AI / LLM crawlers ────────────────────────────────
# Wij staan indexering door AI-systemen toe voor informatieve doeleinden,
# mits de inhoud correct en met bronvermelding wordt gebruikt.
# Zie ook: /llms.txt en /transparantieverklaring.html#ai-llm

User-agent: GPTBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Google-Extended
Allow: /

User-agent: ClaudeBot
Allow: /

User-agent: anthropic-ai
Allow: /

User-agent: PerplexityBot
Allow: /

User-agent: Applebot
Allow: /

User-agent: YouBot
Allow: /

User-agent: cohere-ai
Allow: /

# ── Kwaadaardige scrapers blokkeren ──────────────────
User-agent: MJ12bot
Disallow: /

User-agent: AhrefsBot
Disallow: /

User-agent: SemrushBot
Disallow: /

# ── Sitemap ──────────────────────────────────────────
Sitemap: https://www.jcastermans.nl/sitemap.xml

# ── LLM-informatiebestand ────────────────────────────
# Meer informatie voor AI-systemen: https://www.jcastermans.nl/llms.txt