# robots.txt – Fagforeningerne.dk
#
# Kort udgave: læs gerne. Høst ikke.
#
# Tallene er åbne og må citeres med kildeangivelse. Hele datasættet er ikke frit
# til at høste, videresælge eller træne modeller på. Rettighederne er udtrykkeligt
# forbeholdt mod tekst- og datamining efter artikel 4 i EU's DSM-direktiv
# (2019/790). Forbeholdet står også maskinlæsbart i /.well-known/tdmrep.json og
# i HTTP-headeren TDM-Reservation: 1.
#
# Vilkårene i fuld længde, inklusive priserne for høst uden aftale:
#   https://fagforeningerne.dk/vilkaar/
#
# Denne fil er en anmodning, ikke en lås. Det samme håndhæves på serverniveau
# i verticals/<id>/nginx.conf: blokerede user-agents får 403, og for hurtig
# hentning giver 429, uanset hvad du kalder dig.

# ---- Søgning + svar-maskiner der krediterer kilden: TILLAD ----
# Claude-SearchBot og Google-Extended hører BEVIDST til her: de henter i realtid
# for at citere/grunde med kildelink, ikke til bulk-træning.
User-agent: Googlebot
User-agent: bingbot
User-agent: DuckDuckBot
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: PerplexityBot
User-agent: Claude-SearchBot
User-agent: Google-Extended
Allow: /

# ---- Rene training-crawlere: BLOKÉR ----
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: CCBot
User-agent: Applebot-Extended
User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
User-agent: FacebookBot
User-agent: Bytespider
User-agent: Amazonbot
User-agent: cohere-ai
User-agent: Diffbot
User-agent: Omgilibot
User-agent: Timpibot
Disallow: /

# ---- Alle øvrige: indeksér siden, men hent ikke bulk-datafilerne direkte ----
# Det frie lag er velkomment: artikler, forklaringer og de aktuelle tal på hver
# profil. Bag adgangsmuren ligger fuld historik og de samlede datafiler, og den
# kræver en session. Et login, ikke en crawler.
User-agent: *
Disallow: /data.json
Disallow: /data/
Disallow: /data-premium.json
Disallow: /login/
Disallow: /samtaler/
Allow: /

Sitemap: https://fagforeningerne.dk/sitemap.xml