# ─────────────────────────────────────────────────────────────────────
# t-block.it — robots.txt
#
# POLITICA AI (decisione 14/08/2026). "AI" non è una categoria sola:
#
#   1. INDICIZZAZIONE dichiarata (GPTBot, ClaudeBot, PerplexityBot...)
#      → ammessa sulle pagine marketing: le citazioni portano contatti.
#   2. FETCH INNESCATO DA UN UTENTE (ChatGPT-User, Claude-User,
#      Perplexity-User): l'assistente apre la pagina perché qualcuno
#      gli ha chiesto di T-Block → ammesso dal 25/09/2026 sulle stesse
#      pagine dei crawler AI: porta visite e citazioni con il link.
#   3. RACCOLTA MASSIVA (CCBot, Bytespider, Diffbot...)
#      → non ammessa, da nessuna parte.
#
# Il catalogo prodotti resta fuori dalla portata degli AI anche quando
# sono ammessi altrove: le 86 schede sono la mappa completa della gamma.
# Eccezione (decisione di Paolo 11/10/2026): i bot di RICERCA AI (quelli
# che citano con il link: OAI-SearchBot, ChatGPT-User, Claude-SearchBot,
# Claude-User, PerplexityBot, Perplexity-User) possono leggere l'indice del
# catalogo, le fasce di carico e i kit, così alle domande «quanto costa /
# che modello» citano noi. Le schede tecniche restano chiuse a tutti gli AI.
# I motori di ricerca classici invece lo indicizzano, perché portano
# persone sul sito.
#
# ⚠️ robots.txt è honor system: lo rispetta chi vuole. La difesa vera è
# Cloudflare + le regole nginx + l'autenticazione dell'area riservata.
# Condizioni d'uso: https://t-block.it/it/terms/
# ─────────────────────────────────────────────────────────────────────

# ── Motori di ricerca classici — tutto il pubblico, catalogo incluso ──
User-agent: Googlebot
User-agent: Googlebot-Image
User-agent: Bingbot
User-agent: DuckDuckBot
Disallow: /api/
Disallow: /admin
Disallow: /it/area-riservata/
Allow: /

# ── Crawler AI di indicizzazione — marketing sì, schede prodotto no ──
# Terreni e accessori sono pagine pubbliche "lite" (il know-how arriva solo
# via API autenticata): aperte anche agli AI dal 25/09/2026 e citate in llms.txt.
# Restano chiuse agli AI le 86 schede, il catalogo, applicazioni e fasce.
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: anthropic-ai
User-agent: Google-Extended
User-agent: Applebot-Extended
User-agent: cohere-ai
User-agent: YouBot
Disallow: /api/
Disallow: /admin
Disallow: /it/area-riservata/
Allow: /it/prodotti/terreni/
Allow: /it/prodotti/accessori/
Disallow: /it/prodotti/
# Stesse regole per il sito inglese e francese (26/09/2026)
Allow: /en/products/soils/
Allow: /en/products/accessories/
Disallow: /en/products/
Allow: /fr/produits/sols/
Allow: /fr/produits/accessoires/
Disallow: /fr/produits/
Allow: /

# ── Ricerca AI (citano con il link) — come sopra + indice catalogo, fasce, kit ──
# (11/10/2026) Un bot segue un solo gruppo: questi sei NON sono più nel gruppo sopra.
User-agent: OAI-SearchBot
User-agent: ChatGPT-User
User-agent: Claude-SearchBot
User-agent: Claude-User
User-agent: PerplexityBot
User-agent: Perplexity-User
Disallow: /api/
Disallow: /admin
Disallow: /it/area-riservata/
Allow: /it/prodotti/$
Allow: /it/prodotti/kit/
Allow: /it/prodotti/fascia/
Allow: /it/prodotti/terreni/
Allow: /it/prodotti/accessori/
Disallow: /it/prodotti/
Allow: /en/products/$
Allow: /en/products/load-range/
Allow: /en/products/soils/
Allow: /en/products/accessories/
Disallow: /en/products/
Allow: /fr/produits/$
Allow: /fr/produits/gamme/
Allow: /fr/produits/sols/
Allow: /fr/produits/accessoires/
Disallow: /fr/produits/
Allow: /

# ── Agenti superati o fuori perimetro ──
User-agent: Claude-Web
User-agent: Amazonbot
Disallow: /

# ── Raccolta massiva e scraping — mai ──
User-agent: CCBot
User-agent: Bytespider
User-agent: Diffbot
User-agent: Meta-ExternalAgent
User-agent: meta-externalagent
User-agent: FacebookBot
User-agent: ImagesiftBot
User-agent: Omgilibot
User-agent: Timpibot
User-agent: Webzio-Extended
User-agent: PetalBot
User-agent: SemrushBot
User-agent: AhrefsBot
User-agent: MJ12bot
User-agent: DotBot
Disallow: /

# ── Tutti gli altri ──
User-agent: *
Disallow: /api/
Disallow: /admin
Disallow: /it/area-riservata/
Allow: /

Sitemap: https://t-block.it/sitemap-index.xml
Sitemap: https://t-block.it/sitemap-images.xml
Sitemap: https://t-block.it/sitemap-video.xml