I crawler AI sono i programmi con cui OpenAI, Anthropic, Perplexity, Google e gli altri leggono il web. Si riconoscono dal nome che dichiarano nelle richieste, lo user agent, e lasciano traccia nei log del server.
Tre usi diversi
Non fanno tutti la stessa cosa. Alcuni raccolgono testi per addestrare i modelli, come GPTBot e ClaudeBot. Altri costruiscono l’indice da cui il motore pesca le fonti, come OAI-SearchBot e Claude-SearchBot. Altri ancora aprono una pagina nel momento in cui un utente fa una domanda, come ChatGPT-User, Claude-User e Perplexity-User. Bloccare un bot di addestramento non toglie il sito dalle risposte; bloccare quelli di ricerca e di risposta sì.
Come si gestiscono
Il file robots.txt indica quali bot possono leggere quali pagine. Per Google c’è un caso a parte: Google-Extended riguarda l’addestramento di Gemini e non incide sulla presenza nella Ricerca, AI Overview compresa. Prima di bloccare qualcosa conviene guardare i log: quali bot arrivano, cosa leggono e quante persone arrivano poi dagli assistenti AI.
Refinea legge i log del tuo sito e ti mostra le visite dei crawler AI, pagina per pagina: vedi Crawler AI.