Quando un assistente AI arriva sul tuo sito, cosa dovrebbe leggere per primo? È la domanda a cui risponde llms.txt. Il file vive nella root del dominio ed elenca in Markdown le tue pagine più importanti. I motori di ricerca hanno robots.txt e le sitemap XML. I modelli linguistici come ChatGPT, Claude e Gemini ora hanno un punto di ingresso tutto loro. Noi di RankWit lo consideriamo uno dei primi passi di qualsiasi progetto GEO.
llms.txt è un file di testo in formato Markdown, pubblicato nella root di un sito web, che indica ai modelli linguistici quali contenuti contano di più e come interpretarli.
Il formato è volutamente semplice. Niente sviluppo backend, niente nuovi linguaggi di markup. Scrivi un file breve, lo carichi una volta e ogni crawler AI che lo cerca sa dove vivono i tuoi contenuti migliori.
Da dove nasce llms.txt?
La proposta è stata pubblicata a settembre 2024 da Jeremy Howard, co-fondatore di Answer.AI e ricercatore AI molto noto. Il suo ragionamento è lineare: i siti dovrebbero avere voce in capitolo su come i sistemi AI leggono e riusano i loro contenuti, e una convenzione basata su un file è il modo più semplice per dargliela.
Il sito della community llmstxt.org mantiene la specifica, raccoglie esempi e monitora l'adozione. Le piattaforme di documentazione si sono mosse per prime e molti strumenti per sviluppatori oggi pubblicano il file di default.
Che problema risolve?
I siti web sono costruiti per le persone, e si vede. Una pagina tipica si porta dietro menu di navigazione, banner dei cookie, script di tracciamento, pubblicità e codice di layout. Il contenuto vero è una frazione minima dell'HTML.
I modelli linguistici pagano quel rumore. Lavorano con finestre di contesto limitate: ogni token speso a interpretare un menu è un token sottratto alla tua documentazione. Quando un assistente ricostruisce cosa fa la tua azienda da markup disordinato, gli errori si insinuano.
llms.txt elimina i tentativi alla cieca. Consegna al modello una mappa curata: ecco la documentazione, ecco le FAQ, ecco la pagina prezzi, ed ecco cosa copre ciascuna. Quando ChatGPT o Perplexity parlano del tuo prodotto, salgono le probabilità che raccontino la storia giusta e rimandino alla fonte.
In cosa è diverso da robots.txt?
I due file si somigliano e vivono nello stesso posto, ma rispondono a domande diverse.
- robots.txt gestisce l'esclusione. Dice ai crawler a quali percorsi possono accedere e può bloccare del tutto i bot AI come GPTBot.
- llms.txt gestisce la selezione. Dice ai modelli linguistici quali contenuti meritano attenzione e aggiunge contesto a ogni link.
- sitemap.xml gestisce l'inventario. Elenca ogni URL indicizzabile senza dire quali contano davvero.
Si completano a vicenda. Un sito può bloccare i crawler di addestramento in robots.txt e usare comunque llms.txt per guidare gli assistenti che accoglie.
Cosa contiene il file?
La specifica prevede una struttura prevedibile, ed è proprio questo a renderla leggibile dalle macchine:
- Un titolo H1 con il nome del sito o del progetto.
- Un blockquote breve che riassume cosa offre il sito.
- Sezioni di link, ognuno con una riga di descrizione della pagina di destinazione.
- Un llms-full.txt opzionale, con contenuti estesi per i modelli dotati di finestre di contesto ampie.
Il file si legge come una pagina indice ben fatta. Un umano lo controlla in un colpo d'occhio, un modello lo interpreta senza toccare una riga di layout.
Come si crea un file llms.txt?
- Scegli le pagine che spiegano meglio il tuo business: documentazione, FAQ, guide, prezzi.
- Scrivi una riga di contesto per ogni link. Descrivi cosa contiene la pagina, non quanto è bella.
- Componi il file in Markdown, partendo dall'H1 e dal riassunto in blockquote.
- Caricalo nella root del sito, così risponde su tuosito.com/llms.txt.
- Rivedilo ogni volta che pubblichi o ritiri contenuti importanti. Una mappa vecchia porta fuori strada.
Per la maggior parte dei siti è un pomeriggio di lavoro, e i primi tre passaggi valgono anche come audit dei contenuti.
Ma i motori AI lo leggono davvero?
Qui serve onestà. L'adozione tra i grandi provider AI è disomogenea e nessuno si è impegnato a scaricare il file con una cadenza fissa. Alcuni strumenti lo controllano, altri lo ignorano.
Secondo noi il bilancio pende comunque a favore del pubblicarlo. Il costo è vicino allo zero, i motori di ricerca non ne risentono e i log del server ti mostrano quali crawler AI richiedono il file. GPTBot, ClaudeBot e PerplexityBot si dichiarano nello user agent: l'esperimento si misura da solo.
C'è anche un argomento di posizionamento. I motori generativi premiano i siti facili da leggere e facili da citare. L'abitudine di mantenere una mappa curata dei contenuti ti spinge in quella direzione, con o senza llms.txt. La nostra guida su come ChatGPT sceglie le sue fonti mostra cosa cercano questi sistemi una volta arrivati sulle tue pagine.
Quando dovresti aggiungerlo?
Subito, se il tuo sito contiene contenuti su cui le persone fanno affidamento:
- Documentazione o riferimenti API
- Tutorial e guide pratiche
- Pagine di prodotti e servizi
- Knowledge base e FAQ
- Informazioni di supporto e contatto
La regola pratica regge: se ha valore per gli utenti, ha valore per gli LLM.
Il file è un punto di partenza, non una strategia. La scoperta online si sta spostando dai link ordinati alle risposte generate, un passaggio che raccontiamo nell'articolo dai motori di ricerca ai motori generativi. Pubblicare llms.txt ti rende più facile da leggere.
FAQ
llms.txt è uno standard ufficiale del web?
No. È una proposta della community, pubblicata da Jeremy Howard a settembre 2024 e documentata su llmstxt.org. Nessun ente di standardizzazione l'ha ratificata e le aziende AI la supportano su base volontaria. L'adozione si è diffusa lo stesso, soprattutto tra i siti ricchi di documentazione, perché il formato è semplice e il rischio è praticamente nullo.
llms.txt sostituisce robots.txt o la sitemap?
No. I tre file fanno lavori diversi. robots.txt controlla quali crawler accedono a quali percorsi, sitemap.xml elenca gli URL indicizzabili per i motori di ricerca e llms.txt seleziona i contenuti che vuoi far leggere ai modelli linguistici. Tienili tutti e tre, e verifica che non si contraddicano.
llms.txt può danneggiare la mia SEO?
No. I motori di ricerca non usano il file per il posizionamento, quindi pubblicarlo non può costarti posizioni. L'unico rischio concreto è la trascuratezza: se il file punta a pagine vecchie o eliminate, i modelli lavorano su informazioni stantie. Trattalo come qualsiasi pagina pubblica e tienilo aggiornato.
Come capisco se i bot AI leggono il mio llms.txt?
Controlla nei log del server le richieste a /llms.txt e filtra per user agent. GPTBot di OpenAI, ClaudeBot di Anthropic e PerplexityBot si dichiarano tutti. Se vedi richieste regolari, il file viene letto. Se no, non hai perso nulla: il file funziona comunque come documentazione delle tue priorità.