Come funzionano i modelli linguistici di grandi dimensioni

Ogni risposta di ChatGPT, Claude o Gemini nasce da un unico meccanismo ripetuto miliardi di volte: prevedere il token successivo. Un LLM è una macchina di probabilità. Legge una sequenza di testo e calcola quale frammento ha più probabilità di venire dopo. Questo singolo trucco, portato a scala con abbastanza dati e potenza di calcolo, produce saggi, codice funzionante e traduzioni. E spiega anche perché questi sistemi a volte inventano fatti con totale sicurezza.

Un large language model (LLM) è una rete neurale addestrata su enormi raccolte di testo per prevedere il token successivo di una sequenza: è questo che le permette di generare, riassumere e tradurre il linguaggio.

Da dove arrivano i modelli linguistici?

Prima del deep learning, i computer elaboravano il linguaggio con regole scritte a mano e modelli statistici come gli n-gram. Quei sistemi contavano sequenze di parole ma non generalizzavano: non avevano alcuna nozione di significato.

La svolta sono stati i word embedding, che rappresentano le parole come vettori densi in uno spazio continuo. La distanza tra vettori ha iniziato a codificare la somiglianza di significato, e le macchine hanno potuto imparare la semantica dai dati. Quattro tappe hanno costruito la strada verso gli LLM di oggi:

• word2vec (2013). Tomas Mikolov e colleghi in Google mostrarono che l'apprendimento non supervisionato poteva collocare le parole in uno spazio vettoriale dove l'aritmetica cattura il significato: king meno man più woman finisce vicino a queen. Il paper è Efficient Estimation of Word Representations.
• Transformer (2017). Il paper Attention Is All You Need di Vaswani e colleghi introdusse la self-attention, che permette al modello di pesare tutte le parole di una sequenza in una volta. Questo rese possibile l'addestramento in parallelo e gestibili le dipendenze a lungo raggio.
• ELMo (2018). Embeddings from Language Models produsse vettori contestuali: la parola "bank" riceve rappresentazioni diverse in "river bank" e "savings bank", un salto avanti nella gestione delle parole con più significati.
• BERT (2018). Il transformer bidirezionale di Google mascherava parole casuali e addestrava il modello a reinserirle, leggendo il contesto in entrambe le direzioni. Question answering e sentiment analysis migliorarono nettamente.

Cos'è un transformer e perché ha cambiato tutto?

L'architettura transformer è alla base di quasi tutti gli LLM moderni, inclusi GPT, Claude, LLaMA, Gemini e Mistral.

Le reti ricorrenti (RNN) precedenti leggevano il testo un token alla volta: addestramento lento e frasi lunghe difficili da modellare. I transformer elaborano intere sequenze in parallelo grazie alla self-attention: ogni token decide quanto peso dare a ogni altro token della sequenza.

I componenti principali:

• Tokenizzazione. Il testo in input viene spezzato in unità sub-word, spesso con la Byte Pair Encoding (BPE).
• Embedding. Ogni token diventa un vettore denso che conserva le relazioni semantiche.
• Self-attention. Ogni token riceve tre vettori: Query (Q), Key (K) e Value (V). I punteggi di attenzione nascono dal prodotto scalare tra Q e K, normalizzato con la softmax, e pesano i vettori V così che il modello si concentri sulle parti rilevanti dell'input.
• Livelli feedforward. Dopo l'attenzione, ogni rappresentazione passa per una rete densa che applica trasformazioni ulteriori.
• Positional encoding. Dato che nulla viene elaborato in ordine, l'informazione di posizione viene iniettata esplicitamente.
• Connessioni residue e layer normalization. Tengono stabile l'addestramento nelle reti molto profonde.

Il video qui sotto accompagna bene il paper originale. Mostra l'architettura in modo comprensibile sia per chi è tecnico sia per chi non lo è.

Come genera testo un modello, passo per passo?

I modelli linguistici non capiscono il testo come noi. Calcolano distribuzioni di probabilità su un vocabolario e scelgono il token successivo. Il percorso completo dall'input all'output:

1. Tokenizzazione. "Il cane abbaia" diventa una lista di token, poi di ID numerici.
2. Embedding. Gli ID passano per un livello di embedding e diventano vettori densi.
3. Blocchi transformer. I vettori attraversano livelli impilati di self-attention e feedforward.
4. Logit e softmax. Il livello di output produce punteggi grezzi per ogni token del vocabolario, che la softmax converte in probabilità.
5. Decoding. Il greedy decoding sceglie il token più probabile. Il top-k campiona tra i k più probabili. Il nucleus sampling campiona dall'insieme più piccolo la cui probabilità cumulata supera una soglia, di solito 0,9.

Come si addestrano gli LLM?

Addestrare significa esporre il modello a dataset di testo enormi e aggiustare miliardi di parametri finché le previsioni migliorano. L'addestramento di un modello di frontiera può durare settimane su cluster con migliaia di GPU e costare decine di milioni di dollari.

Pretraining

L'obiettivo è semplice: prevedere il token successivo (stile GPT) o reinserire i token mascherati (stile BERT) su libri, siti web, codice e testi accademici. La scala varia moltissimo. GPT-3 fu addestrato su circa 300 miliardi di token nel 2020; LLaMA 3 di Meta ne ha usati circa 15.000 miliardi nel 2024, con codice, dati multilingue e pesi aperti. Gemini 1.5 combina un'architettura Mixture-of-Experts con input multimodali. Anthropic addestra Claude con la Constitutional AI, in cui il modello critica i propri output rispetto a un insieme di principi scritti.

Fine-tuning

Il pretraining produce un predittore di testo, non un assistente. Il fine-tuning allinea il modello alle aspettative umane: seguire istruzioni, rifiutare richieste dannose, restare nel compito.

L'instruction fine-tuning abbina prompt a risposte di alta qualità finché il modello generalizza a istruzioni mai viste. Il Reinforcement Learning from Human Feedback (RLHF) va oltre:

1. Il modello genera più risposte allo stesso prompt.
2. Annotatori umani le ordinano dalla migliore alla peggiore.
3. Le classifiche addestrano un reward model separato che assegna punteggi.
4. Il reinforcement learning, di solito PPO, aggiorna il modello base per massimizzare quel punteggio.

L'RLHF ha reso possibile InstructGPT, uno dei primi modelli allineati. Anthropic ha esteso l'idea con la Constitutional AI, che sostituisce parte del feedback umano con l'autocritica basata su principi.

Perché gli LLM sembrano intelligenti senza capire?

Un LLM scrive saggi, spiega battute e corregge codice, eppure non ha convinzioni né intenzioni. È un motore probabilistico addestrato a continuare il testo in modo plausibile.

La fluidità arriva dai pattern memorizzati su dataset enormi, dall'attenzione che recupera il contesto rilevante a ogni passo e dalla sensibilità alla formulazione, che è il motivo per cui "ragioniamo passo per passo" cambia i risultati.

Il rischio ha la stessa origine strutturale. Nel paper del 2021 noto come Stochastic Parrots, Bender e colleghe avvertivano che modelli sempre più grandi producono testo dal tono autorevole senza ancoraggio fattuale né responsabilità. L'allucinazione non è un difetto in via di correzione: è il comportamento di default di un sistema che ottimizza la plausibilità.

Dove stanno andando gli LLM?

Tre direzioni di ricerca definiscono la prossima generazione:

• Mixture-of-Experts (MoE). Per ogni input si attiva solo una piccola parte dei parametri, così la capacità cresce senza far crescere in proporzione il calcolo. L'idea arriva da Shazeer e colleghi, 2017.
• Chain-of-thought. Chiedere al modello di ragionare passo per passo migliora in modo misurabile le prestazioni su matematica e logica, come mostrato da Wei e colleghi, 2022.
• Retrieval-Augmented Generation (RAG). Il modello recupera documenti esterni prima di rispondere, ancorando l'output a fonti aggiornate. La guida RAG di Cohere è un'introduzione pratica, e il nostro articolo sul RAG copre lo stato attuale della ricerca.

I modelli stanno anche diventando multimodali, con testo, immagini e audio; gestiscono contesti molto più lunghi; e agiscono come agenti che chiamano strumenti e API.

Perché tutto questo riguarda la tua visibilità?

Gli LLM rispondono oggi a domande che le persone digitavano su Google. Quando un modello riassume il tuo mercato, i suoi dati di addestramento e le sue fonti recuperate decidono se compari. I contenuti che definiscono i termini con chiarezza e fanno affermazioni verificabili sono più facili da citare per una macchina di probabilità.

Il passaggio dai link ordinati alle risposte generate è il tema del nostro articolo sui motori generativi. Se le risposte ti menzionano davvero si può misurare: RankWit monitora il tuo brand su ChatGPT, Perplexity, Gemini, Claude e Grok.

FAQ

Cos'è un token?

Il token è l'unità di testo che un LLM elabora davvero, in genere un frammento di parola. "Comprensione" può spezzarsi in più pezzi. I modelli leggono e producono token, non parole, e ogni limite di finestra di contesto o prezzo API che vedi è contato in token. In inglese un token equivale in media a circa quattro caratteri.

Gli LLM capiscono quello che scrivono?

Non nel senso umano. Un LLM non ha convinzioni, obiettivi o un modello della verità. Calcola quale token è più probabile dopo tutto ciò che precede. Il comportamento somiglia spesso alla comprensione perché i pattern del linguaggio codificano molta struttura del mondo reale, ma il meccanismo è previsione statistica. Per questo esistono gli errori detti con sicurezza.

Che differenza c'è tra pretraining e fine-tuning?

Il pretraining insegna al modello il linguaggio: previsione del token successivo su dataset generali enormi, a costi altissimi. Il fine-tuning è una seconda fase più breve ed economica che modella il comportamento, con esempi di istruzioni o feedback umano (RLHF), per rendere il modello utile, sicuro e capace di seguire indicazioni. Il pretraining costruisce la capacità; il fine-tuning costruisce l'assistente.

Perché gli LLM hanno le allucinazioni?

Perché ottimizzano la plausibilità, non la verità. Quando i dati di addestramento non contengono una risposta affidabile, il modello produce comunque la continuazione statisticamente più probabile, che può essere una citazione inventata o una data sbagliata detta con fluidità. Il RAG riduce il problema ancorando le risposte a documenti recuperati, ma nessun sistema attuale lo elimina.