Un motore di ricerca fa tre lavori. Il crawling scopre le pagine, l'indicizzazione le organizza in un catalogo consultabile e il posizionamento le ordina per pertinenza e autorevolezza a ogni ricerca. Questa pipeline ha messo ordine nel web per oltre vent'anni. Ora sopra si sta aggiungendo un quarto passaggio: i motori generativi come ChatGPT, Perplexity e le AI Overviews di Google non restituiscono più una lista di link. Scrivono la risposta.
Un motore di ricerca è un sistema che scopre le pagine web tramite crawling, le archivia in un indice strutturato e le ordina per pertinenza e autorevolezza in risposta a una query.
In questo articolo attraversiamo le tre fasi, con un po' della matematica che ci sta sotto, e poi guardiamo cosa cambia quando il motore genera invece di recuperare.
Come funziona il crawling?
Immagina internet come un grafo gigantesco, G = (V, E), dove V è l'insieme delle pagine web ed E l'insieme dei link che le collegano.
I motori di ricerca inviano i crawler, programmi che si spostano di nodo in nodo seguendo gli archi. Nel modello più semplice un crawler si comporta come un camminatore casuale della teoria dei grafi: la probabilità di passare dalla pagina u alla pagina v è P(v|u) = 1/outdeg(u), uno diviso il numero di link in uscita da u.
I crawler reali non si muovono a caso. Danno priorità alle pagine in base a freschezza, autorevolezza e frequenza di aggiornamento. Il compito di fondo però non cambia: il crawling è la scoperta di nodi in un grafo enorme che continua a crescere.
Oggi anche i crawler AI percorrono lo stesso grafo. GPTBot, ClaudeBot e PerplexityBot scaricano pagine per alimentare le risposte generative e seguono le stesse convenzioni robots.txt dei loro predecessori.
Cosa succede durante l'indicizzazione?
Una volta scoperta, una pagina va archiviata in modo da poterla ritrovare in millisecondi. L'indicizzazione trasforma l'HTML grezzo in dati strutturati.
La struttura centrale è l'indice invertito. Invece di mappare ogni pagina sulle parole che contiene, mappa ogni parola sull'insieme delle pagine che la contengono: I("AI") = {p1, p2, p3, ...}.
Una query diventa così un'intersezione di insiemi. Cerchi "come funzionano i motori" e il sistema calcola I("come") ∩ I("funzionano") ∩ I("motori"), restituendo solo i documenti che contengono tutti e tre i termini. Funziona come il catalogo di una biblioteca, solo che la biblioteca contiene miliardi di volumi e risponde all'istante.
Come decide il posizionamento cosa vedi?
Non tutte le pagine che corrispondono a una query meritano la stessa posizione. Il posizionamento combina molti segnali in un unico punteggio. Una funzione semplificata: S(d, q) = w1·R(d, q) + w2·A(d) + w3·U(d), dove:
- R(d, q) è la pertinenza del documento d rispetto alla query q
- A(d) è l'autorevolezza, costruita su backlink e fiducia
- U(d) copre i segnali di esperienza utente, come velocità e usabilità mobile
- w1, w2, w3 sono pesi che il motore regola di continuo
La misura di autorevolezza più famosa è PageRank, sviluppata dai fondatori di Google alla fine degli anni Novanta. In forma semplificata: PR(P) = (1 - d)/N + d · ∑ PR(Q)/L(Q), sommando su ogni pagina Q che punta a P. Qui d è un fattore di smorzamento intorno a 0,85, N è il numero totale di pagine e L(Q) è il numero di link in uscita da Q. L'intuizione è elegante: una pagina è importante se altre pagine importanti la linkano.
I motori moderni vanno oltre. Modelli di machine learning stimano P(relevant | q, d), la probabilità che il documento d soddisfi la query q, e la imparano da miliardi di ricerche, clic e segnali di soddisfazione passati. La domanda si è spostata da "questa pagina contiene le parole giuste?" a "questa pagina risponde a ciò che l'utente intende davvero?".
Cosa cambia con i motori generativi?
La pipeline vista fin qui termina con una lista ordinata di link. I motori generativi sostituiscono l'ultimo passaggio con la sintesi.
Un motore tradizionale segue: query, recupero dei documenti, ordinamento dei risultati. Un motore generativo segue: query, recupero della conoscenza, poi generazione di un'unica risposta sintetizzata tramite inferenza del modello. ChatGPT, Perplexity, Gemini e le AI Overviews funzionano tutti così.
In termini matematici cambia l'obiettivo. Un motore di ricerca massimizza P(relevant | q, d) documento per documento. Un motore generativo massimizza P(answer | q, K), dove K combina i documenti recuperati con la conoscenza già codificata nei parametri del modello. La tecnica che fonde le due cose è la Retrieval-Augmented Generation, che analizziamo nella nostra guida al RAG.
La differenza pratica è netta. Un motore di ricerca ti indica dieci documenti. Un motore generativo ti consegna una risposta e cita una manciata di fonti, a volte nessuna.
Come farti scegliere quando è il motore a scrivere la risposta?
Ogni risposta generativa è il prodotto di un processo di filtraggio:
- Il motore interpreta la domanda e spesso la riscrive in più query di ricerca.
- Un livello di retrieval recupera le pagine candidate, di solito da un indice di ricerca tradizionale.
- Il modello seleziona i pochi passaggi che considera abbastanza affidabili e pertinenti da usare.
- Scrive la risposta, citando alcuni di quei passaggi come fonti.
Ogni passaggio elimina candidati. Essere scansionabile ti porta al punto 2. Struttura chiara, definizioni dirette e affermazioni verificabili ti fanno superare i punti 3 e 4. File come llms.txt aiutano i modelli a trovare le tue pagine migliori, e capire come gli LLM elaborano il testo spiega perché le frasi citabili vincono.
La visibilità significava una posizione in prima pagina. Sempre più spesso significa essere la fonte dentro la risposta. RankWit nasce per misurare esattamente questo: quali prompt ti menzionano, quali motori ti citano e come entrambe le cose cambiano nel tempo.
FAQ
I motori generativi usano ancora gli indici di ricerca?
Sì, e parecchio. Quando ChatGPT naviga, Perplexity risponde o Google genera una AI Overview, un livello di retrieval recupera prima i documenti candidati, in genere da un indice di ricerca su scala web. Il modello poi sintetizza la risposta a partire da quei documenti. Crawling e indicizzazione restano la base; la generazione è uno strato sopra, non un sostituto.
La SEO tradizionale è morta?
No. I motori generativi recuperano prima di generare, e il retrieval continua a premiare siti scansionabili, pagine veloci e contenuti autorevoli. Cambia l'ultimo passaggio: invece di competere per una posizione, competi per essere citato dentro una risposta. Una SEO solida resta il biglietto d'ingresso; la GEO decide se vieni citato.
Che differenza c'è tra posizionamento e citazione?
Il posizionamento ordina interi documenti in una pagina di risultati, e l'utente sceglie dove cliccare. La citazione avviene dopo che un modello ha letto più documenti: seleziona passaggi specifici, sintetizza una risposta e accredita poche fonti. Puoi posizionarti bene senza mai essere citato, o essere citato da una pagina che si posiziona così così, perché la selezione avviene a livello di passaggio.
Cos'è la GEO?
GEO, Generative Engine Optimization, è la pratica di rendere i contenuti facili da recuperare, capire e citare per i motori AI. Costruisce sulla SEO ma ottimizza per le risposte invece che per le posizioni: definizioni chiare, pagine strutturate, segnali leggibili dalle macchine e monitoraggio di quanto spesso motori come ChatGPT, Perplexity e Gemini menzionano il tuo brand.