Sappiamo bene di essere nell’era dell’Intelligenza Artificiale generativa. Dal 2022, con l’arrivo di ChatGPT, i Large Language Models (LLM) sono diventati i nostri assistenti quotidiani: scrivono temi, riassumono testi, creano codice informatico e molto altro.
Sembrava avessimo raggiunto il picco, ma c’è un problema: gli LLM attuali a volte “perdono il filo” o faticano ad avere una visione d’insieme. Per questo motivo Meta (l’azienda madre di Facebook e Instagram) ha proposto, da poco più di un anno, una nuova, rivoluzionaria architettura: i Large Concept Models (LCM).
Se gli LLM sono maestri delle parole, gli LCM vogliono diventare maestri delle idee. Vediamo cosa significa.
LLM: il limiti del “Pappagallo Stocastico”
Per capire il futuro, dobbiamo guardare al presente. Come funziona ChatGPT o Gemini?
Nonostante sembrino intelligenti, gli LLM lavorano in modo molto “meccanico”. Ragionano per token.
Un token è un pezzetto di testo: può essere una parola intera o addirittura una sillaba. L’unico compito del modello è guardare le parole scritte finora e indovinare quale token ha la probabilità più alta di venire dopo, in base ai testi e ai documenti con cui il modello è stato addestrato. Per questo, mi piace pensare ad un LLM come ad un pappagallo stocastico, che non ripete esattamente ciò che ha sentito, piuttosto crea risposte combinando le parole che sono statisticamente più probabili insieme.
Immagina di dover scrivere un tema, ma invece di pensare alla trama generale, ti costringessi a scegliere solo una parola alla volta, senza mai guardare troppo avanti.
Gli LLM fanno esattamente questo: costruiscono frasi un mattoncino alla volta. Sono bravissimi, ma mancano di una visione d’insieme (quello che gli scienziati chiamano ragionamento top-down, che partendo prima da un’idea generale, passa poi ai dettagli).
La Rivoluzione: arrivano i Large Concept Models (LCM)
Gli LCM (Large Concept Models), proposti da Meta, cambiano le regole del gioco. Invece di prevedere la prossima parola, provano a prevedere la prossima frase intera (o concetto).
L’idea è di far ragionare l’AI in modo gerarchico, simile a come facciamo noi quando pianifichiamo un discorso:
- Prima pensiamo al concetto astratto (“Voglio dire che ho fame”).
- Poi scegliamo le parole specifiche (“Vorrei mangiare una pizza”).
Negli LCM, l’unità di base non è più il token, ma il concetto.
Ricordiamoci sempre che per quanto l’AI possa essere intelligente, non è sicuramente umana. I concetti e le idee di cui parlo in questo articolo, non sono esattamente come quelli a cui pensiamo noi, esseri umani in carne ed ossa.
Possiamo dire che hanno una forma diversa: per “concetto” si intende una rappresentazione matematica (un vettore) che racchiude il significato di un’intera frase.
Il confronto: LLM vs LCM?
Ecco una tabella per visualizzare le differenze chiave:
| Caratteristica | Large Language Models (LLM) | Large Concept Models (LCM) |
| Unità di base | Token (pezzi di parole). | Concetto (idee/frasi intere). |
| Obiettivo | Indovinare la parola successiva. | Indovinare il concetto successivo. |
| Stile di pensiero | Passo dopo passo (rischia di perdere il filo). | Pianificazione globale (mantiene meglio la coerenza). |
| Memoria | Più il testo è lungo, più fa fatica a gestirlo. | “Comprime” le frasi in concetti, gestendo testi molto più lunghi. |
| Lingue | Spesso addestrati quasi solo in inglese. | Indipendenti dalla lingua. |
La magia di SONAR: un linguaggio universale
Questa è la parte più affascinante: il dietro alle quinte di questa tecnologia. Per lavorare con i concetti e non con le parole, un LCM usa un sistema chiamato SONAR.
Immagina SONAR come un traduttore universale matematico.
SONAR prende una frase (in italiano, inglese, cinese) e la trasforma in un vettore numerico (una serie di numeri in uno spazio matematico).
- La frase “Il gatto dorme“
- La frase “The cat is sleeping”
Nello spazio di SONAR, queste due frasi finiscono quasi nello stesso identico punto, perché hanno lo stesso significato, anche se le parole sono diverse.
L’LCM, quindi, non “vede” italiano o inglese. Vede solo significati puri. Questo gli permette di ragionare in modo astratto e poi, solo alla fine, “tradurre” il pensiero nella lingua che serve.
I vantaggi degli LCM
Grazie a questa struttura, gli LCM promettono tre vantaggi enormi:
- Zero-Shot Generalization (impara una volta, usa ovunque): se addestri un LCM a ragionare leggendo libri in inglese, lui imparerà la logica dei concetti. Grazie a SONAR, potrà poi applicare quella stessa logica per scrivere in francese o tedesco senza aver mai studiato quelle lingue specificamente.
- Coerenza a lungo termine: ragionando per blocchi di idee e non per singole parole, è molto più difficile che il modello “vada fuori tema” mentre scrive un lungo racconto o un saggio.
Le sfide degli LCM
Se è così bello, perché non lo usiamo già? Perché è incredibilmente difficile. Innanzitutto, spesso c’è un problema di precisione: a volte l’LCM capisce il concetto generale, ma sbaglia i dettagli fini o le sfumature tecniche. Dall’altra parte, i concetti con cui un LCM può interfacciarsi sono infiniti, e questo crea delle situazioni algoritmiche molto sfidanti, almeno per il momento. Per un LLM, scegliere la prossima parola, tra le 50.000 parole che ha nel suo dizionario di parole più probabili, è relativamente facile. Per un LCM, scegliere la prossima “frase concettuale” in uno spazio matematico infinito è complicatissimo.
LLC e LLM, come architetto e il muratore
Per chiudere, uso un’analogia per fissare il concetto (adoro le analogie e le similitudini quando si parla di tecnologia!):
- Se l’LLM è un muratore esperto che posa mattoni perfetti uno dopo l’altro, ma che a volte dimentica che forma doveva avere la casa…
- …l’LCM è l’architetto. Disegna prima la planimetria completa e le stanze (i concetti), assicurandosi che la casa stia in piedi e abbia senso logico. Solo alla fine decide di che colore dipingere le pareti (la lingua e altri dettagli).
Gli LCM sono ancora in fase di ricerca, ma rappresentano il tentativo della scienza di avvicinare l’AI al modo in cui davvero pensano gli esseri umani: per idee, non solo per parole.
Rubrica a cura di Generazione Stem.
Biografia Autrice
Serena Aprano è una studentessa magistrale di Ingegneria Informatica, al Politecnico di Torino. Parallelamente lavora con i media digitali: dopo essere stata speaker e autrice radiofonica per diversi anni, oggi realizza video di divulgazione scientifica sui social (@serseebo su Instagram) e per Generazione STEM. Raccontare la tecnologia ai ragazzi è la cosa che la appassiona di più e un progetto nei media tradizionali come tv, libri e radio è il suo sogno.
