Quando un sistema si AI sbaglia, la prima reazione è spesso la sorpresa. Come può una macchina così potente confondersi?
La risposta è meno intuitiva di quanto sembri: sbaglia esattamente per lo stesso motivo per cui funziona. Perché ragiona in termini di probabilità.
Un’approssimazione del mondo
Ogni sistema di AI, che classifichi immagini, formuli diagnosi o generi testo, costruisce un modello probabilistico della realtà a partire dai dati di addestramento. In termini formali, stima una distribuzione di probabilità condizionata: data un’osservazione, qual è la risposta più verosimile? È un po’ come un medico che, davanti a un insieme di sintomi, non conosce la diagnosi certa ma sa quali sono le più probabili in base a migliaia di casi precedenti. Il sistema non accede alla realtà, accede a una sua rappresentazione statistica, necessariamente incompleta. La distribuzione vera, quella che descriverebbe il mondo in tutta la sua complessità, è incognita e probabilmente inconoscibile. Il modello la approssima, e lo fa con strumenti potenti: reti neurali, discesa del gradiente, funzioni di perdita ottimizzate su miliardi di esempi. Un’approssimazione, per quanto sofisticata, resta tale.
Dove l’approssimazione nasconde l’errore
Prendiamo proprio un sistema di diagnosi medica addestrato su radiografie. Il modello impara che certi pattern visivi co-occorrono con una determinata patologia nella popolazione di addestramento. Se quella popolazione non è rappresentativa, per ragioni demografiche, geografiche o strumentali, il modello sarà calibrato globalmente ma sistematicamente distorto su alcuni sottogruppi. Statisticamente corretto nell’aggregato, sbagliato nel particolare. È lo stesso problema che avremmo se addestrassimo il nostro medico immaginario su pazienti provenienti da un solo paese: le sue stime sarebbero ottime per quella popolazione, e molto meno affidabili per tutte le altre.
Lo stesso vale per i modelli linguistici. Ogni risposta generata è il risultato di una catena di scelte probabilistiche: ad ogni passo, il sistema seleziona il frammento di testo con la verosimiglianza più alta dato il contesto. Quando quella distribuzione è ben supportata dai dati, la risposta è precisa. Quando non lo è, il modello produce comunque un output plausibile, e lo fa con la stessa sicurezza formale di sempre. L’incertezza sottostante non affiora in superficie.
Il limite che il modello non vede
Un modello linguistico non sa se quello che produce è vero. Seleziona il frammento di testo più verosimile dato il contesto, ma la verosimiglianza statistica e la verità fattuale sono due cose che non si parlano. Il modello non ha accesso alla seconda. Esistono tecniche per stimare l’incertezza di una previsione, come il dropout bayesiano o gli intervalli di confidenza, ma nella pratica questa informazione viene spesso soppressa nell’interfaccia finale. L’utente riceve una risposta, non una distribuzione. Riceve un numero, non una curva.
Eppure è proprio in quella distribuzione che risiede l’informazione più onesta: non “questa è la risposta”, ma “queste sono le risposte possibili, con questi pesi”. Il fatto che il mondo reale resista a essere compresso in un’unica previsione puntuale non è una debolezza dell’AI. È un dato strutturale sulla complessità di ciò che stiamo cercando di modellare.
Usarla sapendo cosa è
La probabilità nell’AI è un modo rigoroso di ragionare sotto incertezza. Riconoscerla come tale non riduce la potenza di questi strumenti, ma ci restituisce la domanda giusta da porsi di fronte a ogni output: con quale confidenza, su quali dati, per quale popolazione. Sono domande matematiche. E meritano risposte matematiche.
Biografia autrice
Ines El Gataa è una ricercatrice in Data Science e Intelligenza Artificiale, specializzata in metodi bayesiani, fairness e causal machine learning. TEDx speaker, consulente e divulgatrice, si occupa di explainability, ragionamento controfattuale e sviluppo di sistemi di AI affidabili e trasparenti. La sua attività integra ricerca accademica e applicazioni reali, con particolare attenzione alla riduzione dei bias e all’impatto etico delle tecnologie data-driven.
