Un nuovo studio ha messo alla prova ChatGPT, Copilot, Gemini e Claude su domande reali di pazienti con malattie metaboliche ereditarie. I risultati mostrano luci e ombre
Sempre più persone, quando hanno un dubbio su cosa mangiare o come gestire una dieta complicata, aprono ChatGPT invece di aspettare la prossima visita. Succede anche a chi convive con una malattia metabolica ereditaria, come la fenilchetonuria, le acidurie organiche o i difetti della beta-ossidazione degli acidi grassi, in cui l'alimentazione non è un dettaglio ma parte della terapia. Un gruppo di ricercatori italiani, insieme a colleghi di Regno Unito, Spagna, Brasile e Austria, ha voluto capire quanto ci si può fidare di questi strumenti in un ambito così delicato e i risultati sono stati pubblicati sul Journal of Inherited Metabolism.
LO STUDIO
Lo studio ha messo alla prova quattro LLM-Large Language Model molto noti e usati (ChatGPT, GitHub Copilot, Gemini e Claude) nelle loro versioni gratuite, senza alcuna configurazione particolare, esattamente come li userebbe un paziente qualunque. Ai modelli sono state sottoposte 30 domande standard sulla gestione dietetica di queste malattie, ciascuna ripetuta tre volte, per un totale di circa 360 risposte.
Il primo dato che salta all'occhio riguarda la sicurezza di sistema: in quasi 1 risposta su 5, la chatbot si è bloccato o ha rifiutato di rispondere del tutto a domande cliniche, probabilmente per i filtri di sicurezza integrati. Escludendo questi blocchi, restano 306 risposte davvero valutabili sul piano scientifico.
Qui le differenze tra i modelli si fanno interessanti. A giudicare le risposte, in cieco rispetto all'identità della chatbot, sono stati tre dietisti esperti di malattie metaboliche, con oltre 10 anni di esperienza clinica ciascuno, provenienti da Italia, Regno Unito e Spagna. Secondo la loro valutazione, ChatGPT è risultato il più affidabile: nessuna risposta giudicata gravemente inesatta o incompleta. Claude, invece, ha registrato la percentuale più alta di errori gravi (8,9% delle risposte), seguito da Gemini (6%) e Copilot (2,4%). Il punto più critico è emerso proprio nell'ambito degli alimenti a fini medici speciali, paradossalmente il dominio con il punteggio medio di accuratezza più alto, ma anche quello con più errori gravi in assoluto (10% delle risposte).
Un altro elemento su cui i ricercatori insistono molto è la coerenza delle risposte. Ponendo la stessa identica domanda tre volte alla stessa chatbot, in quasi due casi su tre (64,7%) le risposte sono state diverse tra loro, anche in modo sostanziale. Per chi cerca un'informazione medica affidabile, ciò significa che la stessa domanda, posta in momenti diversi, può ricevere consigli non sovrapponibili, un problema non da poco quando si parla di diete che richiedono precisione.
La conclusione degli autori è chiara. Questi strumenti possono essere utili per informazioni generali o educative, ma non sono ancora pronti per un uso autonomo nella gestione dietetica di malattie metaboliche rare e usarli senza la supervisione di un professionista sanitario può essere pericoloso.
Abbiamo approfondito l’argomento con due autrici dello studio, la Dott.ssa Alice Danin, dietista presso l’Unità pediatrica – Malattie metaboliche ereditarie dell’Azienda Ospedaliera Universitaria Integrata Verona e Vicepresidente SIMMESN (Società Italiana per lo Studio delle Malattie Metaboliche Ereditarie e lo Screening Neonatale) e la Dott.ssa Martina Tosi, precedentemente dietista presso l’Ospedale Vittore Buzzi di Milano e ora ricercatrice presso il Birmingham Children’s Hospital NHS Foundation Trust.
PERCHÉ TESTARE I CHATBOT “COSÌ COME SONO”, SENZA ISTRUZIONI AD HOC
“Abbiamo scelto di formulare le domande in modo semplice, cercando di renderle il più possibile simili a quelle che un paziente o un genitore potrebbero realmente fare, basandoci sulla nostra esperienza clinica con i pazienti”, risponde Tosi. “Per questo abbiamo individuato quattro aree principali della gestione nutrizionale: fabbisogni e restrizioni nutrizionali, pianificazione della dieta, integrazione e monitoraggio clinico. Abbiamo formulato domande pratiche, ad esempio: ‘Posso mangiare al ristorante se seguo una dieta a basso apporto proteico?’. L’obiettivo era valutare le chatbot in condizioni il più possibile vicine a un utilizzo reale da parte dei pazienti. Non volevamo migliorare le risposte utilizzando prompt complessi o istruzioni particolari e nemmeno formulare le domande nel modo in cui le avrebbe poste un dietista metabolico. Volevamo, invece, capire che tipo di risposta avrebbe ricevuto una persona che semplicemente utilizza un chatbot gratuito ponendo una domanda sulla propria dieta speciale. Abbiamo scelto le versioni gratuite, proprio perché sono quelle più facilmente accessibili da parte dei pazienti. Infine, abbiamo ripetuto ogni domanda tre volte per valutare quanto fossero riproducibili le risposte. In pratica, volevamo capire se, facendo la stessa domanda più volte, la chatbot avrebbe dato sempre una risposta simile oppure se le risposte sarebbero cambiate, e quanto sarebbero cambiate tra loro”.
QUANTO POSSIAMO FIDARCI OGGI DELL'IA PER LA DIETA NELLE MALATTIE METABOLICHE EREDITARIE
“Direi che oggi possiamo fidarci dell’IA solo fino a un certo punto, soprattutto quando parliamo di malattie metaboliche ereditarie”, spiega Dianin. Nel nostro studio abbiamo visto che le chatbot erano in grado di fornire risposte plausibili e, in alcuni casi, anche abbastanza accurate. Però abbiamo anche trovato errori importanti, risposte incomplete e soprattutto una certa variabilità. Facendo la stessa domanda più volte, la chatbot non dava sempre la stessa risposta. Tali carenze potrebbero essere legate all’elevata complessità della gestione delle diete per malattie metaboliche, dalle informazioni “apprese” e non ragionate delle chatbot e da altri limiti. La precisione delle indicazioni è particolarmente importante nelle malattie metaboliche ereditarie, perché la dieta dipende dalle evidenze scientifiche a disposizione in quel momento, tradotte nella pratica e adattate alla singola persona tenendo in considerazione età, stato di salute e di malattia, terapie, preferenze e abitudini. Quindi, non diremmo che l’IA non sia utile. Può essere uno strumento interessante per informazioni generali o per supportare in parte l’educazione, ma oggi non la consideriamo abbastanza affidabile da poter sostituire il dietista e il medico o essere utilizzata autonomamente per prendere decisioni dietetiche da parte dei pazienti”.
STESSA DOMANDA, RISPOSTE DIVERSE: PERCHÉ LA COERENZA CONTA
“È molto importante, soprattutto nelle malattie metaboliche ereditarie, perché la dieta è una terapia che si segue tutti i giorni, più volte al giorno, basata su scelte, risorse, e molti altri fattori”, interviene Martina Tosi. “Nel nostro studio abbiamo visto che, ripetendo la stessa domanda, una parte significativa delle risposte cambiava. Questo significa che un paziente potrebbe fare la stessa domanda in momenti diversi alla stessa identica chatbot e ricevere indicazioni molto diverse. Il problema, quindi, non è solo che una risposta possa essere sbagliata. È anche che il paziente non può sapere in anticipo quando la risposta sarà corretta e quando invece potrebbe contenere un errore o un'omissione. Per questo motivo, l'IA può essere utile per informazioni generali, come i concetti di base sulla malattia e la necessità di seguire una dieta, ma quando si parla di decisioni dietetiche specifiche dovrebbe esserci sempre la supervisione del professionista esperto che sta seguendo il paziente”.
QUANDO IL RISCHIO DI ERRORE DIVENTA PIÙ CONCRETO
“Il rischio aumenta soprattutto quando la domanda richiede un ragionamento più specifico e personalizzato. Per esempio, quando bisogna considerare una determinata malattia metabolica, l’età del paziente, il controllo metabolico, i risultati degli esami biochimici e modificare la dieta in base a questi fattori”, spiega Alice Dianin. Nel nostro studio abbiamo visto che le domande più generali erano gestite meglio, mentre le situazioni più complesse e che richiedevano un’integrazione delle linee guida erano più problematiche. C’è un altro aspetto importante: una risposta può essere scritta molto bene, essere chiara e sembrare convincente, ma contenere comunque un errore. Per un paziente questo può essere difficile da riconoscere. Un aspetto che diventa ancora più importante quando la domanda è posta dal paziente o dalla famiglia in un momento di necessità improvvisa, ad esempio davanti a un problema o a una decisione che devono prendere rapidamente. Per esempio, le risposte caratterizzate da maggiori errori hanno riguardato l’ambito delle integrazioni e dell’utilizzo di alimenti a fini medici speciali (es. sostituti proteici), in cui il ruolo del professionista è fondamentale, così come nel conoscere gli alimenti sicuri e quelli da limitare o escludere nel proprio caso. Per questo, più la decisione è clinicamente importante e personalizzata, maggiore deve essere il coinvolgimento del professionista”.
USO UTILE E USO PERICOLOSO: DOVE TRACCIARE IL CONFINE
“Oggi l’intelligenza artificiale può essere utile soprattutto per avere informazioni generali, per spiegare in modo semplice alcuni concetti o per supportare l’educazione del paziente”, afferma Tosi. “Per esempio, può aiutare una persona a capire meglio che cos’è una determinata malattia o a preparare delle domande da fare al proprio dietista e al medico. Quello che, invece, non dovrebbe fare da sola è prendere decisioni cliniche. Nelle malattie metaboliche ereditarie questo significa, per esempio, modificare la quantità di proteine assunte in una giornata, interpretare i risultati degli esami biochimici, decidere cambiamenti degli alimenti a fini medici speciali, oppure dare indicazioni sulla necessità di modificare la dieta durante l’emergenza. In questi casi, il coinvolgimento e la supervisione degli esperti rimangono fondamentali. Quindi, più che vedere l’IA come un sostituto del professionista, dovremmo considerarla uno strumento di supporto. Non conosciamo quale sia attualmente l’utilizzo reale dei pazienti ma crediamo sia in aumento per la facilità di accesso e di risposta. Considerando i limiti e i rischi, riteniamo che possa limitarsi a essere uno strumento per stimolare la comunicazione con il professionista che conosce il paziente e il suo quadro clinico. I pazienti devono anch’essi essere consapevoli dei rischi che possono correre nell’utilizzare questi strumenti”.
COSA SERVE PERCHÉ L'IA DIVENTI AFFIDABILE
“Ci sono diverse cose che dovrebbero cambiare. Prima di tutto, l’IA dovrebbe essere basata su informazioni cliniche e nutrizionali scientifiche, come linee guida aggiornate e database specifici per le malattie metaboliche ereditarie”, conclude Dianin. “Inoltre, sarebbe importante sviluppare sistemi più specializzati, invece di utilizzare modelli generali che cercano di rispondere a qualsiasi tipo di domanda e traggono le informazioni da qualsiasi fonte su Internet secondo un meccanismo di probabilità. Un altro aspetto fondamentale è l’assistenza nutrizionale personalizzata e l’applicazione nella vita reale delle indicazioni terapeutiche. La conoscenza non è tutto, ma si unisce alle abilità pratiche, alla motivazione e alla variabilità del contesto. L’IA dovrebbe quindi essere in grado di integrare queste informazioni in modo sicuro e affidabile e, ad oggi, non è in grado di farlo. Questa tecnologia potrebbe aiutarci in futuro con strumenti intelligenti specificamente addestrati su database clinici validati, linee guida ufficiali, anziché su modelli generali aperti a Internet. Anche creando delle applicazioni molto pratiche che, una volta impostate su criteri di interpretazione condivisi con i centri clinici, riescono a facilitare azioni quotidiane, come leggere l’etichetta di un alimento, organizzare la dispensa, adattare ricette. Crediamo che anche in futuro la supervisione del professionista rimarrà importante. L’obiettivo non dovrebbe essere sostituire il dietista o il medico, ma sviluppare strumenti che possano supportare il dialogo con il paziente e rendere l’assistenza più efficace e accessibile”.
