Google DeepMind in collaborazione con il University College di Londra pubblicano una ricerca che cerca di entrare nella relazione uomo-Intelligenza Artificiale (IA). Infatti, nello studio emergono le insicurezze dell’IA nel momento in cui il feedback umano si pone in contrasto con il suo output.
Una reazione più umana di quanto ci si può aspettare da un modello linguistico di grandi dimensioni (LLM) che acquista sicurezza con feedback positivi, ampliando anche nelle risposte successive fonti e offrendo nuovi spunti di comunicazione e “va in crisi” quando incontra resistenza da parte dell’utente.
Dubbi e insicurezze: come l’IA si fa influenzare
Lo studio, pubblicato su arXiv e ancora sotto revisione della comunità scientifica, sembra dare un nuovo punto di vista sull’affidabilità degli LLM come Chat-GPT 4.
Tutto il case study parte dall’analisi degli errori prodotti dai sistemi IA di ultima generazione. Infatti, nonostante l’accuratezza degli output sia molto migliorata negli ultimi anni, errori anche grossolani sono ancora leggibili nelle risposte dell’IA. L’affidabilità quindi dipende molto dalla risposta critica dell’utente.
Questo fattore ha molto influenzato infatti le risposte in conversazioni negli ambiti più disparati. L’analisi ha constatato che gli LLM vacillano in caso di risposta contraria al proprio output e, di contro, si rafforza con un feedback positivo anche se il contenuto è sbagliato. Gli algoritmi che regolano l’interlocuzione con gli utenti tendono dunque a dare “un peso eccessivo ai consigli contrari, con conseguente notevole perdita di fiducia nella loro risposta iniziale”. Gli autori dello studio hanno individuato queste risposte soprattutto in Gemma 3, IA di Google, Chat-GPT 4 e Chat-GPT o1-preview di OpenAI.
Articolo di T.S.
L’articolo L’IA tiene al giudizio umano: perde fiducia con risposte contrarie proviene da Notiziario USPI.
