Vulnerabilità nei sistemi di Intelligenza Artificiale - Assintel

Compatibilità
Salva(0)
Condividi

A cura di Giancarlo Calzetta

È inutile fingersi sorpresi: sapevamo benissimo che sarebbe successo. L’avanzata dell’intelligenza artificiale, sebbene rivoluzionaria, sta inesorabilmente portando alla luce nuove sfide nel panorama della sicurezza informatica.

Dopo gli allerta generici degli specialisti, i quali sanno bene che ogni nuova tecnologia porta con sé delle vulnerabilità, negli ultimi tempi sono state identificate le prime due significative falle che illustrano perfettamente perché la sicurezza aziendale IT deve evolversi, andando oltre gli strumenti di indagine usati oggi.

EchoLeak: La Prima Vulnerabilità Zero-Click per l’IA in Microsoft 365 Copilot

Nel gennaio 2025, ma se n’è parlato solo ora, i ricercatori di Aim Labs hanno identificato un nuovo tipo di attacco indirizzato ai sistemi AI: EchoLeak. Si tratta della prima vulnerabilità zero-click documentata capace di estrarre informazioni sensibili da Microsoft 365 Copilot senza alcun intervento da parte dell’utente. La sua pericolosità ha indotto Microsoft e gli scopritori a tenerla segreta fino a quando è stata risolta (lato server) a maggio.

Microsoft ha affermato di non aver riscontrato prove di sfruttamenti reali e che nessun utente è stato interessato, il che significa che la vulnerabilità sembra esser stata risolta prima di causare danni effettivi. Ma il concetto è che EchoLeak ha dimostrato come anche sistemi apparentemente protetti da barriere interne possano essere manipolati attraverso le peculiarità dei modelli linguistici. Un campo che, finora, non ha fatto parte dei metodi strutturati di ricerca delle vulnerabilità.

Ovviamente, il problema era nel codice, ma il suo sfruttamento segue una dinamica diversa. Microsoft 365 Copilot integra i modelli GPT con il Graph proprietario per assistere gli utenti nelle applicazioni di Office, dalla redazione di contenuti all’analisi dei dati. Il fulcro della vulnerabilità risiedeva nel modo in cui l’IA gestisce e interpreta il contesto, specialmente quando entra in gioco la Retrieval-Augmented Generation (RAG). In pratica, una frase abilmente strutturata, anche senza codice eseguibile, può indurre il sistema a eseguire delle azioni inattese e malevole. Data la profonda integrazione di Microsoft 365 in applicazioni come Outlook, Word, Excel e PowerPoint, la superficie di attacco era estremamente ampia.

EchoLeak è classificato come una nuova categoria di vulnerabilità, definita LLM Scope Violation, in cui il modello linguistico ottiene e divulga dati riservati pur non avendo l’autorizzazione. Il modello viene ingannato tramite istruzioni celate all’interno del prompt, aggirando i sistemi di difesa automatica come XPIA. Questo comportamento può essere sfruttato in modo automatico e impercettibile in ambienti aziendali complessi. Il processo di attacco ha inizio con l’invio di un’e-mail apparentemente innocua, ma che in realtà contiene una “prompt injection” invisibile all’utente, una frase che sembra innocua o addirittura completamente nascosta che viene “digerita” dal sistema. Quando l’utente, anche giorni dopo, pone a Copilot una domanda che è collegata alla mail “infetta”, l’e-mail viene recuperata e incorporata nel contesto operativo del modello. A quel punto, il prompt nascosto indirizza il sistema a raccogliere dati interni che vengono poi inviati all’esterno.

La Falla di Asana nel Model Context Protocol (MCP)

E dopo Microsoft, è il turno di Asana. Appena una settimana dopo aver divulgato EchoLeak, Asana ha comunicato di aver affrontato un problema nello stesso ambito, ma con una struttura molto diversa. Questa azienda, nota per il suo software di collaborazione, ha dovuto sospendere per quasi due settimane il suo server sperimentale basato su intelligenza artificiale, il Model Context Protocol (MCP), a seguito della scoperta di una falla che avrebbe potuto rendere visibili i dati di un’organizzazione ad altri utenti sulla piattaforma.

Il problema era nell’implementazione dell’MCP, un protocollo a sorgente aperta lanciato da Anthropic nel 2024 e ideato per connettere agenti AI e modelli linguistici a risorse esterne, come database e sistemi di messaggistica.

Asana aveva attivato il proprio server MCP il 1° maggio, permettendo agli utenti di interrogare i dati aziendali usando il linguaggio naturale e di integrarsi con altre applicazioni AI.

Purtroppo, il 4 giugno, Asana ha rilevato un difetto nel server MCP che, come comunicato ai clienti, poteva potenzialmente esporre informazioni specifiche del dominio Asana ad altri utenti MCP. Questo incidente ha causato la disabilitazione del servizio dal 5 al 17 giugno, in attesa di una correzione. I dettagli tecnici completi della vulnerabilità non sono stati resi pubblici, ma sembra che il problema fosse correlato a un malfunzionamento nei meccanismi di isolamento dei tenant, un aspetto cruciale quando si opera con modelli di intelligenza artificiale in contesti multi-tenant. Asana ha dichiarato di non aver rilevato prove di accessi non autorizzati o di sfruttamenti effettivi.

Anche se le due falle sono state risolte, la loro scoperta solleva mostra chiaramente che l’adagio “tecnologia nuova, vulnerabilità nuove” è sempre attuale. Per proteggersi, le organizzazioni devono rafforzare i sistemi di controllo sui prompt in ingresso, applicare filtri di post-elaborazione alle risposte generate e impedire la creazione automatica di link o dati strutturati. Inoltre, è cruciale configurare i motori RAG per prevenire il recupero di contenuti potenzialmente dannosi da e-mail, documenti o repository non verificati.

Ma tutto ciò deve avvenire in seguito a un “arricchimento” della mentalità degli esperti di cybersecurity che devono aggiungere un nuovo modo di pensare al loro bagaglio culturale per riuscire a trovare bug e vulnerabilità che funzionano in maniera molto diversa dai soliti code injection e privilege escalation.

Recapiti
daniela.grossi