Il Data poisoning è una tecnica di attacco informatico che mira a compromettere l'affidabilità dei sistemi di intelligenza artificiale. Si tratta di una vera e propria manipolazione deliberata dei modelli, ed è fondamentale comprenderne i rischi emergenti.
L'obiettivo è proprio la compromissione dei dati utilizzati per addestrare i modelli di AI e machine learning: l'intelligenza artificiale imparerà quindi informazioni errate o distorte, portando di conseguenza a decisioni sbagliate o a prestazioni degradate.
A renderla una minaccia particolarmente pericolosa, proprio la sua natura di attacco alla fonte: se l'algoritmo parte da informazioni alterate, ogni suo "ragionamento" sarà viziato; anche una modifica apparentemente minima potrebbe portare a errori, risultati distorti e vulnerabilità difficili da individuare, che potrebbero essere sfruttate in un secondo momento.
Per alcuni settori, come quello finanziario e bancario, il data poisoning può avere impatti significativi sia dal punto di vista operativo sia in termini di compliance e reputazione.
La logica del 'garbage in, garbage out'
Alla base del Data poisoning c'è un principio ben noto nell'informatica: 'garbage in, garbage out'.
Inserire dati di scarsa qualità o corrotti in un sistema, equivale a risultati altrettanto scadenti o dannosi: un attaccante non ha bisogno di violare il codice sorgente di un modello di IA, quando può inquinare le informazioni che il modello utilizza per imparare.
Questo avviene spesso in modo sottile. Un malintenzionato può modificare piccole parti dei dati, rendendo le anomalie difficili da individuare con semplici controlli statistici.
Una volta che il sistema ha assimilato questi dati avvelenati, inizia a comportarsi in modo imprevisto, seguendo uno schema logico imposto dall'attaccante durante la fase di apprendimento.
Come si svolge un attacco di Data poisoning
Gli attacchi di Data poisoning non sono tutti uguali, ma variano a seconda di cosa l'attaccante vuole ottenere. Possiamo distinguerli principalmente in due grandi categorie, anche se le tecniche specifiche possono sovrapporsi.
Ci sono gli attacchi mirati, dove l'obiettivo è far sì che il modello AI prenda una decisione specifica e sbagliata in determinate circostanze. Questi attacchi sono spesso molto subdoli, perché potrebbero non intaccare le prestazioni generali del modello, ma solo in casi specifici che l'attaccante vuole sfruttare.
Un esempio potrebbe essere manipolare un sistema di rilevamento frodi per far passare transazioni sospette come legittime.
Poi ci sono gli attacchi non mirati, il cui scopo è più generale: degradare le prestazioni complessive del modello.
L'idea qui è introdurre abbastanza 'rumore' o dati corrotti da rendere il sistema meno accurato e più inaffidabile in generale, portando a un calo delle prestazioni e rendendo l'AI meno utile o addirittura inutilizzabile.
A volte, si arriva ad amplificare pregiudizi già presenti nei dati originali, rendendo il modello ancora più distorto e ingiusto nelle sue decisioni.
Si tratta di attacchi particolarmente dannosi quando il target sono i modelli open source, dove l'accesso ai dati di addestramento è più aperto.
Le tipologie
Le diverse tipologie di Data poisoning sono state elencate in un recente articolo a firma di Simona Riela, Senior Channel and Territory Manager di Object First in Italia.
Ecco le principali tecniche da lei segnalate:
- Label Flipping: modifica intenzionale delle etichette corrette con etichette errate, inducendo il modello a effettuare classificazioni sbagliate;
- Data Injection: inserimento di dati falsi o fuorvianti per alterare il comportamento e le decisioni del modello;
- Backdoor Attacks: introduzione di trigger nascosti che attivano comportamenti dannosi quando si verificano condizioni specifiche;
- Clean-Label Attacks: manipolazioni estremamente sofisticate che mantengono dati apparentemente legittimi, rendendo l'attacco particolarmente difficile da individuare.
Le possibili conseguenze per banche e mercati
L'impatto di un attacco di Data poisoning portato a buon fine può essere particolarmente significativo per le imprese del settore finance.
Il mancato rilevamento di frodi è una possibilità, se i modelli vengono addestrati su dati compromessi proprio per impedire l'identificazione di transazioni fraudolente, oppure per generare un numero significativo di falsi positivi, portando a perdite economiche e di risorse per la banca.
Analogo il discorso per i processi di AML e KYC, in cui l'efficacia dei sistemi utilizzati per rilevare il riciclaggio di denaro, oppure il tentativo di aprire rapporti per identità fittizie o rubate, potrebbe essere compromessa. Spianando la strada all'azione di gruppi criminali.
La manipolazione dei mercati è un'altra prospettiva particolarmente inquietante. Il ricorso al trading algoritmico ha già generato situazioni di volatilità e instabilità in passato, situazioni che oggi si complicano pensando a cosa potrebbe accadere se l'AI prendesse decisioni su dati alterati appositamente per ingannarla.
Oltre a influenzare il prezzo degli asset, un attacco del genere avrebbe un impatto negativo sulla fiducia degli investitori.
Gli errori nei processi di valutazione del credito sono un'altra possibilità e potrebbero risultare in concessioni inappropriate oppure, al contrario, al rifiuto ingiustificato di finanziamenti.
Strategie di difesa contro il Data poisoning
Proteggersi dal Data poisoning richiede un approccio proattivo e multilivello, perché una volta che i dati sono stati corrotti, il danno può essere difficile da rimediare.
Validazione e pulizia dei dati di addestramento
Prima ancora di alimentare un modello con nuove informazioni, è fondamentale sottoporle a controlli approfonditi per scovare eventuali anomalie, incongruenze o dati palesemente falsi.
Questo processo di sanificazione aiuta a eliminare le potenziali minacce prima che possano influenzare l'apprendimento del modello.
Monitoraggio continuo
Una volta addestrato un modello, il lavoro è appena iniziato. Bisogna osservarne il comportamento, valutarne gli output e confrontarli con le aspettative.
Un calo delle prestazioni, un aumento di errori inaspettati o l'emergere di bias strani potrebbero essere un segnale che qualcosa non va.
L'auditing regolare dei modelli AI è dunque un passaggio chiave per intercettare deviazioni sospette.
Qui si rivela ancora più irrinunciabile un approccio 'human in the loop', dove un esperto umano supervisiona e valida le decisioni più critiche del sistema, aggiunge un ulteriore strato di sicurezza.
Applicazione del principio Zero Trust ai dati
Il principio Zero Trust, applicato ai dati, presuppone di non fidarsi mai implicitamente di alcuna informazione, sia essa interna o esterna all'organizzazione.
Questo approccio impone dunque una verifica continua dei dati prima che vengano utilizzati per l'addestramento di modelli AI o prendere decisioni: ogni punto dati deve essere autenticato e autorizzato, indipendentemente dalla sua origine.
Implementare controlli di accesso rigorosi, basati sul principio del privilegio minimo, è fondamentale, e solo il personale autorizzato dovrebbe avere accesso, pur sempre monitorato, ai dati sensibili.
La crittografia dei dati, sia a riposo che in transito, aggiunge un ulteriore livello di protezione, rendendo i dati illeggibili in caso di accesso non autorizzato.
Utilizzo di algoritmi di adversarial training
L'addestramento avversario (adversarial training) è la tecnica mediante la quale è possibile rendere i modelli AI più resilienti agli attacchi di Data poisoning.
Invece di addestrare il modello solo su dati, questo metodo lo espone a esempi creati appositamente per ingannarlo, insegnandogli così a riconoscere e resistere a tentativi di manipolazione futuri. Una sorta di vaccino contro attacchi specifici.
Lo storage immutabile come ultima linea di difesa
Lo storage immutabile garantisce, come suggerito dal nome, l'immutabilità dei dati a livello di oggetto.
Ciò significa che i dati non possono essere cancellati, modificati o crittografati, nemmeno con credenziali amministrative privilegiate, aiutando così gli istituti finanziari a rispettare le rigide normative in materia di conservazione e sicurezza dei dati e garantendo la continuità operativa.
