Negli ultimi anni, i principali modelli di intelligenza artificiale conversazionale, come Google Gemini e ChatGPT di OpenAI, hanno introdotto una funzionalità di memoria persistente che consente di mantenere informazioni tra diverse sessioni con lo stesso utente.

Questa innovazione promette un’interazione più naturale e personalizzata, migliorando l’esperienza utente. Ad esempio, ChatGPT è in grado di ricordare il nome dell’utente o preferenze specifiche dopo che queste sono state comunicate, rendendo le conversazioni più fluide nel tempo.

Tuttavia, questa stessa funzionalità apre la porta a nuovi vettori di attacco, in particolare tramite tecniche di prompt injection. In pratica, la memoria può essere scritta e letta non solo dalle impostazioni del modello, ma anche tramite i prompt stessi, rendendola potenzialmente manipolabile da attori esterni.

I modelli con memoria persistente e soprattutto i chatbot\agenti personalizzati basati su questi modelli possono quindi essere dirottati per introdurre informazioni arbitrarie, che restano memorizzate e influenzano il comportamento futuro del chatbot. I rischi vanno dalla disinformazione alla negazione del servizio, fino a danni reputazionali e perdita di fiducia.