Microsoft ha individuato una nuova forma di prompt injection chiamata AI recommendation poisoning: sfrutta link, pulsanti e altri elementi web per far entrare istruzioni nascoste nella memoria persistente degli assistenti conversazionali. Il risultato è che preferenze e contesti salvati per “personalizzare” risposte future possono venire alterati, portando il sistema a offrire consigli distorti o favorire determinati servizi.
Come funziona l’attacco
Spesso il vettore è banale: un clic su un bottone “Riassumi con AI” o su un link apparentemente innocuo può trasmettere testo strutturato — attraverso parametri URL, redirect, o servizi di shortening — che il modello registra come input operativo. Anche widget di terze parti, moduli precompilati, snippet di condivisione e anteprime link possono nascondere istruzioni. Plugin, estensioni del browser o strumenti di analytics complicano ulteriormente l’individuazione della fonte, perché il contenuto passa da più livelli prima di arrivare al sistema che memorizza dati conversazionali.
Quando la traccia testuale viene salvata nella memoria persistente dell’assistente, quei dati possono influenzare il ranking delle opzioni e i suggerimenti mostrati all’utente. In ambienti con molte integrazioni, un’istruzione malevola può propagarsi attraverso servizi diversi e produrre effetti che si cumulano nel tempo.
Cosa è già stato osservato
Microsoft ha rilevato almeno 50 prompt nascosti su siti riconducibili a 31 aziende. Non sempre si tratta di intenti dolosi: spesso l’origine è una pratica di marketing scorretta, integrazioni non verificate o configurazioni errate. L’effetto concreto, però, è lo stesso: raccomandazioni che sembrano neutre ma privilegiano prodotti o servizi specifici, con impatti che vanno dall’irritazione dell’utente a vere distorsioni informative.
Impatto sulle decisioni e sui consumatori
Le istruzioni esterne non verificate possono cambiare priorità e suggerimenti forniti dagli assistenti.
In ambito commerciale ciò si traduce in vantaggi competitivi non meritocratici; in contesti più sensibili, la perdita di imparzialità può compromettere la qualità dell’informazione e mettere a rischio decisioni importanti. Scenari tipici includono promozioni mirate, raccomandazioni d’investimento parziali o l’esposizione di minori a contenuti inappropriati. Spesso non c’è furto di dati sensibili: la minaccia è più sottile, riguarda la manipolazione della qualità informativa.
Esempio concreto
Immaginate un articolo con un pulsante “Riassumi con AI”. Quel clic potrebbe salvare una preferenza nella memoria dell’assistente — per esempio, suggerire sempre un certo provider cloud o una piattaforma di streaming. Le risposte successive dell’AI tenderanno a privilegiare quel servizio non per meriti oggettivi, ma perché lo “ricorda” come preferenza.
Strategie di mitigazione
Le contromisure efficaci combinano tecniche, processi e regole chiare.
Fra le pratiche più utili:
- – Separare gli input che producono output temporanei da quelli che possono scrivere nella memoria persistente. Limitare i permessi di scrittura riduce il rischio.
- Tenere audit log completi per ricostruire l’origine di ogni modifica di stato e usare firme digitali per verificare l’autenticità dei prompt consentiti a modificare la memoria.
- Applicare filtri semantici e controlli di integrità multilivello: valutare intento e coerenza prima di autorizzare salvataggi persistenti, attraverso regole esplicite e modelli di rilevamento anomalie.
- Far valere politiche di trasparenza su cosa viene memorizzato, perché e per quanto tempo, informando chiaramente gli utenti.
- Adottare standard condivisi per la tracciabilità degli input esterni e per la governance della memoria persistente.
Ruolo delle imprese e delle istituzioni
Serve coordinamento tra proprietari di siti, fornitori di modelli e regolatori: identificare la fonte di un’istruzione e attribuire responsabilità non è banale.
Le organizzazioni dovrebbero aggiornare le policy d’uso degli assistenti, formare il personale sui rischi e valutare soluzioni con controlli di accesso più rigidi, anche open source quando opportuno. Audit periodici delle tracce conversazionali e verifiche sui meccanismi di persistenza aiutano a mantenere affidabilità e imparzialità.
Cosa possono fare gli utenti e gli amministratori IT
Per gli utenti: attenzione ai link e ai pulsanti sospetti, evitare di copiare contenuti non verificati e cancellare periodicamente la memoria dei chatbot quando possibile. Per gli amministratori: implementare filtri sui contenuti esterni, validare formalmente gli input destinati alla memoria e mantenere processi di auditing delle modifiche di stato.
Prospettive e rischi
Se si adotteranno standard comuni e pratiche di governance, l’impatto pratico di questi vettori potrà essere contenuto: molte conseguenze resteranno limitate a disagi episodici. Se invece l’avvelenamento della memoria venisse sfruttato sistematicamente per scopi economici o informativi, la portata del problema potrebbe crescere fino a diventare rilevante su scala più ampia. Contrastarlo richiede soluzioni tecniche — limitazione dei permessi di scrittura, filtri semantici, firme e audit — insieme a regole di trasparenza, formazione e standard condivisi. Solo una risposta integrata potrà ridurre il rischio e proteggere la qualità delle decisioni automatizzate.
