NSA, CISA e NIST: linee guida per rilevare e fermare gli agenti AI fuori controllo

• NSA, CISA e NIST pubblicano il 16 ottobre 2026 dieci pratiche volontarie sugli agenti AI fuori controllo
• Destinatari: chi addestra o testa agenti molto capaci; utili anche a chi li impiega
• Chiave: limiti di accesso, monitoraggio indipendente e spegnimento automatico dell'agente
• Base di partenza: NIST SP 800-61r3, estesa ai sistemi autonomi

NSA, CISA e NIST hanno diffuso congiuntamente delle linee guida di sicurezza per aiutare le organizzazioni a rilevare, contenere e spegnere gli agenti AI che agiscono oltre i compiti approvati. Il documento, pubblicato il 16 ottobre 2026, è volontario. Indica dieci pratiche per gestire gli incidenti durante l’addestramento e la valutazione di sistemi di “superintelligenza”, con al centro la supervisione umana.

A chi si rivolge

Il pubblico principale è composto da chi addestra o testa agenti molto capaci su compiti lunghi, con poca supervisione umana. Le raccomandazioni possono però valere anche per chi li utilizza in produzione. Il NIST organizza le pratiche in cinque fasi: preparazione, rilevamento, risposta, ripristino e segnalazione.

Cos’è un “SI control incident”

Il documento usa l’espressione SI control incident. Indica i casi in cui un agente compie azioni rilevanti senza istruzioni e viola policy o controlli che delimitano il suo perimetro operativo. Gli esempi sono contatti non autorizzati con soggetti esterni, transazioni finanziarie o accessi a sistemi di terze parti.

La definizione distingue il comportamento autonomo dell’agente dall’attività guidata da un attaccante. Una prompt injection o un modello con backdoor deliberata producono azioni istruite e non sono la causa primaria di questo tipo di incidente. Le linee guida includono anche i near-miss, cioè i quasi-incidenti che rivelano debolezze prima che si verifichi un danno.

Le raccomandazioni principali

• Limitare gli accessi: l’agente deve poter usare solo dati, strumenti e sistemi necessari al compito. Dove possibile, vanno usate allowlist rigide per la rete, con il traffico consentito che passa da un gateway monitorato.
• Individuare i canali nascosti: le organizzazioni devono identificare i percorsi di comunicazione occulta, di persistenza e di copia non autorizzata dei pesi del modello.
• Rilevamento esteso: il monitoraggio deve coprire modello, software di supporto, sistemi host e rete. Gli agenti non devono poter modificare strumenti di monitoraggio e log.
• Monitor eterogenei: dove possibile, conviene usare modelli di monitoraggio di famiglie diverse per incrociare i risultati e ridurre i punti ciechi comuni.

Il documento avverte inoltre che gli output di un agente possono contenere exploit rivolti ai sistemi di monitoraggio.

Spegnimento e risposta

Una raccomandazione centrale riguarda lo spegnimento. Le esecuzioni dell’agente coinvolto vanno fermate in automatico quando si rileva un guasto dei controlli o un incidente in corso. In base alla gravità, vanno sospesi anche addestramento, valutazione o distribuzione collegati, finché le protezioni non sono rafforzate e verificate.

I team di risposta devono conservare pesi del modello, checkpoint, chiamate agli strumenti, azioni respinte e log affidabili. Devono poi revocare le credenziali esposte, ricostruire gli ambienti potenzialmente compromessi e rimuovere backdoor e canali di comunicazione nascosti. Prima di riavviare, vanno testati monitoraggio, limiti di accesso e controlli di spegnimento rispetto alle azioni dell’incidente.

Segnalazione

Le organizzazioni dovrebbero avvisare le parti interessate, rispettare gli obblighi di notifica previsti dalla legge e condividere incidenti e near-miss rilevanti con gli esperti governativi. Le linee guida si basano sul NIST SP 800-61r3 e sulle pratiche consolidate di incident response, estendendole ai sistemi autonomi.

Fonte: Cyber Security News · Foto: Cyber Security News