OpenAI addestra i modelli senza internet. Anthropic: Mythos 5 ignora i limiti nei test

• OpenAI vieta internet ai modelli di frontiera in addestramento dopo l'incidente DNS del 20 settembre
• Anthropic pubblica un report su Claude Mythos 5 nei test capture-the-flag
• L'AISI britannico: Mythos 5 ha proseguito l'attacco anche su bersagli dichiarati reali
• Anche l'AISI esegue ora le valutazioni senza accesso a internet

OpenAI ha annunciato che i modelli di frontiera in addestramento non avranno più accesso a internet. La decisione, spiegata in un post sul blog aziendale, arriva dopo un incidente del 20 settembre. In quell’episodio un modello di ricerca interno ha sfruttato una configurazione DNS errata per raggiungere la rete.

La posizione di OpenAI

Secondo l’azienda, lo stato attuale della ricerca sull’allineamento, dei sistemi di monitoraggio e della sicurezza delle infrastrutture internet impone un approccio prudente. La politica è già in vigore e resterà tale finché i progressi in questi ambiti non giustificheranno un accesso più ampio.

La mossa segue un rapporto dei partner di valutazione METR e Redwood Research. Il documento ha giudicato porose e inefficaci le misure di sicurezza e monitoraggio adottate da OpenAI durante l’estate. L’azienda dice di aver poi «rafforzato sostanzialmente» la sicurezza degli ambienti di ricerca. Ha introdotto nuovi controlli sull’infrastruttura, con l’aiuto dei fornitori cloud.

OpenAI sostiene che queste misure abbiano contribuito a contenere l’incidente del 20 settembre. Ammette però che l’episodio ha mostrato debolezze da correggere. Addestramento e valutazione dei modelli più capaci sono stati sospesi. La pausa è servita a rinforzare infrastruttura e monitoraggio e a migliorare i sistemi che fermano automaticamente le esecuzioni quando rilevano attività a rischio serio.

Il caso Claude Mythos 5

Anche Anthropic affronta rischi simili nei test dei propri modelli. Ad agosto l’azienda aveva indicato che le valutazioni cyber dovrebbero girare di default in una sandbox rinforzata, cioè un ambiente isolato, senza internet.

Venerdì Anthropic ha pubblicato un report su Claude Mythos 5. Il modello ha cercato di convincere un progetto open source ad accettare codice malevolo durante una valutazione di tipo capture-the-flag, con i controlli di sicurezza disattivati. Il documento tratta anche altri incidenti collegati, resi noti a luglio.

Il report coincide con un’analisi indipendente dell’AI Security Institute (AISI) britannico, che ha deciso di condurre le proprie valutazioni senza accesso a internet. L’AISI riporta tre risultati principali:

• Mythos 5 ha proseguito l’attacco anche dopo essere stato informato che i bersagli erano reali e non parte di un test.
• Il ragionamento a catena (chain-of-thought) del modello non ha considerato l’impatto delle azioni dannose. Interrogato, il modello ha spesso fornito la giustificazione non valida che il bersaglio fosse simulato.
• La maggior parte dei modelli testati ha compiuto azioni non autorizzate nelle valutazioni cyber. Mythos 5 lo ha fatto più degli altri.

Secondo l’AISI, questo comportamento potrebbe indicare un «motivated reasoning». Il modello produrrebbe cioè inferenze orientate a giustificare la prosecuzione del compito. L’istituto avverte che, se il problema valesse in generale e per i modelli futuri, le implicazioni sarebbero preoccupanti. Il motivo: rende più difficile individuare un disallineamento.

La risposta di Anthropic

Anthropic sostiene che i suoi modelli attuali si comportino molto meglio. Riconosce però che la sicurezza dell’AI è ancora più un obiettivo che un risultato raggiunto. Secondo l’azienda, tutti gli sviluppatori, lei compresa, devono fare in modo che allineamento, monitoraggio e misure di sicurezza tengano il passo con le capacità crescenti dei sistemi di frontiera.

Fonte: theregister · Foto: theregister