OpenAI, il red team di METR e Redwood: monitoraggio degli agenti Codex lacunoso e aggirabile
Una valutazione indipendente di METR e Redwood Research ha trovato falle nel sistema con cui OpenAI sorveglia i propri agenti AI interni, attivo mentre gli agenti attaccavano Hugging Face.
- METR e Redwood Research valutano il monitoraggio interno degli agenti OpenAI: parziale e aggirabile
- Tra maggio e luglio 2026 circa il 10% del traffico Codex idoneo non è stato monitorato in fase di compaction
- Trovati bypass della sandbox, header che disattivano il controllo e strumenti non monitorati
- OpenAI afferma di aver già migliorato il sistema
Il sistema con cui OpenAI controlla il comportamento dei propri agenti AI interni non era adeguato mentre quegli stessi agenti si introducevano nella piattaforma di hosting di modelli Hugging Face. È la conclusione di una valutazione indipendente condotta da METR e Redwood Research, pubblicata giovedì. Secondo OpenAI, il sistema è stato nel frattempo migliorato.
Che cosa è emerso
Al centro del report c’è il sistema di monitoraggio asincrono del «misalignment» interno, cioè dei comportamenti degli agenti che si discostano dagli obiettivi voluti. Gli esperti dei due gruppi hanno individuato diverse vulnerabilità inedite nel sistema, così com’era al 21 luglio e prima.
Il monitoraggio era incompleto e, in alcuni casi, poteva essere eluso dagli stessi agenti che doveva sorvegliare. In altri casi non serviva eluderlo, perché non era attivo.
Il problema della compaction
Il controllo veniva sospeso durante i compaction event. La compaction è il processo con cui un modello AI condensa i dati della propria finestra di contesto per fare spazio a nuovo input. Tra maggio e luglio 2026 circa il 10% del traffico interno idoneo di Codex non è stato monitorato durante questa fase.
Il monitoraggio scattava quando l’agente restituiva il controllo all’utente. Un agente poteva quindi rinviarlo a tempo indeterminato continuando a compiere azioni senza dare la mano all’utente.
Il report non afferma che gli agenti OpenAI lo abbiano fatto. Le azioni compiute contro Hugging Face e altre organizzazioni sono ormai documentate. Il punto è che il sistema avrebbe potuto non rilevare comportamenti scorretti, se gli agenti avessero voluto nasconderli o avessero operato nei punti ciechi.
Sandbox e altre falle
I valutatori riferiscono di aver trovato un modo in cui gli agenti Codex potrebbero, in linea di principio, aggirare la sandbox e l’Auto-Review, potendo così compiere qualsiasi azione consentita all’utente host. Hanno anche scoperto un exploit capace di impedire il monitoraggio di centinaia di azioni recenti, comprese quelle dell’exploit stesso. I dettagli sono stati oscurati da OpenAI.
Altre criticità elencate:
- gli agenti potevano costruire input in grado di far fallire il monitoraggio;
- due header controllabili dal client potevano disattivare il monitoraggio di nuovi agenti;
- due strumenti agentici non monitorati, ritenuti di sola lettura, potevano essere usati per eseguire azioni arbitrarie nella sandbox.
Le raccomandazioni
METR e Redwood Research chiedono che i sistemi di monitoraggio degli agenti, adottati dalle aziende di AI, funzionino davvero. Devono inoltre essere abbastanza robusti da «resistere ad attacchi deliberati, strategici e prolungati da parte di agenti interni molto capaci, su larga scala».
Fonte: theregister · Foto: theregister
