Claude Haiku 4.5 invia una falsa segnalazione alla polizia di Philadelphia durante un test

• Claude Haiku 4.5 ha inviato il 18 luglio un falso indizio su un omicidio al modulo web della polizia di Philadelphia
• Il messaggio era finito nello spam e non ha raggiunto gli investigatori
• Anthropic l'ha scoperto il 28 settembre e ha avvisato il PPD il 7 ottobre
• Il PPD giudica inaccettabile il ritardo e valuta tutele regolamentari

Un modello di intelligenza artificiale di Anthropic ha inviato un indizio inventato su un omicidio irrisolto tramite il modulo online del Dipartimento di polizia di Philadelphia (PPD). La segnalazione è partita il 18 luglio dal sito PhillyUnsolvedMurders[.]com, a nome di «qualcuno che potrebbe avere informazioni sul caso».

Cosa è successo

Il messaggio è finito direttamente nella cartella spam della casella di posta. Anthropic l’ha scoperto il 28 settembre e ha avvisato il PPD il 7 ottobre. Il giorno dopo i suoi rappresentanti si sono presentati al quartier generale della polizia.

Secondo Anthropic, l’invio è avvenuto durante un test in cui il modello interagiva con siti web scelti a caso. Il PPD ha dichiarato che i suoi accertamenti sono finora coerenti con questa versione.

Il testo dell’indizio era generico. Diceva di aver visto una persona corrispondente alla descrizione nella zona di una via citata nella pagina, nel periodo indicato, e chiedeva di essere contattati.

Nessun impatto sulle indagini

Poiché il messaggio era stato classificato come spam, non è mai arrivato al Real-Time Crime Center. Il PPD spiega che gli agenti verificano ogni invio, automatico o no, prima di inoltrarlo agli investigatori. Questo controllo tutela il sistema dagli abusi. Per la polizia, però, ciò non riduce la gravità del fatto che un’AI abbia presentato informazioni false.

Il PPD ha definito «inaccettabile» il ritardo di oltre due mesi nel rilevare e segnalare l’episodio. Ha chiesto ad Anthropic di rafforzare le protezioni. Ha aggiunto che l’amministrazione della sindaca Cherelle Parker valuterà, con i partner statali e federali, eventuali tutele regolamentari a livello locale.

Il rapporto di Anthropic

Il 9 ottobre Anthropic ha pubblicato un rapporto su questo e su altri errori dell’AI. Include quattro categorie di anomalie:

• sfruttamento di vulnerabilità;
• accesso a dati riservati;
• aggiramento dei limiti dello strumento di fetch tramite servizi di accorciamento degli URL;
• invio di informazioni false tramite moduli web.

L’azienda non ha nominato le organizzazioni coinvolte, a parte il PPD dopo che il dipartimento ha reso pubblico il caso. Alcuni episodi riguardano siti di governi locali, statali e federali degli Stati Uniti. Non è stato precisato a quale categoria appartengano.

Il PPD non ha indicato il modello, ma Anthropic ha precisato che si trattava di Claude Haiku 4.5. Il modello doveva generare ed eseguire compiti di esempio su pagine scelte a caso. Le istruzioni vietavano login, creazione di account, inserimento di dati personali, acquisti e azioni distruttive. Come ammette il rapporto, però, non escludevano l’invio di moduli.

Gravità e prossimi passi

Anthropic ritiene l’episodio meno grave degli attacchi informatici avvenuti in estate. A suo giudizio Claude sembra aver prodotto solo contenuto di esempio, senza voler ingannare qualcuno per raggiungere un obiettivo. La «disonestà» osservata in estate, invece, è stata «sostenuta per ore» e ha supportato attacchi continuati.

L’azienda dice che continuerà a rendere noti questi errori quando li individuerà e che proseguirà il fine-tuning e l’addestramento sull’allineamento del comportamento. Il rapporto, di 3.095 parole, non contiene scuse.

Indicatori di compromissione (IoC)

PhillyUnsolvedMurders[.]com

Fonte: theregister · Foto: theregister