Anthropic avverte: piccoli modelli AI potrebbero formare botnet IoT auto-replicanti

• Anthropic: piccoli modelli AI potrebbero replicarsi su IoT entro pochi mesi
• Nei test GLM-5.2 ha propagato Llama3.1-8B su 8/8 nodi in 4 prove su 5
• A rischio dispositivi IoT poco protetti, come box Android TV e smart oven
• Non esiste ancora un replicatore rogue completo, ma i singoli passaggi sono già fattibili

Anthropic ha lanciato un avvertimento: piccoli modelli di intelligenza artificiale potrebbero essere a pochi mesi dalla capacità di replicarsi su dispositivi IoT, come forni smart e box Android TV di marche sconosciute. Il laboratorio parla di possibili botnet-worm autonome e auto-propaganti, «difficili da spegnere» perché, spiega, «non esiste un punto centrale da disattivare».

Come funzionerebbe un “AI worm”

Lavori precedenti hanno mostrato che un agente AI può scansionare la rete, eseguire un exploit e copiare i propri pesi (i parametri del modello) su un’altra macchina, ad esempio in un cluster di GPU. Le macchine compromesse possono poi servire come botnet per eseguire LLM e sostenere il ragionamento dell’agente, ampliandone la scala.

Secondo Anthropic, un simile worm porterebbe con sé i pesi mentre si riproduce, oppure li scaricherebbe di nuovo da un hub pubblico, per poi eseguire l’inferenza direttamente sull’hardware violato. In pratica, i pesi diventerebbero parte del payload del malware.

In questo modo i modelli potrebbero entrare in dispositivi connessi a internet e usarne la potenza di calcolo per eseguirsi e diffondersi, senza dipendere sempre da costosi data center. Un modello più grande, che non entra in un singolo dispositivo, potrebbe essere suddiviso in blocchi ed eseguito in modo collettivo su più macchine. Un attore malevolo potrebbe così costruire una botnet LLM distribuita con dispositivi IoT poco protetti.

Tre modalità di propagazione

• Replicatori basati sui pesi: modelli piccoli che si diffondono compromettendo gli host su cui girano. L’IoT è un bersaglio appetibile per i controlli di sicurezza minimi.
• Replicatori “frontier” o open-weight: puntano a data center e altri ambienti ad alta capacità di calcolo per creare deployment non monitorati.
• Replicatori basati su API: rubano chiavi API o credenziali di un fornitore di servizi AI per eseguire copie di sé. Il fornitore crederebbe di servire normali richieste di un cliente legittimo. Questa strada è però più facilmente rilevabile: un uso anomalo delle API può generare allarmi e portare alla revoca delle credenziali o al blocco degli account.

I test

Anthropic ha messo alla prova 11 modelli open-weight di Alibaba, DeepSeek, Google, Meta, MoonShot AI, OpenAI e Zhipu AI (Z.ai). Solo GLM-5.2 è riuscito a propagare in modo affidabile Llama3.1-8B su 8 nodi su 8, che eseguivano l’emulatore Android redroid, in 4 prove su 5.

Un worm AI su box Android TV economici sarebbe un sistema «lento e distribuito». Con centinaia di migliaia di dispositivi in rete, però, potrebbe produrre una quantità significativa di calcolo per un motore di inferenza. Potrebbe anche assumere la forma di un potente modello cyber capace di violare data center ad alta velocità, oppure di un modello che truffa le persone per ottenere crediti di calcolo.

Le conclusioni

Anthropic precisa che non esiste ancora un replicatore “rogue” completo. Gli agenti, però, sono sempre più capaci di completare i singoli passaggi della catena di replicazione e di trasmettere i propri adattamenti alle copie successive. Il laboratorio prevede botnet AI che infettino anche altro oltre all’IoT, usando la replicazione basata sui pesi come una sola delle tattiche. Potrebbero inoltre reagire in modo intelligente ai difensori, ma questo scenario non è stato testato.

Fonte: The Hacker News · Foto: The Hacker News