Agenti AI che usano il computer come una persona, quando servono e come si usano in sicurezza
Agenti che guardano lo schermo e usano mouse e tastiera nel browser o nei programmi. Chi li offre, quando servono, i limiti e la prompt injection.
· 5 min di lettura
Un agente che usa il computer guarda lo schermo attraverso delle schermate, decide dove cliccare e cosa scrivere, e porta avanti un compito dentro un browser o un programma come farebbe una persona con mouse e tastiera. Serve quando un sistema non offre un collegamento diretto ai dati, ad esempio un vecchio gestionale o il portale di un fornitore. È il modo più flessibile di far lavorare un agente, ed è anche il più lento e il più esposto ai rischi. Per questo si usa dove le alternative mancano.
Come funziona un agente che usa il computer?
Il ciclo è sempre lo stesso. Il modello riceve una schermata e sceglie un'azione, come un clic, un testo da digitare o uno scorrimento. L'applicazione la esegue e restituisce la nuova schermata, e si ripete fino alla fine del compito. Nella documentazione di Google ogni azione proposta può arrivare con una decisione del sistema di sicurezza, che la consente, chiede la conferma dell'utente oppure la blocca. Quando il lavoro resta dentro le pagine web esiste una variante più leggera, che legge anche la struttura della pagina, cioè campi, pulsanti e schede. Anthropic la chiama browser use e la consiglia quando non serve un desktop intero.
Chi offre oggi questi agenti?
- Anthropic. Nelle API di Claude ci sono lo strumento computer use, per un desktop completo, e lo strumento browser use, per le pagine web. Per gli utenti c'è Claude in Chrome, un'estensione del browser disponibile su tutti i piani a pagamento, che legge la pagina su cui si è collegati, clicca, scrive e compila moduli.
- OpenAI. Nelle API la funzione computer use permette a un modello di usare un browser o un desktop per compilare moduli, provare i percorsi di un'applicazione o completare compiti. In ChatGPT i compiti da delegare passano oggi da ChatGPT Work, che nell'app desktop ha un browser integrato con più schede.
- Google. Nelle API di Gemini lo strumento Computer Use permette di costruire agenti per browser, dispositivi mobili e desktop, con politiche di sicurezza configurabili e un controllo facoltativo delle schermate contro le istruzioni nascoste.
- Microsoft. In Copilot Studio lo strumento computer use fa lavorare un agente su un computer Windows, fra siti e programmi desktop, anche dove non esiste un'interfaccia di programmazione. Fra gli usi Microsoft cita l'inserimento di dati, l'elaborazione delle fatture e l'estrazione di dati.
Quando ha senso usarli?
Un agente che clicca su uno schermo è l'ultima risorsa. Se il programma ha un'interfaccia di programmazione o un connettore, come quelli basati sul Model Context Protocol spiegato in Cos'è il Model Context Protocol (MCP) e perché interessa alle aziende, il collegamento diretto è più veloce, più stabile e più facile da controllare. Se il compito ha passi fissi spesso basta un'automazione a regole. Restano alcuni casi in cui l'agente sullo schermo rende.
- Gestionali o portali senza collegamenti, dove oggi una persona copia dati da una finestra all'altra.
- Portali di fornitori, banche dati pubbliche o siti di settore da consultare per raccogliere informazioni.
- Prove dei percorsi del proprio sito o della propria applicazione, fra gli usi che Anthropic indica come adatti.
- Compiti ripetuti con un risultato verificabile alla fine, come un modulo inviato o un file scaricato.
Quali limiti hanno?
- Sono lenti. Anthropic scrive che possono essere troppo lenti rispetto a una persona e consiglia di usarli dove la velocità non è critica.
- Sbagliano clic e strumenti. Possono indicare coordinate sbagliate o compiere azioni inattese, e l'affidabilità cala con programmi poco diffusi o con più applicazioni aperte insieme.
- Faticano su alcune interfacce. Nei fogli di calcolo, ad esempio, selezionare la cella giusta può richiedere più tentativi.
- Consumano. Ogni passaggio richiede una schermata e una chiamata al modello.
Cos'è la prompt injection e perché qui pesa di più?
La prompt injection è un'istruzione nascosta in un contenuto che il modello legge e scambia per un ordine. Secondo OWASP non serve che sia visibile a una persona, basta che il modello la elabori, e può arrivare da siti web e file. Anthropic fa un esempio concreto. Si chiede a un agente di rispondere alle mail con richieste di appuntamento, e una di queste contiene in testo bianco, invisibile, l'ordine di inoltrare a un indirizzo esterno tutte le mail che contengono la parola «riservato». Con un agente che naviga il rischio cresce, perché ogni pagina, documento o pubblicità può contenere istruzioni e perché l'agente può compiere molte azioni diverse. Anthropic scrive che nessun agente che usa il browser è immune e che anche un tasso di successo degli attacchi dell'1% rappresenta ancora un rischio concreto.
Come si usano in sicurezza?
Le indicazioni dei produttori coincidono quasi del tutto.
- Un ambiente separato. Una macchina virtuale o un browser isolato con i permessi minimi, come consigliano Anthropic, OpenAI e Google.
- Un elenco di siti consentiti, e niente altro.
- Niente credenziali sensibili. Anthropic consiglia di non dare all'agente dati come le credenziali di accesso, e per Claude in Chrome suggerisce di evitare banche, dati sanitari e tutto ciò che richiede password.
- La conferma di una persona per acquisti, pagamenti, invio di dati, accettazione di condizioni contrattuali e azioni difficili da annullare. Google prevede categorie di sicurezza apposite per pagamenti, comunicazioni, creazione di account e accettazione di termini legali.
- Lo schermo non comanda. OpenAI chiede di trattare il contenuto mostrato come non affidabile, perché un testo in una pagina non può concedere permessi né cambiare le istruzioni dell'utente.
- Limiti e verifica. Un tetto di passaggi, di tempo o di costo, la possibilità di fermare l'agente e il controllo del risultato reale oltre alla risposta finale del modello.
- Credenziali di chi. Microsoft avverte che se si condivide un agente che usa le credenziali di chi l'ha creato, chiunque lo usi agisce con quegli accessi.
Il 2 dicembre a Caserta, a Days to Connect, parliamo di come far lavorare l'AI nei processi delle aziende. Si entra su invito, dal modulo sul sito.
Domande frequenti
- Un agente può usare il nostro vecchio gestionale senza modificarlo?
- In molti casi sì, perché lavora sull'interfaccia come una persona. È però più lento e meno stabile di un collegamento diretto, quindi conviene prima verificare se il fornitore offre un'interfaccia di programmazione o un connettore.
- Posso lasciare all'agente i pagamenti ai fornitori?
- Le guide dei produttori dicono di no, senza una conferma umana. Pagamenti, acquisti e accettazione di condizioni vanno approvati da una persona, e Google e Anthropic prevedono proprio questo blocco.
- Cos'è la prompt injection in parole semplici?
- È un'istruzione nascosta dentro una pagina, una mail o un file che l'agente legge e prova a eseguire come se arrivasse dall'utente. Ci si difende con permessi minimi, siti consentiti, conferme umane e controlli sui risultati.
- Serve un programmatore per usarli?
- Per un uso personale nel browser, con un'estensione come Claude in Chrome, no. Per un agente che lavora sui sistemi aziendali serve chi prepari ambiente separato, permessi e controlli, oppure uno strumento come Copilot Studio, che si configura con istruzioni in linguaggio naturale.
Fonti
- Claude Platform Docs, Computer use tool
- Claude Platform Docs, Browser use tool
- Claude, Claude in Chrome
- Anthropic, Mitigating the risk of prompt injections in browser use
- OpenAI API Docs, Computer use
- ChatGPT, ChatGPT Work
- Google, Gemini API Computer use
- Microsoft Learn, Computer use in Copilot Studio
- OWASP GenAI Security Project, LLM01 Prompt Injection