Un'AI che non si limita più a rispondere
Per anni abbiamo utilizzato l'intelligenza artificiale principalmente attraverso una casella di testo: l'utente fa una domanda e il modello genera una risposta. Con gli agenti AI dotati di Computer Use questo schema cambia radicalmente.
Questi sistemi possono interpretare ciò che appare sullo schermo e interagire con interfacce grafiche utilizzando azioni equivalenti a quelle di una persona: spostare il cursore, fare clic, scorrere una pagina, compilare campi e utilizzare applicazioni.
Il concetto è particolarmente importante perché permette all'intelligenza artificiale di lavorare anche con programmi e sistemi che non dispongono di API specifiche. OpenAI, per esempio, ha descritto il suo Computer-Using Agent come un modello capace di interpretare i pixel dello schermo e utilizzare mouse e tastiera virtuali. Google e Anthropic hanno sviluppato tecnologie analoghe per consentire ai propri modelli di interagire con browser e ambienti informatici. :contentReference[oaicite:0]{index=0}
Come funziona il Computer Use
Il principio può essere semplificato in un ciclo composto da tre operazioni: osservare, decidere e agire.
- Osservazione: l'agente riceve informazioni sullo stato del computer, spesso attraverso screenshot o altre rappresentazioni dell'interfaccia.
- Ragionamento: il modello interpreta ciò che vede e stabilisce quale azione eseguire per raggiungere l'obiettivo.
- Azione: il sistema può fare clic, digitare, scorrere o utilizzare altri strumenti disponibili.
- Verifica: dopo l'azione viene osservato nuovamente lo schermo e il ciclo continua fino al completamento dell'attività.
È quindi molto diverso da una semplice automazione tradizionale. Un programma RPA classico viene normalmente configurato per seguire procedure e regole definite in anticipo. Un agente basato su modelli multimodali può invece interpretare l'interfaccia e adattare le proprie azioni in base a quello che accade.
Cosa può fare concretamente un agente AI sul computer
Le applicazioni potenziali sono numerose. Un agente può, per esempio, aprire un browser, cercare informazioni, confrontare risultati, compilare moduli oppure utilizzare applicazioni aziendali.
In prospettiva, un'azienda potrebbe impartire un comando come: “Controlla gli ordini arrivati questa mattina, inseriscili nel gestionale e prepara un riepilogo”. L'agente potrebbe passare da un'applicazione all'altra eseguendo una sequenza di operazioni che oggi richiede l'intervento manuale di una persona.
Microsoft sta sviluppando questa stessa idea anche sul piano infrastrutturale. Windows 365 for Agents è pensato per fornire agli agenti AI dei Cloud PC controllati dall'azienda, sui quali possono utilizzare applicazioni, portali e sistemi legacy anche quando non sono disponibili API. :contentReference[oaicite:1]{index=1}
Perché il Computer Use è diverso dalle API
Normalmente, per permettere a due programmi di comunicare si utilizzano le API. Sono generalmente più strutturate, prevedibili ed efficienti rispetto all'interazione grafica.
Il problema è che non tutti i software dispongono delle API necessarie. Molte aziende utilizzano ancora programmi gestionali, applicazioni Windows, portali interni e software legacy progettati esclusivamente per essere utilizzati attraverso un'interfaccia grafica.
Il Computer Use prova a superare questo limite: invece di modificare il programma per renderlo compatibile con l'AI, è l'intelligenza artificiale a imparare a utilizzare l'interfaccia progettata per gli esseri umani.
In pratica, l'interfaccia grafica stessa può diventare una sorta di interfaccia universale tra l'intelligenza artificiale e il software.
OpenAI, Anthropic e Google stanno lavorando su questa tecnologia
Il Computer Use non è più soltanto un esperimento accademico. Alcuni dei principali sviluppatori di modelli AI stanno integrando questa capacità nei propri sistemi.
OpenAI ha presentato nel gennaio 2025 il Computer-Using Agent (CUA), inizialmente alla base di Operator. Il sistema era già in grado di interpretare screenshot e controllare interfacce attraverso mouse e tastiera virtuali. Nei test pubblicati al lancio, CUA raggiungeva il 38,1% su OSWorld, benchmark dedicato all'utilizzo completo di sistemi operativi, contro il 72,4% indicato per gli esseri umani. :contentReference[oaicite:2]{index=2}
Anche Anthropic dispone di strumenti Computer Use nella propria piattaforma Claude. La documentazione più recente indica inoltre toolset dedicati al controllo del computer e del browser nei modelli supportati. :contentReference[oaicite:3]{index=3}
Google ha portato le capacità di controllo del browser sviluppate con Project Mariner verso la Gemini API e oggi diversi modelli Gemini includono esplicitamente il Computer Use tra gli strumenti disponibili. :contentReference[oaicite:4]{index=4}
Dal browser all'intero desktop
Una distinzione importante riguarda l'ambiente nel quale opera l'agente. Alcuni sistemi sono principalmente progettati per controllare pagine web, mentre altri possono interagire con un vero ambiente desktop.
Quest'ultima possibilità è particolarmente interessante perché permette teoricamente di combinare browser, programmi installati, file locali e applicazioni aziendali all'interno dello stesso flusso di lavoro.
La ricerca sta già esplorando architetture specifiche per questo scenario. Il progetto UFO2, per esempio, descrive un sistema multi-agente per Windows che combina Windows UI Automation e interpretazione visiva dell'interfaccia per controllare diverse applicazioni desktop. :contentReference[oaicite:5]{index=5}
Il vero problema è l'affidabilità
Vedere un'AI muovere autonomamente il mouse può dare l'impressione che il problema sia ormai risolto. In realtà, utilizzare un computer in maniera affidabile è estremamente complesso.
Una finestra che cambia posizione, un pulsante diverso, un popup inatteso o un'interfaccia poco familiare possono modificare completamente il percorso necessario per completare un'operazione.
Gli stessi dati pubblicati da OpenAI nel 2025 mostravano quanto fosse ampio il margine di miglioramento rispetto alle persone nelle attività desktop più complesse. Studi successivi continuano inoltre a evidenziare difficoltà nei compiti lunghi e nelle operazioni che richiedono il passaggio attraverso numerose applicazioni. :contentReference[oaicite:6]{index=6}
Sicurezza: dare mouse e tastiera all'AI cambia i rischi
Un agente capace di utilizzare il computer dispone inevitabilmente di maggiori possibilità di azione rispetto a un chatbot che genera soltanto testo.
Un errore potrebbe significare selezionare il file sbagliato, modificare un documento, inviare informazioni alla persona sbagliata o eseguire un'operazione non desiderata.
Esiste inoltre il problema delle prompt injection: contenuti presenti all'interno di una pagina potrebbero tentare di impartire istruzioni all'agente e deviarlo dal compito assegnato dall'utente. Per questo i sistemi più avanzati prevedono conferme dell'utente, limitazioni delle operazioni consentite, monitoraggio e ambienti isolati. OpenAI ha indicato proprio prompt injection, errori del modello e uso improprio tra i rischi da gestire nei sistemi Computer Use. :contentReference[oaicite:7]{index=7}
Il tema è diventato ancora più rilevante con l'aumento dell'autonomia degli agenti AI. La sicurezza dell'ambiente nel quale vengono eseguiti sta quindi diventando una parte fondamentale dell'architettura, non un semplice componente aggiuntivo.
Perché questa tecnologia potrebbe essere importante
Il Computer Use potrebbe trasformare l'AI da strumento che spiega come svolgere un'attività a sistema capace di partecipare direttamente alla sua esecuzione.
La differenza è sostanziale. Oggi possiamo chiedere a un modello come organizzare dei dati o come utilizzare un determinato software. Un agente desktop può invece, almeno nei casi supportati, utilizzare direttamente quel software.
Questo non significa che mouse e tastiera sostituiranno API e integrazioni software tradizionali. Le API rimangono generalmente preferibili quando esistono e sono adeguate al compito. Il Computer Use diventa particolarmente interessante nella lunga coda di programmi, siti e sistemi legacy progettati esclusivamente per utenti umani.
È proprio qui che potrebbe verificarsi uno dei cambiamenti più importanti dell'attuale evoluzione dell'intelligenza artificiale: non dover più costruire un'integrazione specifica per ogni singolo software, ma permettere all'agente di utilizzare direttamente gli strumenti digitali già esistenti.
