Computer Use: l’Intelligenza Artificiale che Usa lo Schermo

1. Informazioni su questo articolo

Computer use significa che l’agente IA guarda l’immagine dello schermo e usa il mouse e la tastiera al posto dell’utente. L’agente apre i menu, fa clic sui pulsanti, scrive valori nelle finestre e controlla il risultato, anche in questo caso, con uno screenshot.

Quando si usa?	Perché
Se l’edizione di StatiCAD non ha il canale del terminale (Profesyonel, Standart, Betonarme, Yığma)	L’agente può gestire il programma solo dallo schermo.
Per le operazioni senza comando del terminale	Ad esempio impostazioni nelle finestre di dialogo, selezione, spostamento, viste e anteprima delle relazioni.
Per il controllo visivo	Perché l’agente verifichi con i propri occhi, in pianta e nella vista 3D, il modello che ha costruito.

informazioni

Se c’è il terminale, prima il terminale: computer use è molto più lento dei comandi del terminale e può sbagliare i clic. In Ultimate e Hybrid l’agente deve usare prima i comandi del terminale e passare allo schermo solo quando serve. Il primo prompt dell’articolo su Claude Code lo indica già.

2. Con quali strumenti?

Strumento	Stato in Windows	Piano necessario
App desktop di Claude (Claude Code)	Disponibile (anteprima di ricerca).	Claude Pro o Max
OpenAI Codex	Disponibile; in Windows lavora in primo piano. Disattivato nel SEE, nel Regno Unito e in Svizzera.	Piano ChatGPT
Google Antigravity	Non documentato per i programmi desktop.	—

3. Preparare il computer

1. Impostare il ridimensionamento dello schermo al 100% e, se possibile, la risoluzione a 1920×1080 (Impostazioni di Windows › Sistema › Schermo). La Guida utente di StatiCAD e AGENTS.md sono stati preparati con questa impostazione; ridimensionamenti maggiori aumentano gli errori di clic.
2. Aprire StatiCAD e ingrandire la finestra a tutto schermo; la chiave hardware deve essere inserita.
3. Chiudere le finestre non necessarie. In particolare chiudere le finestre in cui sono visibili dati personali, come e-mail, banca o gestore di password.
4. Silenziare temporaneamente le notifiche di Windows (Assistente notifiche / Non disturbare); le notifiche che compaiono possono confondere i clic.

4. Attivare computer use in Claude

1. Aggiornare l’app desktop di Claude (se Claude non si aggiorna da sé, reinstallarla da claude.com/download).
2. In Settings (Impostazioni) › sezione dell’app desktop (Desktop app) attivare l’interruttore Computer use. In Windows l’impostazione ha effetto immediato.
3. Aprire la sessione nella scheda Code (Claude Code, Passo 6).
4. Quando userà lo schermo per la prima volta, Claude chiede quali applicazioni vuole usare; consentire StatiCAD. Se servono altre applicazioni, lo chiede di nuovo separatamente.

informazioni

Livelli di autorizzazione: Claude può usare pienamente le applicazioni autorizzate. Per sicurezza, i browser può solo visualizzarli e nei terminali e negli editor di codice può solo fare clic (non può scrivere). Le autorizzazioni concesse alle applicazioni valgono solo per quella sessione.

5. Computer use in Codex

• Attivare l’uso del computer (computer use) dalle impostazioni dell’app Codex.
• In Windows, quando Codex usa lo schermo, le finestre vengono portate in primo piano; in quel momento non toccare mouse e tastiera.
• Installazione e account: articolo su ChatGPT (Codex).

6. Esempi di prompt

Ultimate e Hybrid: terminale + schermo quando serve. È sufficiente il prompt dell’articolo su Claude Code:

Leggi i file AGENTS.md e YARDIM_AI_KOMUTLAR.md nella cartella C:\StatiCAD\Ultimatex64; poi voglio che tu crei i miei progetti usando il programma (StatiCAD.exe) tramite il terminale e, quando necessario, con computer use.

Edizioni senza terminale (esempio: Profesyonel; cambiare il nome della cartella secondo la propria edizione: V10StdX64, BAV10, YigmaV10ProX64, YigmaV10StdX64; in Betonarme il file del programma è StatiCAD-Betonarme.exe, in Yığma StatiCAD-Yigma.exe):

Uso StatiCAD Profesyonel; il file del programma è C:\StatiCAD\V10ProX64\StatiCAD.exe. In questa edizione non c'è il canale del terminale: userai il programma dallo schermo con computer use.
- Prima, se nella cartella C:\StatiCAD\V10ProX64 c'è AGENTS.md, leggilo; altrimenti procedi leggendo lo schermo.
- Se il programma è già aperto non avviarlo una seconda volta. Prima di ogni clic verifica il bersaglio con uno screenshot.
- Prima di sovrascrivere file esistenti e prima di chiudere il programma chiedimelo.
Quando sei pronto, fai uno screenshot della schermata principale, descrivi brevemente che cosa vedi e chiedimi che cosa voglio fare.

informazioni

File di istruzioni per l’agente: i file di istruzioni per gli agenti (AGENTS.md e la guida operativa specifica per computer use: riconoscimento dello stato dello schermo, clic affidabili, punti di attesa, errori frequenti) si trovano solo nell’installazione di Ultimate. Nelle altre edizioni è il prompt qui sopra a fornire all’agente le regole più importanti di questi file.

A metà sessione, per indirizzare l’agente verso lo schermo:

Per le operazioni che non si possono fare con un comando del terminale usa computer use: prima fai uno screenshot della finestra di StatiCAD sullo schermo, poi apri il menu o la finestra corrispondente. Se una finestra di dialogo resta aperta, i comandi del terminale restano in attesa; controlla la finestra di dialogo e chiudila. Alla fine fai uno screenshot della vista 3D e riassumimi il controllo che hai fatto sul modello.

7. Mentre l’agente lavora

• Non toccare mouse e tastiera; i clic dell’agente si mescolerebbero con quelli dell’utente.
• Seguire dalla finestra della chat che cosa fa l’agente. Se va in una finestra o in un menu sbagliato, interrompere il lavoro con il pulsante di arresto e riscrivere che cosa deve fare.
• Se in StatiCAD si è verificata una modifica indesiderata, dopo l’arresto annullarla con Ctrl+Z.
• Chiedere all’agente di fare uno screenshot nei passaggi importanti (ad es. al termine dell’analisi, nell’anteprima della relazione) e di riassumere che cosa vede.

8. Sicurezza

pericolo

Si lascia usare il proprio schermo a qualcun altro:

• L’agente può usare solo le applicazioni autorizzate; prima di autorizzare applicazioni diverse da StatiCAD chiedere il motivo.
• Non far scrivere all’agente password, dati di carte o numeri di documenti d’identità; se compare una richiesta del genere, interrompere il lavoro.
• Tutto ciò che è visibile sullo schermo (documenti aperti, notifiche) entra nell’immagine inviata all’azienda di IA. Chiudere le informazioni riservate.
• Se l’agente vede un avviso di licenza come “Chiave non trovata” (“Kilit Bulunamadı”), deve fermarsi e avvisare l’utente; le operazioni relative a chiave e licenza vanno eseguite personalmente.

9. Risoluzione dei problemi

Sintomo	Causa e soluzione
L’agente fa clic nei punti sbagliati	Il ridimensionamento dello schermo non è al 100% o la finestra è piccola. Impostare il 100%, ingrandire StatiCAD; chiedere all’agente di verificare con uno screenshot prima di ogni clic.
L’opzione computer use non compare	L’app non è aggiornata o il piano non è adatto (in Claude serve Pro/Max). Aggiornare e riprovare.
L’agente non trova i menu in turco	Indicare i nomi dei menu (ad es. “nel menu Analiz scegli STATIK ANALIZ YAP”, cioè Analisi › Esegui analisi statica) oppure chiedergli di leggere AGENTS.md (nella cartella di Ultimate).
L’agente si è bloccato in una finestra	Potrebbe esserci una finestra di domanda o di avviso rimasta aperta. Dirgli di controllare la finestra oppure chiuderla manualmente.
Mentre Codex lavora il computer non si può usare	In Windows Codex lavora in primo piano; attendere la fine del lavoro.

I piani, i prezzi e le voci di menu dei servizi di Anthropic, OpenAI e Google possono cambiare nel tempo; per informazioni aggiornate consultare le pagine ufficiali indicate nei link. Il modello costruito e i risultati prodotti dall’IA devono essere verificati dall’ingegnere responsabile.