Computer Use : utilisation de l’écran par l’intelligence artificielle

1. À propos de cet article

Le computer use (utilisation de l’ordinateur par l’IA) consiste, pour l’agent d’IA, à regarder des captures de votre écran et à utiliser la souris et le clavier à votre place. L’agent ouvre les menus, clique sur les boutons, saisit des valeurs dans les fenêtres et vérifie le résultat, là encore par une capture d’écran.

Quand l’utiliser ?	Pourquoi
Si votre édition de StatiCAD n’a pas de canal terminal (Profesyonel, Standart, Betonarme, Yığma)	L’agent ne peut piloter le programme qu’à l’écran.
Pour les tâches sans commande de terminal	Par exemple les réglages des boîtes de dialogue, la sélection, le déplacement, l’affichage et l’aperçu des rapports.
Pour le contrôle visuel	Pour que l’agent vérifie de ses propres yeux, en plan et en vue 3D, le modèle qu’il a construit.

info

S’il y a un terminal, le terminal d’abord : Computer use est beaucoup plus lent que les commandes de terminal et peut faire des erreurs de clic. Dans Ultimate et Hybrid, l’agent doit d’abord utiliser les commandes de terminal et ne passer à l’écran que si nécessaire. Le premier prompt de l’article sur Claude Code le dit déjà.

2. Avec quels outils ?

Outil	Situation sous Windows	Offre requise
Application de bureau Claude (Claude Code)	Disponible (préversion de recherche).	Claude Pro ou Max
OpenAI Codex	Disponible ; fonctionne au premier plan sous Windows. Désactivé dans l’EEE, au Royaume-Uni et en Suisse.	Offre ChatGPT
Google Antigravity	Non documenté pour les programmes de bureau.	—

3. Préparer l’ordinateur

1. Réglez la mise à l’échelle de l’affichage sur 100 % et, si possible, la résolution sur 1920×1080 (Paramètres Windows › Système › Affichage). Le guide de StatiCAD et AGENTS.md ont été préparés pour ce réglage ; une mise à l’échelle plus grande augmente les erreurs de clic.
2. Ouvrez StatiCAD et agrandissez la fenêtre pour qu’elle occupe tout l’écran ; la clé matérielle doit être branchée.
3. Fermez les fenêtres inutiles. Fermez en particulier les fenêtres où apparaissent des informations personnelles, comme la messagerie, la banque ou le gestionnaire de mots de passe.
4. Désactivez temporairement les notifications de Windows (Assistant de concentration / Ne pas déranger) ; les notifications qui s’affichent peuvent perturber les clics.

4. Activer computer use dans Claude

1. Mettez à jour l’application de bureau Claude (si Claude ne se met pas à jour lui-même, réinstallez-le depuis claude.com/download).
2. Dans Settings (Paramètres) › section application de bureau (Desktop app), activez l’interrupteur Computer use. Sous Windows, le réglage prend effet immédiatement.
3. Ouvrez votre session dans l’onglet Code (Claude Code, étape 6).
4. La première fois qu’il utilise l’écran, Claude vous indique les applications qu’il souhaite utiliser ; autorisez StatiCAD. Si nécessaire, il demande aussi séparément l’autorisation pour d’autres applications.

info

Niveaux d’autorisation : Claude peut utiliser pleinement les applications que vous avez autorisées. Par sécurité, il peut seulement voir les navigateurs Internet et seulement cliquer dans les terminaux et les éditeurs de code (il ne peut pas y écrire). Les applications autorisées sont limitées à la session en cours.

5. Computer use dans Codex

• Activez l’utilisation de l’ordinateur (computer use) dans les paramètres de l’application Codex.
• Sous Windows, lorsque Codex utilise l’écran, les fenêtres passent au premier plan ; ne touchez ni à la souris ni au clavier pendant ce temps.
• Installation et compte : article sur ChatGPT (Codex).

6. Exemples de prompts

Ultimate et Hybrid : terminal + écran si nécessaire. Le prompt de l’article sur Claude Code suffit :

Lis les fichiers AGENTS.md et YARDIM_AI_KOMUTLAR.md du dossier C:\StatiCAD\Ultimatex64 ; je veux que tu crées mes projets en utilisant le programme (StatiCAD.exe) via le terminal et, si nécessaire, avec computer use.

Éditions sans terminal (exemple : Profesyonel ; adaptez le nom du dossier à votre édition : V10StdX64, BAV10, YigmaV10ProX64, YigmaV10StdX64 ; pour Betonarme, le fichier du programme est StatiCAD-Betonarme.exe, pour Yığma StatiCAD-Yigma.exe) :

J’utilise StatiCAD Profesyonel ; le fichier du programme est C:\StatiCAD\V10ProX64\StatiCAD.exe. Cette édition n’a pas de canal terminal, tu utiliseras le programme à l’écran avec computer use.
- Lis d’abord AGENTS.md s’il existe dans le dossier C:\StatiCAD\V10ProX64 ; sinon, avance en lisant l’écran.
- Si le programme est ouvert, ne le lance pas une deuxième fois. Avant chaque clic, vérifie la cible avec une capture d’écran.
- Demande-moi avant d’écraser des fichiers existants et avant de fermer le programme.
Quand tu es prêt, fais une capture de l’écran principal, décris brièvement ce que tu vois et demande-moi ce que je veux faire.

info

Fichiers d’instructions pour agents : Les fichiers d’instructions destinés aux agents (AGENTS.md et un guide de travail propre à computer use : reconnaissance de l’état de l’écran, clics fiables, points d’attente, erreurs fréquentes) ne se trouvent que dans l’installation d’Ultimate. Dans les autres éditions, le prompt ci-dessus fournit lui-même à l’agent les règles essentielles de ces fichiers.

En cours de session, pour orienter l’agent vers l’écran :

Pour les tâches impossibles avec une commande de terminal, utilise computer use : fais d’abord une capture de la fenêtre StatiCAD à l’écran, puis ouvre le menu ou la fenêtre concernés. Si une boîte de dialogue reste ouverte, les commandes du terminal attendent ; vérifie la boîte de dialogue et ferme-la. À la fin du travail, fais une capture d’écran de la vue 3D et résume-moi le contrôle du modèle que tu as effectué.

7. Pendant que l’agent travaille

• Ne touchez ni à la souris ni au clavier ; les clics de l’agent se mélangeraient aux vôtres.
• Suivez ce que fait l’agent dans la fenêtre de conversation. S’il se dirige vers une mauvaise fenêtre ou un mauvais menu, interrompez le travail avec le bouton d’arrêt et réécrivez ce qu’il doit faire.
• Si une modification non souhaitée a eu lieu dans StatiCAD, annulez-la avec Ctrl+Z après l’arrêt.
• Demandez à l’agent, aux étapes importantes (par ex. à la fin de l’analyse, dans l’aperçu du rapport), de faire une capture d’écran et de résumer ce qu’il voit.

8. Sécurité

danger

Vous laissez quelqu’un d’autre utiliser votre écran :

• L’agent ne peut utiliser que les applications que vous avez autorisées ; avant d’autoriser une application autre que StatiCAD, demandez pourquoi.
• Ne faites pas saisir à l’agent de mot de passe, d’informations de carte ni de numéro d’identité ; si vous voyez une telle demande, arrêtez le travail.
• Tout ce qui apparaît à l’écran (documents ouverts, notifications) fait partie de l’image envoyée à l’entreprise d’IA. Fermez les informations confidentielles.
• Si l’agent voit un avertissement de licence comme « Clé introuvable » (« Kilit Bulunamadı »), il doit s’arrêter et vous prévenir ; effectuez vous-même les opérations liées à la clé et à la licence.

9. Dépannage

Symptôme	Cause et solution
L’agent clique aux mauvais endroits	La mise à l’échelle n’est pas à 100 % ou la fenêtre est petite. Réglez la mise à l’échelle sur 100 %, agrandissez StatiCAD ; demandez à l’agent de vérifier par une capture d’écran avant chaque clic.
L’option computer use n’apparaît pas	L’application n’est pas à jour ou l’offre ne convient pas (Pro/Max nécessaire chez Claude). Mettez à jour et réessayez.
L’agent ne trouve pas les menus en turc	Indiquez-lui vous-même les noms des menus (par ex. « dans le menu Analiz, STATIK ANALIZ YAP », c’est-à-dire Analyse › LANCER L’ANALYSE STATIQUE) ou demandez-lui de lire AGENTS.md (dans le dossier Ultimate).
L’agent est bloqué dans une fenêtre	Une fenêtre de question ou d’avertissement est peut-être restée ouverte. Dites-lui de vérifier la fenêtre, ou fermez-la vous-même.
L’ordinateur est inutilisable pendant que Codex travaille	Sous Windows, Codex travaille au premier plan ; attendez la fin du travail.

Les noms des offres, les prix et les noms de menus des services d’Anthropic, d’OpenAI et de Google peuvent changer avec le temps ; pour des informations à jour, consultez les pages officielles indiquées en lien. Le modèle construit et les résultats produits par l’IA doivent être vérifiés par l’ingénieur responsable.