Computer Use: Die KI bedient den Bildschirm

1. Über diesen Artikel

Bei Computer Use betrachtet der KI-Agent Bilder Ihres Bildschirms und bedient an Ihrer Stelle Maus und Tastatur. Der Agent öffnet Menüs, klickt auf Schaltflächen, gibt Werte in Fenster ein und prüft das Ergebnis wiederum anhand eines Screenshots.

Wann wird es verwendet?	Warum
Wenn Ihre StatiCAD-Edition keinen Terminalkanal hat (Profesyonel, Standart, Betonarme, Yığma)	Der Agent kann das Programm nur über den Bildschirm steuern.
Bei Aufgaben ohne Terminalbefehl	Etwa Einstellungen in Dialogfenstern, Auswählen, Verschieben, Ansicht und Berichtsvorschau.
Zur visuellen Kontrolle	Damit der Agent das erstellte Modell im Grundriss und in der 3D-Ansicht mit eigenen Augen prüft.

info

Wenn ein Terminal vorhanden ist, zuerst das Terminal: Computer Use ist im Vergleich zu Terminalbefehlen viel langsamer und kann sich verklicken. In Ultimate und Hybrid sollte der Agent zuerst Terminalbefehle verwenden und nur bei Bedarf auf den Bildschirm wechseln. Der erste Prompt im Artikel zu Claude Code sagt das bereits.

2. Mit welchen Werkzeugen?

Werkzeug	Status unter Windows	Erforderlicher Plan
Claude-Desktop-App (Claude Code)	Verfügbar (Research Preview).	Claude Pro oder Max
OpenAI Codex	Verfügbar; arbeitet unter Windows im Vordergrund. Im EWR, im Vereinigten Königreich und in der Schweiz nicht verfügbar.	ChatGPT-Plan
Google Antigravity	Für Desktop-Programme nicht dokumentiert.	—

3. Computer vorbereiten

1. Stellen Sie die Anzeigeskalierung auf 100 % und die Auflösung möglichst auf 1920×1080 ein (Windows-Einstellungen › System › Bildschirm). Das StatiCAD-Benutzerhandbuch und AGENTS.md wurden für diese Einstellung erstellt; größere Skalierungen führen häufiger zu Fehlklicks.
2. Starten Sie StatiCAD und vergrößern Sie das Fenster auf die volle Bildschirmgröße; der Lizenz-Dongle muss angeschlossen sein.
3. Schließen Sie nicht benötigte Fenster. Schließen Sie insbesondere Fenster, in denen persönliche Daten sichtbar sind, etwa E-Mail, Onlinebanking oder Passwort-Manager.
4. Schalten Sie Windows-Benachrichtigungen vorübergehend stumm (Fokus / Nicht stören); aufpoppende Benachrichtigungen können die Klicks durcheinanderbringen.

4. Computer Use in Claude einschalten

1. Aktualisieren Sie die Claude-Desktop-App (aktualisiert sich Claude nicht selbst, installieren Sie die App über claude.com/download neu).
2. Schalten Sie unter Settings (Einstellungen) › Bereich Desktop-App (Desktop app) den Schalter Computer use ein. Unter Windows wird die Einstellung sofort wirksam.
3. Starten Sie Ihre Sitzung in der Registerkarte Code (Claude Code, Schritt 6).
4. Wenn Claude den Bildschirm zum ersten Mal verwendet, fragt er, welche Anwendungen er benutzen möchte; erlauben Sie StatiCAD. Bei Bedarf fragt er für weitere Anwendungen gesondert nach.

info

Berechtigungsstufen: Anwendungen, die Sie Claude erlaubt haben, kann er vollständig bedienen. Aus Sicherheitsgründen kann er Webbrowser nur ansehen und in Terminals und Code-Editoren nur klicken (nicht tippen). Die erlaubten Anwendungen gelten nur für die jeweilige Sitzung.

5. Computer Use in Codex

• Schalten Sie in den Einstellungen der Codex-App die Computerbedienung (Computer Use) ein.
• Wenn Codex unter Windows den Bildschirm bedient, kommen die Fenster in den Vordergrund; berühren Sie in dieser Zeit weder Maus noch Tastatur.
• Installation und Konto: Artikel zu ChatGPT (Codex).

6. Prompt-Beispiele

Ultimate und Hybrid: Terminal + bei Bedarf Bildschirm. Der Prompt aus dem Artikel zu Claude Code genügt:

Lies die Dateien AGENTS.md und YARDIM_AI_KOMUTLAR.md im Ordner C:\StatiCAD\Ultimatex64. Ich möchte, dass du das Programm (StatiCAD.exe) über das Terminal und bei Bedarf mit Computer Use bedienst und damit meine Projekte erstellst.

Editionen ohne Terminal (Beispiel Profesyonel; passen Sie den Ordnernamen an Ihre Edition an: V10StdX64, BAV10, YigmaV10ProX64, YigmaV10StdX64; bei Betonarme heißt die Programmdatei StatiCAD-Betonarme.exe, bei Yığma StatiCAD-Yigma.exe):

Ich verwende StatiCAD Profesyonel; die Programmdatei ist C:\StatiCAD\V10ProX64\StatiCAD.exe. Diese Edition hat keinen Terminalkanal, du bedienst das Programm mit Computer Use über den Bildschirm.
- Wenn im Ordner C:\StatiCAD\V10ProX64 eine AGENTS.md vorhanden ist, lies sie zuerst; andernfalls arbeite dich anhand des Bildschirms vor.
- Wenn das Programm läuft, starte es nicht ein zweites Mal. Prüfe vor jedem Klick das Ziel anhand eines Screenshots.
- Frag mich, bevor du vorhandene Dateien überschreibst oder das Programm schließt.
Wenn du bereit bist, mach einen Screenshot des Hauptbildschirms, beschreibe kurz, was du siehst, und frag mich, was ich tun möchte.

info

Agenten-Anweisungsdateien: Die Anweisungsdateien für Agenten (AGENTS.md und ein eigener Arbeitsleitfaden für Computer Use: Bildschirmzustände erkennen, zuverlässig klicken, Wartepunkte, häufige Fehler) gibt es nur in der Ultimate-Installation. In anderen Editionen gibt der obige Prompt dem Agenten selbst die wichtigsten Regeln aus diesen Dateien vor.

Um den Agenten mitten in der Sitzung auf den Bildschirm umzulenken:

Verwende für Aufgaben, die sich nicht mit einem Terminalbefehl erledigen lassen, Computer Use: Mach zuerst einen Screenshot des StatiCAD-Fensters auf dem Bildschirm und öffne dann das betreffende Menü oder Fenster. Bleibt ein Dialog offen, warten die Terminalbefehle; prüfe den Dialog und schließe ihn. Mach am Ende einen Screenshot der 3D-Ansicht und fasse mir kurz zusammen, wie du das Modell geprüft hast.

7. Während der Agent arbeitet

• Berühren Sie weder Maus noch Tastatur; sonst vermischen sich die Klicks des Agenten mit Ihren.
• Verfolgen Sie im Chatfenster, was der Agent tut. Wenn er ein falsches Fenster oder Menü ansteuert, unterbrechen Sie die Arbeit mit der Stopp-Schaltfläche und schreiben Sie erneut, was er tun soll.
• Ist in StatiCAD eine unerwünschte Änderung entstanden, machen Sie sie nach dem Anhalten mit Ctrl+Z rückgängig.
• Bitten Sie den Agenten, bei wichtigen Schritten (z. B. nach Abschluss der Analyse, in der Berichtsvorschau) einen Screenshot zu machen und zusammenzufassen, was er sieht.

8. Sicherheit

gefahr

Sie überlassen Ihren Bildschirm einem anderen:

• Der Agent kann nur die Anwendungen verwenden, die Sie erlaubt haben; fragen Sie nach dem Grund, bevor Sie andere Anwendungen als StatiCAD erlauben.
• Lassen Sie den Agenten keine Passwörter, Kartendaten oder Ausweisnummern eingeben; wenn Sie eine solche Anfrage sehen, brechen Sie die Arbeit ab.
• Alles, was auf dem Bildschirm zu sehen ist (geöffnete Dokumente, Benachrichtigungen), gelangt in das Bild, das an das KI-Unternehmen gesendet wird. Schließen Sie vertrauliche Informationen.
• Sieht der Agent eine Lizenzwarnung wie „Dongle nicht gefunden“ („Kilit Bulunamadı“), sollte er anhalten und Sie benachrichtigen; Dongle- und Lizenzvorgänge erledigen Sie selbst.

9. Fehlerbehebung

Symptom	Ursache und Lösung
Der Agent klickt an falsche Stellen	Die Anzeigeskalierung ist nicht 100 % oder das Fenster ist zu klein. Stellen Sie die Skalierung auf 100 %, vergrößern Sie StatiCAD und bitten Sie den Agenten, vor jedem Klick anhand eines Screenshots zu prüfen.
Die Option Computer use wird nicht angezeigt	Die App ist nicht aktuell oder der Plan passt nicht (bei Claude ist Pro/Max erforderlich). Aktualisieren Sie und versuchen Sie es erneut.
Der Agent findet die türkischen Menüs nicht	Nennen Sie ihm die Menünamen (z. B. „im Menü Analiz den Befehl STATIK ANALIZ YAP“, d. h. Analyse › Statische Analyse durchführen) oder bitten Sie ihn, AGENTS.md zu lesen (im Ultimate-Ordner).
Der Agent hängt in einem Fenster fest	Möglicherweise ist ein Abfrage- oder Warnfenster offen geblieben. Sagen Sie ihm, er soll das Fenster prüfen, oder schließen Sie es selbst.
Während Codex arbeitet, ist der Computer nicht nutzbar	Unter Windows arbeitet Codex im Vordergrund; warten Sie, bis die Arbeit abgeschlossen ist.

Pläne, Preise und Menübezeichnungen der Dienste von Anthropic, OpenAI und Google können sich mit der Zeit ändern; aktuelle Informationen finden Sie auf den verlinkten offiziellen Seiten. Das von der KI erstellte Modell und die erzeugten Ergebnisse müssen vom verantwortlichen Ingenieur geprüft werden.