Computer Use: Uso de la Pantalla por la Inteligencia Artificial

1. Acerca de este artículo

Computer use (uso del ordenador) consiste en que el agente de inteligencia artificial mira capturas de su pantalla y utiliza el ratón y el teclado en su lugar. El agente abre menús, hace clic en botones, escribe valores en las ventanas y comprueba el resultado, de nuevo, con una captura de pantalla.

¿Cuándo se utiliza?	Por qué
Si su edición de StatiCAD no tiene canal de terminal (Profesyonel, Standart, Betonarme, Yığma)	El agente solo puede manejar el programa desde la pantalla.
En tareas sin comando de terminal	Ajustes de los cuadros de diálogo, selección, desplazamiento, vistas y vista previa de informes, etc.
En la comprobación visual	Para que el agente compruebe con sus propios ojos, en el plano y en la vista 3D, el modelo que ha creado.

info

Si hay terminal, primero el terminal: Computer use es mucho más lento que los comandos de terminal y puede cometer errores al hacer clic. En Ultimate y Hybrid, el agente debe usar primero los comandos de terminal y pasar a la pantalla solo cuando sea necesario. El primer prompt del artículo sobre Claude Code ya lo indica.

2. ¿Con qué herramientas?

Herramienta	Situación en Windows	Plan necesario
Aplicación de escritorio de Claude (Claude Code)	Disponible (versión preliminar de investigación).	Claude Pro o Max
OpenAI Codex	Disponible; en Windows trabaja en primer plano. Desactivado en el EEE, el Reino Unido y Suiza.	Plan de ChatGPT
Google Antigravity	No documentado para programas de escritorio.	—

3. Prepare el ordenador

1. Ajuste la escala de la pantalla al 100 % y, si es posible, la resolución a 1920×1080 (Configuración de Windows › Sistema › Pantalla). La Guía de usuario de StatiCAD y AGENTS.md se han preparado con este ajuste; las escalas grandes aumentan los errores de clic.
2. Abra StatiCAD y maximice la ventana para que ocupe toda la pantalla; la llave de hardware debe estar conectada.
3. Cierre las ventanas innecesarias. En particular, cierre las ventanas en las que se vean datos personales, como el correo electrónico, el banco o el gestor de contraseñas.
4. Silencie temporalmente las notificaciones de Windows (Asistente de concentración / No molestar); las notificaciones que aparecen pueden desviar los clics.

4. Activar computer use en Claude

1. Actualice la aplicación de escritorio de Claude (si Claude no se actualiza solo, vuelva a instalarlo desde claude.com/download).
2. En Settings (ajustes) › sección de la aplicación de escritorio (Desktop app), active el interruptor Computer use. En Windows, el ajuste se aplica de inmediato.
3. Abra su sesión en la pestaña Code (Claude Code, Paso 6).
4. Cuando Claude vaya a utilizar la pantalla por primera vez, le preguntará qué aplicaciones quiere usar; conceda permiso a StatiCAD. Si es necesario, también le preguntará por separado por otras aplicaciones.

info

Niveles de permiso: Claude puede utilizar por completo las aplicaciones a las que usted dé permiso. Por seguridad, en los navegadores de Internet solo puede ver, y en los terminales y editores de código solo puede hacer clic (no puede escribir). Las aplicaciones permitidas se limitan a esa sesión.

5. Computer use en Codex

• Active el uso del ordenador (computer use) en los ajustes de la aplicación Codex.
• En Windows, mientras Codex utiliza la pantalla, las ventanas pasan a primer plano; durante ese tiempo no toque el ratón ni el teclado.
• Instalación y cuenta: artículo sobre ChatGPT (Codex).

6. Ejemplos de prompts

Ultimate y Hybrid: terminal + pantalla cuando sea necesario. Basta con el prompt del artículo sobre Claude Code:

Lee los archivos AGENTS.md y YARDIM_AI_KOMUTLAR.md de la carpeta C:\StatiCAD\Ultimatex64; quiero que crees mis proyectos utilizando el programa (StatiCAD.exe) a través del terminal y, cuando sea necesario, con computer use.

Ediciones sin terminal (ejemplo: Profesyonel; cambie el nombre de la carpeta según su edición: V10StdX64, BAV10, YigmaV10ProX64, YigmaV10StdX64; en Betonarme, el archivo del programa es StatiCAD-Betonarme.exe, y en Yığma, StatiCAD-Yigma.exe):

Uso StatiCAD Profesyonel; el archivo del programa es C:\StatiCAD\V10ProX64\StatiCAD.exe. Esta edición no tiene canal de terminal; utilizarás el programa desde la pantalla con computer use.
- Primero, si hay un AGENTS.md en la carpeta C:\StatiCAD\V10ProX64, léelo; si no, avanza leyendo la pantalla.
- Si el programa está abierto, no lo inicies por segunda vez. Antes de cada clic, verifica el objetivo con una captura de pantalla.
- Pregúntame antes de sobrescribir archivos existentes y antes de cerrar el programa.
Cuando estés listo, haz una captura de la pantalla principal, describe brevemente lo que ves y pregúntame qué quiero hacer.

info

Archivos de instrucciones para agentes: Los archivos de instrucciones para agentes (AGENTS.md y la guía de trabajo específica de computer use: reconocimiento del estado de la pantalla, clics fiables, puntos de espera, errores frecuentes) solo están en la instalación de Ultimate. En las demás ediciones, el prompt anterior le da al agente las reglas más necesarias de estos archivos.

A mitad de la sesión, para dirigir al agente a la pantalla:

En las tareas que no puedan hacerse con un comando de terminal, utiliza computer use: primero haz una captura de la ventana de StatiCAD que está en la pantalla y después abre el menú o la ventana correspondiente. Si un cuadro de diálogo queda abierto, los comandos de terminal esperan; compruébalo y ciérralo. Al final del trabajo, haz una captura de pantalla de la vista 3D y resúmeme que has comprobado el modelo.

7. Mientras trabaja el agente

• No toque el ratón ni el teclado; los clics del agente se mezclan con los suyos.
• Siga lo que hace el agente en la ventana del chat. Si va a una ventana o a un menú equivocado, interrumpa el trabajo con el botón de detener y vuelva a escribir lo que debe hacer.
• Si se ha producido un cambio no deseado en StatiCAD, deshágalo con Ctrl+Z después de detener el trabajo.
• Pida al agente que, en los pasos importantes (p. ej., al terminar el análisis o en la vista previa del informe), haga una captura de pantalla y resuma lo que ve.

8. Seguridad

peligro

Está dejando que otro utilice su pantalla:

• El agente solo puede utilizar las aplicaciones a las que usted dé permiso; antes de permitir aplicaciones distintas de StatiCAD, pregunte el motivo.
• No deje que el agente escriba contraseñas, datos de tarjetas ni números de identificación; si ve una solicitud así, detenga el trabajo.
• Todo lo que se ve en la pantalla (documentos abiertos, notificaciones) entra en la imagen que se envía a la empresa de IA. Cierre la información confidencial.
• Si el agente ve una advertencia de licencia como “Kilit Bulunamadı” (llave no encontrada), debe detenerse e informarle; realice usted mismo las operaciones de llave y licencia.

9. Solución de problemas

Síntoma	Causa y solución
El agente hace clic en lugares equivocados	La escala de la pantalla no es del 100 % o la ventana es pequeña. Ajuste la escala al 100 % y maximice StatiCAD; pida al agente que verifique con una captura de pantalla antes de cada clic.
No aparece la opción computer use	La aplicación no está actualizada o el plan no es adecuado (en Claude se necesita Pro/Max). Actualice y vuelva a intentarlo.
El agente no encuentra los menús del programa	Indíquele usted los nombres de los menús (p. ej., “REALIZAR ANÁLISIS ESTÁTICO en el menú Análisis”) o pídale que lea AGENTS.md (en la carpeta de Ultimate).
El agente se ha quedado bloqueado en una ventana	Puede que haya una ventana de pregunta o de advertencia abierta. Dígale que compruebe la ventana o ciérrela usted.
No se puede usar el ordenador mientras trabaja Codex	En Windows, Codex trabaja en primer plano; espere a que termine el trabajo.

Los nombres de los planes, los precios y los menús de los servicios de Anthropic, OpenAI y Google pueden cambiar con el tiempo; para obtener información actualizada, consulte las páginas oficiales enlazadas. El modelo creado por la IA y los resultados que genera deben ser comprobados por el ingeniero responsable.