Computer Use: a IA Usando a Tela

1. Sobre este artigo

Computer use é o recurso pelo qual o agente de IA olha a imagem da sua tela e usa o mouse e o teclado no seu lugar. O agente abre menus, clica em botões, digita valores nas janelas e confere o resultado, também por captura de tela.

Quando usar?	Por quê
Se a sua edição do StatiCAD não tem canal de terminal (Profesyonel, Standart, Betonarme, Yığma)	O agente só consegue operar o programa pela tela.
Em tarefas sem comando de terminal	Como as configurações das caixas de diálogo, selecionar, mover, a vista e a pré-visualização de relatórios.
Na verificação visual	Para que o agente confira com os próprios olhos, na planta e na vista 3D, o modelo que montou.

informação

Se houver terminal, primeiro o terminal: o computer use é muito mais lento que os comandos de terminal e pode errar cliques. No Ultimate e no Hybrid, o agente deve usar primeiro os comandos de terminal e passar à tela só quando necessário. O primeiro prompt do artigo sobre o Claude Code já diz isso.

2. Com quais ferramentas?

Ferramenta	Situação no Windows	Plano necessário
Aplicativo para desktop do Claude (Claude Code)	Disponível (prévia de pesquisa).	Claude Pro ou Max
OpenAI Codex	Disponível; no Windows, funciona em primeiro plano. Desativado no EEE, no Reino Unido e na Suíça.	Plano do ChatGPT
Google Antigravity	Não documentado para programas de desktop.	—

3. Prepare o computador

1. Defina a escala da tela como 100% e, se possível, a resolução como 1920×1080 (Configurações do Windows › Sistema › Tela; no Windows 10: Vídeo). O Guia do Usuário do StatiCAD e o AGENTS.md foram preparados com essa configuração; escalas maiores aumentam os erros de clique.
2. Abra o StatiCAD e maximize a janela para que ocupe a tela; a chave de hardware deve estar conectada.
3. Feche as janelas desnecessárias. Feche especialmente as janelas em que aparecem informações pessoais, como e-mail, banco e gerenciador de senhas.
4. Silencie temporariamente as notificações do Windows (Assistente de foco / Não incomodar); as notificações que aparecem podem atrapalhar os cliques.

4. Ativar o computer use no Claude

1. Atualize o aplicativo para desktop do Claude (se o Claude não se atualizar sozinho, reinstale-o a partir de claude.com/download).
2. Em Settings (Configurações) › seção do aplicativo para desktop (Desktop app), ative a opção Computer use. No Windows, a configuração vale imediatamente.
3. Abra a sua sessão na aba Code (Claude Code, Passo 6).
4. Quando o Claude for usar a tela pela primeira vez, ele pergunta quais aplicativos quer usar; permita o StatiCAD. Quando necessário, ele pergunta separadamente sobre outros aplicativos.

informação

Níveis de permissão: o Claude pode usar plenamente os aplicativos que você permitiu. Por segurança, nos navegadores de internet ele só pode visualizar e, nos terminais e editores de código, só pode clicar (não pode digitar). Os aplicativos permitidos valem apenas para aquela sessão.

5. Computer use no Codex

• Ative o uso do computador (computer use) nas configurações do aplicativo Codex.
• No Windows, enquanto o Codex usa a tela, as janelas vêm para o primeiro plano; nesse período, não toque no mouse nem no teclado.
• Instalação e conta: artigo sobre o ChatGPT (Codex).

6. Exemplos de prompts

Ultimate e Hybrid: terminal + tela quando necessário. O prompt do artigo sobre o Claude Code é suficiente:

Leia os arquivos AGENTS.md e YARDIM_AI_KOMUTLAR.md da pasta C:\StatiCAD\Ultimatex64; quero que você use o programa (StatiCAD.exe) pelo terminal e, quando necessário, com computer use, para criar os meus projetos.

Edições sem terminal (exemplo com o Profesyonel; troque o nome da pasta de acordo com a sua edição: V10StdX64, BAV10, YigmaV10ProX64, YigmaV10StdX64; no Betonarme, o arquivo do programa é StatiCAD-Betonarme.exe e, no Yığma, StatiCAD-Yigma.exe):

Uso o StatiCAD Profesyonel; o arquivo do programa é C:\StatiCAD\V10ProX64\StatiCAD.exe. Nesta edição não há canal de terminal; você vai usar o programa pela tela, com computer use.
- Primeiro, se houver AGENTS.md na pasta C:\StatiCAD\V10ProX64, leia-o; se não houver, prossiga lendo a tela.
- Se o programa estiver aberto, não o inicie uma segunda vez. Antes de cada clique, confirme o alvo com uma captura de tela.
- Pergunte-me antes de sobrescrever arquivos existentes e antes de fechar o programa.
Quando estiver pronto, faça uma captura da tela principal, descreva brevemente o que vê e pergunte-me o que quero fazer.

informação

Arquivos de instruções para agentes: os arquivos de instruções para agentes (o AGENTS.md e o guia de trabalho específico do computer use: reconhecer o estado da tela, clicar com segurança, pontos de espera, erros frequentes) existem apenas na instalação do Ultimate. Nas demais edições, o próprio prompt acima passa ao agente as regras mais necessárias desses arquivos.

Para direcionar o agente à tela no meio da sessão:

Nas tarefas que não podem ser feitas por comando de terminal, use o computer use: primeiro faça uma captura da janela do StatiCAD na tela e depois abra o menu ou a janela correspondente. Se uma caixa de diálogo ficar aberta, os comandos de terminal ficam em espera; verifique a caixa de diálogo e feche-a. No final do trabalho, faça uma captura de tela da vista 3D e me resuma como você verificou o modelo.

7. Enquanto o agente trabalha

• Não toque no mouse nem no teclado; os cliques do agente se misturam com os seus.
• Acompanhe pela janela de conversa o que o agente faz. Se ele estiver indo para uma janela ou um menu errado, interrompa o trabalho com o botão de parar e escreva de novo o que ele deve fazer.
• Se houve uma alteração indesejada no StatiCAD, depois de parar, desfaça-a com Ctrl+Z.
• Peça ao agente que, nas etapas importantes (p. ex., quando a análise terminar, na pré-visualização do relatório), faça uma captura de tela e resuma o que vê.

8. Segurança

perigo

Você está deixando um terceiro usar a sua tela:

• O agente só pode usar os aplicativos que você permitiu; antes de permitir aplicativos além do StatiCAD, pergunte o motivo.
• Não deixe o agente digitar senhas, dados de cartão ou números de documentos de identidade; se vir um pedido assim, interrompa o trabalho.
• Tudo o que aparece na tela (documentos abertos, notificações) entra na imagem enviada à empresa de IA. Feche as informações confidenciais.
• Se o agente vir um aviso de licença como “Chave não encontrada” (“Kilit Bulunamadı”), ele deve parar e avisar você; faça você mesmo as operações de chave de hardware e de licença.

9. Solução de problemas

Sintoma	Causa e solução
O agente clica nos lugares errados	A escala da tela não é 100% ou a janela é pequena. Defina a escala como 100% e maximize o StatiCAD; peça ao agente que confirme o alvo com uma captura de tela antes de cada clique.
A opção computer use não aparece	O aplicativo não está atualizado ou o plano não é adequado (no Claude, é necessário Pro/Max). Atualize e tente novamente.
O agente não encontra os menus do programa	Diga você mesmo os nomes dos menus (p. ex., “no menu Análise, EXECUTAR ANÁLISE ESTÁTICA”) ou peça que ele leia o AGENTS.md (na pasta do Ultimate).
O agente ficou preso em uma janela	Pode haver uma janela de pergunta ou de aviso aberta. Diga a ele que verifique a janela ou feche-a você mesmo.
Não é possível usar o computador enquanto o Codex trabalha	No Windows, o Codex funciona em primeiro plano; aguarde até o trabalho terminar.

Os planos, os preços e os nomes de menus dos serviços da Anthropic, da OpenAI e do Google podem mudar com o tempo; para informações atualizadas, consulte as páginas oficiais indicadas nos links. O modelo montado e os resultados produzidos pela IA devem ser verificados pelo engenheiro responsável.