Computer Use: використання екрана штучним інтелектом

1. Про цю статтю

Computer use — це коли ШІ-агент дивиться на знімок вашого екрана й замість вас користується мишею та клавіатурою. Агент відкриває меню, натискає кнопки, вводить значення у вікнах і перевіряє результат — знову ж таки за знімком екрана.

Коли використовувати?	Чому
Якщо у вашій редакції StatiCAD немає термінального каналу (Profesyonel, Standart, Betonarme, Yığma)	Агент може керувати програмою лише через екран.
Для дій, які не мають термінальної команди	Наприклад, налаштування в діалогових вікнах, вибір, переміщення, вигляди й попередній перегляд звіту.
Для візуальної перевірки	Щоб агент на власні очі перевірив створену модель на плані й у 3D-вигляді.

інформація

Якщо є термінал — спершу термінал: computer use значно повільніший за термінальні команди й може помилятися під час клацань. В Ultimate і Hybrid агент має спершу користуватися термінальними командами й переходити до екрана лише за потреби. Перший промпт зі статті про Claude Code саме це й вказує.

2. Якими інструментами?

Інструмент	Стан у Windows	Потрібний план
Настільний застосунок Claude (Claude Code)	Є (дослідницька попередня версія, research preview).	Claude Pro або Max
OpenAI Codex	Є; у Windows працює на передньому плані. Недоступний у ЄЕЗ, Великій Британії та Швейцарії.	План ChatGPT
Google Antigravity	Для настільних програм не задокументовано.	—

3. Підготуйте комп'ютер

1. Встановіть масштаб екрана 100% і, якщо можливо, роздільну здатність 1920×1080 (налаштування Windows › Система › Дисплей). Посібник користувача StatiCAD і AGENTS.md підготовлено саме для цих налаштувань; більший масштаб збільшує кількість помилкових клацань.
2. Запустіть StatiCAD і розгорніть вікно на весь екран; донгл має бути під'єднано.
3. Закрийте зайві вікна. Особливо закрийте вікна, у яких видно особисті дані: електронну пошту, банк, менеджер паролів.
4. Тимчасово вимкніть сповіщення Windows (режим «Не турбувати» / допомога з фокусуванням); спливаючі сповіщення можуть збити клацання.

4. Увімкнення computer use у Claude

1. Оновіть настільний застосунок Claude (якщо Claude не оновлюється сам, перевстановіть його з claude.com/download).
2. У Settings (Налаштування) › розділ настільного застосунку (Desktop app) увімкніть перемикач Computer use. У Windows налаштування набуває чинності одразу.
3. Почніть сеанс на вкладці Code (Claude Code, Крок 6).
4. Коли Claude уперше користуватиметься екраном, він запитає, якими застосунками хоче користуватися; дозвольте StatiCAD. За потреби він окремо запитає дозволу й на інші застосунки.

інформація

Рівні дозволів: застосунками, на які ви дали дозвіл, Claude може користуватися повністю. З міркувань безпеки браузери він може лише переглядати, а в терміналах і редакторах коду — лише клацати (вводити текст не може). Дозволи на застосунки діють лише в межах поточного сеансу.

5. Computer use у Codex

• Увімкніть керування комп'ютером (computer use) у налаштуваннях застосунку Codex.
• У Windows, коли Codex працює з екраном, вікна виходять на передній план; у цей час не торкайтеся миші й клавіатури.
• Встановлення й обліковий запис: стаття про ChatGPT (Codex).

6. Приклади промптів

Ultimate і Hybrid: термінал + за потреби екран. Достатньо промпту зі статті про Claude Code:

Прочитай файли AGENTS.md і YARDIM_AI_KOMUTLAR.md у папці C:\StatiCAD\Ultimatex64. Я хочу, щоб ти створював мої проєкти, користуючись програмою (StatiCAD.exe) через термінал, а за потреби — через computer use.

Редакції без термінала (приклад для Profesyonel; змініть назву папки відповідно до своєї редакції: V10StdX64, BAV10, YigmaV10ProX64, YigmaV10StdX64; у Betonarme файл програми — StatiCAD-Betonarme.exe, у Yığma — StatiCAD-Yigma.exe):

Я користуюся StatiCAD Profesyonel; файл програми — C:\StatiCAD\V10ProX64\StatiCAD.exe. У цій редакції немає термінального каналу, тож ти користуватимешся програмою через екран за допомогою computer use.
- Спершу, якщо в папці C:\StatiCAD\V10ProX64 є AGENTS.md, прочитай його; якщо немає — працюй, читаючи екран.
- Якщо програма відкрита, не запускай її вдруге. Перед кожним клацанням перевіряй ціль за знімком екрана.
- Перш ніж перезаписувати наявні файли чи закривати програму, спитай мене.
Коли будеш готовий, зроби знімок головного екрана, коротко опиши, що бачиш, і спитай мене, що я хочу зробити.

інформація

Файли інструкцій для агентів: файли інструкцій для агентів (AGENTS.md і робочий посібник саме для computer use: розпізнавання стану екрана, надійні клацання, точки очікування, типові помилки) є лише в установці Ultimate. В інших редакціях промпт вище сам передає агентові найнеобхідніші правила з цих файлів.

Посеред сеансу, щоб спрямувати агента до екрана:

Для дій, які не можна виконати термінальною командою, користуйся computer use: спершу зроби знімок вікна StatiCAD на екрані, потім відкрий потрібне меню або вікно. Якщо діалогове вікно залишиться відкритим, термінальні команди чекатимуть; перевір діалог і закрий його. Наприкінці зроби знімок екрана 3D-вигляду й коротко підсумуй мені результати перевірки моделі.

7. Поки агент працює

• Не торкайтеся миші й клавіатури; клацання агента змішаються з вашими.
• Стежте за діями агента у вікні чату. Якщо він переходить не в те вікно чи меню, перервіть роботу кнопкою зупинки й заново напишіть, що йому слід зробити.
• Якщо в StatiCAD відбулася небажана зміна, після зупинки скасуйте її клавішами Ctrl+Z.
• Просіть агента на важливих етапах (наприклад, після завершення аналізу чи в попередньому перегляді звіту) зробити знімок екрана й підсумувати, що він бачить.

8. Безпека

небезпека

Ви передаєте керування своїм екраном комусь іншому:

• Агент може користуватися лише тими застосунками, на які ви дали дозвіл; перш ніж дозволити йому інші застосунки, крім StatiCAD, запитайте, навіщо вони потрібні.
• Не дозволяйте агентові вводити паролі, дані карток чи ідентифікаційні номери; побачивши такий запит, зупиніть роботу.
• Усе, що видно на екрані (відкриті документи, сповіщення), потрапляє на знімок, який надсилається компанії-розробнику ШІ. Закрийте конфіденційну інформацію.
• Якщо агент бачить ліцензійне попередження на кшталт «Ключ не знайдено» (Kilit Bulunamadı), він має зупинитися й повідомити вас; операції з донглом і ліцензією виконуйте самі.

9. Усунення несправностей

Ознака	Причина та рішення
Агент клацає не туди	Масштаб екрана не 100% або вікно замале. Встановіть масштаб 100%, розгорніть StatiCAD; попросіть агента перед кожним клацанням перевіряти ціль за знімком екрана.
Параметра computer use не видно	Застосунок не оновлено або план не підходить (у Claude потрібен Pro/Max). Оновіть застосунок і спробуйте знову.
Агент не знаходить пункти меню турецькою	Назвіть пункти меню самі так, як вони написані на екрані (наприклад, «меню Analiz › STATIK ANALIZ YAP», тобто Аналіз › ВИКОНАТИ СТАТИЧНИЙ АНАЛІЗ), або попросіть його прочитати AGENTS.md (у папці Ultimate).
Агент застряг у якомусь вікні	Можливо, залишилося відкритим вікно запитання чи попередження. Скажіть йому перевірити вікно або закрийте його самі.
Під час роботи Codex комп'ютером користуватися неможливо	У Windows Codex працює на передньому плані; дочекайтеся завершення роботи.

Назви тарифних планів, ціни та назви меню сервісів Anthropic, OpenAI і Google з часом можуть змінюватися; актуальну інформацію дивіться на офіційних сторінках за посиланнями. Модель, створену ШІ, і отримані результати має перевірити відповідальний інженер.