Computer Use: ИИ работает с экраном

1. Об этой статье

Computer use — это режим, в котором ИИ-агент смотрит на снимки вашего экрана и пользуется мышью и клавиатурой вместо вас. Агент открывает меню, нажимает кнопки, вводит значения в окна и проверяет результат также по снимку экрана.

Когда использовать?	Почему
В вашей редакции StatiCAD нет терминального канала (Profesyonel, Standart, Betonarme, Yığma)	Агент может управлять программой только через экран.
Для операций, у которых нет терминальной команды	Например, настройки в диалоговых окнах, выделение, перемещение, вид и предварительный просмотр отчёта.
Для визуальной проверки	Чтобы агент своими глазами проверил созданную им модель на плане и в 3D-виде.

к сведению

Если есть терминал, сначала терминал: computer use работает намного медленнее терминальных команд и может промахиваться при щелчках. В Ultimate и Hybrid агент должен сначала использовать терминальные команды и переходить к экрану только при необходимости. Первый промпт из статьи о Claude Code уже говорит ему об этом.

2. С какими инструментами?

Инструмент	Состояние в Windows	Нужный тариф
Настольное приложение Claude (Claude Code)	Есть (исследовательская предварительная версия, research preview).	Claude Pro или Max
OpenAI Codex	Есть; в Windows работает на переднем плане. Недоступно в ЕЭЗ, Великобритании и Швейцарии.	Тариф ChatGPT
Google Antigravity	Для настольных программ не задокументировано.	—

3. Подготовьте компьютер

1. Установите масштаб экрана 100 % и, по возможности, разрешение 1920×1080 (Параметры Windows › Система › Дисплей). Руководство пользователя StatiCAD и AGENTS.md подготовлены для этой настройки; при большем масштабе ошибок при щелчках становится больше.
2. Запустите StatiCAD и разверните окно на весь экран; аппаратный ключ должен быть вставлен.
3. Закройте лишние окна. Особенно закройте окна, в которых видны личные данные: электронная почта, банк, менеджер паролей и т. п.
4. Временно отключите уведомления Windows (Фокусировка внимания / Не беспокоить): всплывающие уведомления могут сбивать щелчки.

4. Включение computer use в Claude

1. Обновите настольное приложение Claude (если Claude не обновляется сам, переустановите его со страницы claude.com/download).
2. В Settings (настройки) › в разделе настольного приложения (Desktop app) включите переключатель Computer use. В Windows настройка вступает в силу сразу.
3. Откройте сеанс на вкладке Code (StatiCAD с Claude Code, шаг 6).
4. Когда Claude впервые соберётся воспользоваться экраном, он спросит, какими приложениями хочет пользоваться; разрешите StatiCAD. При необходимости он отдельно спросит и о других приложениях.

к сведению

Уровни разрешений: приложениями, которые вы разрешили, Claude может пользоваться полностью. В целях безопасности веб-браузеры он может только просматривать, а в терминалах и редакторах кода может только щёлкать (вводить текст не может). Разрешения на приложения действуют только в пределах данного сеанса.

5. Computer use в Codex

• Включите использование компьютера (computer use) в настройках приложения Codex.
• В Windows, когда Codex пользуется экраном, окна выводятся на передний план; в это время не трогайте мышь и клавиатуру.
• Установка и учётная запись: статья о ChatGPT (Codex).

6. Примеры промптов

Ultimate и Hybrid: терминал + при необходимости экран. Достаточно промпта из статьи о Claude Code:

Прочитай файлы AGENTS.md и YARDIM_AI_KOMUTLAR.md в папке C:\StatiCAD\Ultimatex64; я хочу, чтобы ты создавал мои проекты, используя программу (StatiCAD.exe) через терминал, а при необходимости — через computer use.

Редакции без терминала (пример для Profesyonel; измените имя папки в соответствии со своей редакцией: V10StdX64, BAV10, YigmaV10ProX64, YigmaV10StdX64; в Betonarme исполняемый файл программы — StatiCAD-Betonarme.exe, в Yığma — StatiCAD-Yigma.exe):

Я использую StatiCAD Profesyonel; исполняемый файл программы — C:\StatiCAD\V10ProX64\StatiCAD.exe. В этой редакции нет терминального канала, ты будешь работать с программой через экран с помощью computer use.
- Сначала, если в папке C:\StatiCAD\V10ProX64 есть AGENTS.md, прочитай его; если нет — действуй, читая экран.
- Если программа открыта, не запускай её второй раз. Перед каждым щелчком проверяй цель по снимку экрана.
- Перед перезаписью существующих файлов и перед закрытием программы спроси меня.
Когда будешь готов, сделай снимок главного экрана, кратко опиши, что видишь, и спроси, что я хочу сделать.

к сведению

Файлы инструкций для агентов: файлы инструкций для агентов (AGENTS.md и рабочее руководство для computer use: распознавание состояния экрана, надёжные щелчки, точки ожидания, частые ошибки) есть только в установке Ultimate. В других редакциях приведённый выше промпт сам передаёт агенту самые необходимые правила из этих файлов.

В середине сеанса, чтобы направить агента к работе с экраном:

Для операций, которые нельзя выполнить терминальной командой, используй computer use: сначала сделай снимок окна StatiCAD на экране, затем открой нужное меню или окно. Если диалоговое окно остаётся открытым, терминальные команды ждут; проверь диалог и закрой его. В конце работы сделай снимок экрана с 3D-видом и кратко сообщи мне, как ты проверил модель.

7. Пока агент работает

• Не трогайте мышь и клавиатуру: щелчки агента смешаются с вашими.
• Следите за действиями агента в окне чата. Если он переходит не в то окно или меню, прервите работу кнопкой остановки и заново напишите, что нужно сделать.
• Если в StatiCAD произошло нежелательное изменение, после остановки отмените его клавишами Ctrl+Z.
• Просите агента на важных шагах (например, после завершения анализа, при предварительном просмотре отчёта) делать снимок экрана и кратко описывать, что он видит.

8. Безопасность

осторожно

Вы позволяете другому пользоваться вашим экраном:

• Агент может пользоваться только разрешёнными вами приложениями; прежде чем разрешить другие приложения, кроме StatiCAD, спросите, зачем они нужны.
• Не позволяйте агенту вводить пароли, данные карт или идентификационные номера; если увидите такой запрос, остановите работу.
• Всё, что видно на экране (открытые документы, уведомления), попадает в изображение, отправляемое компании — разработчику ИИ. Закройте конфиденциальную информацию.
• Если агент увидит предупреждение о лицензии, например «Ключ не найден» («Kilit Bulunamadı»), он должен остановиться и сообщить вам; операции с аппаратным ключом и лицензией выполняйте сами.

9. Устранение неполадок

Признак	Причина и решение
Агент щёлкает не туда	Масштаб экрана не 100 % или окно слишком маленькое. Установите масштаб 100 %, разверните StatiCAD; попросите агента перед каждым щелчком проверять цель по снимку экрана.
Не видно параметра computer use	Приложение не обновлено или тариф не подходит (в Claude нужен Pro/Max). Обновите приложение и повторите попытку.
Агент не находит пункты меню на русском языке	Назовите пункты меню сами (например, «в меню „Анализ“ выбери „ВЫПОЛНИТЬ СТАТИЧЕСКИЙ АНАЛИЗ“») или попросите его прочитать AGENTS.md (в папке Ultimate).
Агент застрял в каком-то окне	Возможно, осталось открытым окно вопроса или предупреждения. Попросите его проверить окно или закройте его сами.
Во время работы Codex нельзя пользоваться компьютером	В Windows Codex работает на переднем плане; дождитесь окончания работы.

Названия тарифов, цены и меню сервисов Anthropic, OpenAI и Google со временем могут меняться; актуальную информацию смотрите на официальных страницах по приведённым ссылкам. Модель, созданная ИИ, и полученные результаты должны быть проверены ответственным инженером.