Computer Use: AI Menggunakan Layar

1. Tentang artikel ini

Computer use berarti agen AI melihat gambar layar Anda serta menggunakan mouse dan keyboard menggantikan Anda. Agen membuka menu, mengklik tombol, mengetik nilai di jendela, lalu memeriksa hasilnya lagi melalui tangkapan layar.

Kapan digunakan?	Alasan
Jika edisi StatiCAD Anda tidak memiliki kanal terminal (Profesyonel, Standart, Betonarme, Yığma)	Agen hanya dapat mengendalikan program melalui layar.
Pada pekerjaan yang tidak memiliki perintah terminal	Seperti pengaturan di jendela dialog, memilih, memindahkan, tampilan, dan pratinjau laporan.
Untuk pemeriksaan visual	Agar agen memeriksa sendiri model yang disiapkannya pada denah dan tampilan 3D.

info

Jika ada terminal, utamakan terminal: Computer use jauh lebih lambat dibandingkan perintah terminal dan dapat salah klik. Pada Ultimate dan Hybrid, agen sebaiknya menggunakan perintah terminal terlebih dahulu dan beralih ke layar hanya bila diperlukan. Prompt pertama di artikel Claude Code sudah menyatakan hal ini.

2. Dengan alat apa?

Alat	Status di Windows	Paket yang diperlukan
Aplikasi desktop Claude (Claude Code)	Ada (pratinjau riset).	Claude Pro atau Max
OpenAI Codex	Ada; di Windows bekerja di latar depan. Tidak tersedia di EEA, Inggris, dan Swiss.	Paket ChatGPT
Google Antigravity	Tidak terdokumentasi untuk program desktop.	—

3. Siapkan komputer

1. Atur skala layar ke 100% dan, jika memungkinkan, resolusi ke 1920×1080 (Pengaturan Windows › Sistem › Tampilan). Panduan Pengguna StatiCAD dan AGENTS.md disiapkan untuk pengaturan ini; skala yang lebih besar meningkatkan kesalahan klik.
2. Buka StatiCAD dan perbesar jendelanya hingga memenuhi layar; dongle harus terpasang.
3. Tutup jendela yang tidak perlu. Terutama, tutup jendela yang menampilkan informasi pribadi seperti e-mail, bank, dan pengelola kata sandi.
4. Senyapkan sementara notifikasi Windows (Bantuan fokus / Jangan Ganggu); notifikasi yang muncul dapat mengacaukan klik.

4. Mengaktifkan computer use di Claude

1. Perbarui aplikasi desktop Claude (jika Claude tidak memperbarui dirinya sendiri, pasang ulang dari claude.com/download).
2. Aktifkan sakelar Computer use di Settings (Pengaturan) › bagian aplikasi desktop (Desktop app). Di Windows, pengaturan ini langsung berlaku.
3. Buka sesi Anda di tab Code (Claude Code, Langkah 6).
4. Saat pertama kali akan menggunakan layar, Claude menanyakan aplikasi mana yang ingin digunakannya; izinkan StatiCAD. Bila diperlukan, Claude juga menanyakan secara terpisah untuk aplikasi lain.

info

Tingkat izin: Claude dapat menggunakan sepenuhnya aplikasi yang Anda izinkan. Demi keamanan, browser internet hanya dapat dilihatnya, sedangkan pada terminal dan editor kode Claude hanya dapat mengklik (tidak dapat mengetik). Izin aplikasi yang Anda berikan terbatas pada sesi tersebut.

5. Computer use di Codex

• Aktifkan penggunaan komputer (computer use) dari pengaturan aplikasi Codex.
• Di Windows, saat Codex menggunakan layar, jendela-jendela dibawa ke latar depan; selama itu jangan sentuh mouse dan keyboard.
• Pemasangan dan akun: Artikel ChatGPT (Codex).

6. Contoh prompt

Ultimate dan Hybrid: terminal + layar bila diperlukan. Prompt di artikel Claude Code sudah cukup:

Baca berkas AGENTS.md dan YARDIM_AI_KOMUTLAR.md di folder C:\StatiCAD\Ultimatex64. Saya ingin Anda menggunakan program (StatiCAD.exe) melalui terminal, dan bila perlu dengan computer use, untuk membuat proyek-proyek saya.

Edisi tanpa terminal (contoh Profesyonel; ubah nama folder sesuai edisi Anda: V10StdX64, BAV10, YigmaV10ProX64, YigmaV10StdX64; pada Betonarme berkas programnya StatiCAD-Betonarme.exe, pada Yığma StatiCAD-Yigma.exe):

Saya menggunakan StatiCAD Profesyonel; berkas programnya C:\StatiCAD\V10ProX64\StatiCAD.exe. Edisi ini tidak memiliki kanal terminal, jadi Anda akan menggunakan program melalui layar dengan computer use.
- Pertama, jika ada AGENTS.md di folder C:\StatiCAD\V10ProX64, baca berkas itu; jika tidak ada, lanjutkan dengan membaca layar.
- Jika program sudah terbuka, jangan jalankan untuk kedua kalinya. Sebelum setiap klik, verifikasi target dengan tangkapan layar.
- Tanyakan saya sebelum menimpa berkas yang sudah ada dan sebelum menutup program.
Jika sudah siap, ambil tangkapan layar dari layar utama, jelaskan singkat apa yang Anda lihat, dan tanyakan apa yang ingin saya lakukan.

info

Berkas instruksi agen: Berkas instruksi untuk agen (AGENTS.md dan panduan kerja khusus computer use: mengenali keadaan layar, klik yang andal, titik tunggu, kesalahan umum) hanya ada pada instalasi Ultimate. Pada edisi lain, prompt di atas sendiri yang memberikan aturan terpenting dari berkas-berkas tersebut kepada agen.

Di tengah sesi, untuk mengarahkan agen ke layar:

Untuk pekerjaan yang tidak dapat dilakukan dengan perintah terminal, gunakan computer use: pertama ambil tangkapan layar jendela StatiCAD di layar, lalu buka menu atau jendela yang sesuai. Jika sebuah dialog tetap terbuka, perintah terminal akan menunggu; periksa dialog itu lalu tutup. Di akhir pekerjaan, ambil tangkapan layar tampilan 3D dan sampaikan ringkasan kepada saya bahwa Anda telah memeriksa modelnya.

7. Saat agen bekerja

• Jangan sentuh mouse dan keyboard; klik agen akan bercampur dengan klik Anda.
• Pantau apa yang dilakukan agen dari jendela obrolan. Jika agen menuju jendela atau menu yang salah, hentikan pekerjaannya dengan tombol berhenti lalu tulis kembali apa yang harus dilakukannya.
• Jika terjadi perubahan yang tidak diinginkan di StatiCAD, batalkan dengan Ctrl+Z setelah menghentikan agen.
• Minta agen mengambil tangkapan layar pada langkah-langkah penting (mis. saat analisis selesai, pada pratinjau laporan) dan meringkas apa yang dilihatnya.

8. Keamanan

bahaya

Anda membiarkan pihak lain menggunakan layar Anda:

• Agen hanya dapat menggunakan aplikasi yang Anda izinkan; sebelum mengizinkan aplikasi selain StatiCAD, tanyakan alasannya.
• Jangan biarkan agen mengetik kata sandi, data kartu, atau nomor identitas; jika Anda melihat permintaan seperti itu, hentikan pekerjaannya.
• Semua yang tampak di layar (dokumen yang terbuka, notifikasi) ikut masuk ke gambar yang dikirim ke perusahaan AI. Tutup informasi rahasia.
• Jika agen melihat peringatan lisensi seperti “Kunci Tidak Ditemukan” (Kilit Bulunamadı), agen harus berhenti dan memberi tahu Anda; lakukan sendiri urusan dongle dan lisensi.

9. Pemecahan masalah

Gejala	Penyebab dan solusi
Agen mengklik tempat yang salah	Skala layar bukan 100% atau jendela terlalu kecil. Atur skala ke 100%, perbesar StatiCAD; minta agen memverifikasi dengan tangkapan layar sebelum setiap klik.
Opsi computer use tidak terlihat	Aplikasi belum diperbarui atau paket tidak sesuai (di Claude diperlukan Pro/Max). Perbarui lalu coba lagi.
Agen tidak menemukan menu berbahasa Turki	Sebutkan sendiri nama menunya (mis. “dari menu Analiz, pilih STATIK ANALIZ YAP”, yaitu Analisis › LAKUKAN ANALISIS STATIK) atau minta agen membaca AGENTS.md (di folder Ultimate).
Agen tersangkut di sebuah jendela	Mungkin ada jendela pertanyaan atau peringatan yang tetap terbuka. Minta agen memeriksa jendela itu atau tutup sendiri.
Komputer tidak dapat digunakan saat Codex bekerja	Di Windows, Codex bekerja di latar depan; tunggu sampai pekerjaan selesai.

Nama paket, harga, dan menu layanan Anthropic, OpenAI, dan Google dapat berubah seiring waktu; untuk informasi terkini, lihat halaman resmi yang ditautkan. Model yang disiapkan dan hasil yang dihasilkan AI harus diperiksa oleh insinyur yang bertanggung jawab.