Computer Use: Yapay Zekânın Ekranı Kullanması
1. Bu makale hakkında
Computer use, yapay zekâ ajanının ekranınızın görüntüsüne bakıp fareyi ve klavyeyi sizin yerinize kullanmasıdır. Ajan, menüleri açar, düğmelere tıklar, pencerelere değer yazar ve sonucu yine ekran görüntüsüyle denetler.
| Ne zaman kullanılır? | Neden |
|---|---|
| StatiCAD sürümünüzde terminal kanalı yoksa (Profesyonel, Standart, Betonarme, Yığma) | Ajan programı yalnız ekrandan yönetebilir. |
| Terminal komutu olmayan işlerde | Diyalog pencerelerindeki ayarlar, seçme, taşıma, görünüm ve rapor önizlemesi gibi. |
| Görsel kontrolde | Ajanın kurduğu modeli plan ve 3B görünümde kendi gözüyle denetlemesi için. |
Terminal varsa önce terminal: Computer use, terminal komutlarına göre çok daha yavaştır ve tıklama hatası yapabilir. Ultimate ve Hybrid'de ajan önce terminal komutlarını kullanmalı, yalnız gerektiğinde ekrana geçmelidir. Claude Code makalesindeki ilk istem bunu zaten söyler.
2. Hangi araçlarla?
| Araç | Windows'ta durum | Gereken plan |
|---|---|---|
| Claude masaüstü uygulaması (Claude Code) | Var (araştırma önizlemesi). | Claude Pro ya da Max |
| OpenAI Codex | Var; Windows'ta ön planda çalışır. AEA, Birleşik Krallık ve İsviçre'de kapalı. | ChatGPT planı |
| Google Antigravity | Masaüstü programları için belgelenmemiş. | — |
3. Bilgisayarı hazırlayın
- Ekran ölçeğini %100 ve çözünürlüğü mümkünse 1920×1080 yapın (Windows Ayarlar › Sistem › Ekran). StatiCAD Kılavuzu ve AGENTS.md bu ayara göre hazırlandı; büyük ölçekler tıklama hatasını artırır.
- StatiCAD'i açıp pencereyi ekranı kaplayacak şekilde büyütün; yazılım kilidi takılı olsun.
- Gereksiz pencereleri kapatın. Özellikle e-posta, banka, şifre yöneticisi gibi kişisel bilgilerin göründüğü pencereleri kapatın.
- Windows bildirimlerini geçici olarak susturun (Odaklanma / Rahatsız Etmeyin); açılan bildirimler tıklamaları şaşırtabilir.
4. Claude'da computer use'u açmak
- Claude masaüstü uygulamasını güncelleyin (Claude kendini güncellemezse claude.com/download'dan yeniden kurun).
- Settings (Ayarlar) › masaüstü uygulaması (Desktop app) bölümünde Computer use anahtarını açın. Windows'ta ayar hemen geçerli olur.
- Code sekmesinde oturumunuzu açın (Claude Code, Adım 6).
- Claude ekranı ilk kez kullanacağı zaman hangi uygulamaları kullanmak istediğini sorar; StatiCAD'e izin verin. Gerektiğinde başka uygulamalar için de ayrıca sorar.
İzin düzeyleri: Claude'a izin verdiğiniz uygulamaları tam olarak kullanabilir. Güvenlik için internet tarayıcılarını yalnız görüntüleyebilir, terminal ve kod düzenleyicilerde yalnız tıklayabilir (yazamaz). İzin verdiğiniz uygulamalar o oturumla sınırlıdır.
5. Codex'te computer use
- Codex uygulamasının ayarlarından bilgisayar kullanımını (computer use) açın.
- Windows'ta Codex ekranı kullanırken pencereler ön plana gelir; o sırada fare ve klavyeye dokunmayın.
- Kurulum ve hesap: ChatGPT (Codex) makalesi.
6. İstem örnekleri
Ultimate ve Hybrid: terminal + gerektiğinde ekran. Claude Code makalesindeki istem yeterlidir:
C:\StatiCAD\Ultimatex64 klasöründeki AGENTS.md ve YARDIM_AI_KOMUTLAR.md dosyalarını oku, programı (StatiCAD.exe) terminal üzerinden ve gerektiğinde computer use ile kullanıp projelerimi oluşturmanı istiyorum.
Terminali olmayan sürümler (örnek Profesyonel; klasör adını kendi sürümünüze göre değiştirin: V10StdX64, BAV10, YigmaV10ProX64, YigmaV10StdX64; Betonarme'de program dosyası StatiCAD-Betonarme.exe, Yığma'da StatiCAD-Yigma.exe):
StatiCAD Profesyonel kullanıyorum; program dosyası C:\StatiCAD\V10ProX64\StatiCAD.exe. Bu sürümde terminal kanalı yok, programı computer use ile ekrandan kullanacaksın.
- Önce C:\StatiCAD\V10ProX64 klasöründe AGENTS.md varsa oku; yoksa ekranı okuyarak ilerle.
- Program açıksa ikinci kez başlatma. Her tıklamadan önce ekran görüntüsüyle hedefi doğrula.
- Var olan dosyaların üzerine yazmadan ve programı kapatmadan önce bana sor.
Hazır olunca ana ekranın görüntüsünü al, ne gördüğünü kısaca anlat ve ne yapmak istediğimi sor.
Ajan yönerge dosyaları: Ajanlar için yönerge dosyaları (AGENTS.md ve computer use'a özgü çalışma kılavuzu: ekran durumunu tanıma, güvenilir tıklama, bekleme noktaları, sık hatalar) yalnız Ultimate kurulumunda bulunur. Diğer sürümlerde yukarıdaki istem, bu dosyalardaki en gerekli kuralları ajana kendisi verir.
Oturum ortasında ajanı ekrana yönlendirmek için:
Terminal komutuyla yapılamayan işlerde computer use kullan: önce ekrandaki StatiCAD penceresinin görüntüsünü al, sonra ilgili menüyü ya da pencereyi aç. Bir diyalog açık kalırsa terminal komutları bekler; diyaloğu kontrol edip kapat. İşin sonunda 3B görünümün ekran görüntüsünü al ve modeli kontrol ettiğini bana özetle.
7. Ajan çalışırken
- Fareye ve klavyeye dokunmayın; ajanın tıklamaları sizinkilerle karışır.
- Ajanın ne yaptığını sohbet penceresinden izleyin. Yanlış bir pencereye ya da menüye gidiyorsa durdurma düğmesiyle işi kesin ve ne yapması gerektiğini yeniden yazın.
- StatiCAD'de istenmeyen bir değişiklik olduysa durdurduktan sonra Ctrl+Z ile geri alın.
- Ajandan önemli adımlarda (ör. analiz bittiğinde, rapor önizlemesinde) ekran görüntüsü alıp ne gördüğünü özetlemesini isteyin.
8. Güvenlik
Ekranınızı bir başkasına kullandırıyorsunuz:
- Ajan yalnız izin verdiğiniz uygulamaları kullanabilir; StatiCAD dışındaki uygulamalara izin vermeden önce nedenini sorun.
- Ajana şifre, kart bilgisi ya da kimlik numarası yazdırmayın; böyle bir istek görürseniz işi durdurun.
- Ekranda görünen her şey (açık belgeler, bildirimler) yapay zekâ şirketine gönderilen görüntüye girer. Gizli bilgileri kapatın.
- Ajan “Kilit Bulunamadı” gibi bir lisans uyarısı görürse durup size bildirmelidir; kilit ve lisans işlemlerini kendiniz yapın.
9. Sorun giderme
| Belirti | Neden ve çözüm |
|---|---|
| Ajan yanlış yerlere tıklıyor | Ekran ölçeği %100 değil ya da pencere küçük. Ölçeği %100 yapın, StatiCAD'i büyütün; ajandan her tıklamadan önce ekran görüntüsüyle doğrulamasını isteyin. |
| Computer use seçeneği görünmüyor | Uygulama güncel değil ya da plan uygun değil (Claude'da Pro/Max gerekir). Güncelleyip yeniden deneyin. |
| Ajan Türkçe menüleri bulamıyor | Menü adlarını siz söyleyin (ör. “Analiz menüsünden STATIK ANALIZ YAP”) ya da AGENTS.md'yi okumasını isteyin (Ultimate klasöründe). |
| Ajan bir pencerede takıldı | Açık kalan bir soru ya da uyarı penceresi olabilir. Pencereyi kontrol etmesini söyleyin ya da siz kapatın. |
| Codex çalışırken bilgisayar kullanılamıyor | Windows'ta Codex ön planda çalışır; iş bitene kadar bekleyin. |
Anthropic, OpenAI ve Google hizmetlerinin plan, fiyat ve menü adları zamanla değişebilir; güncel bilgi için bağlantı verilen resmi sayfalara bakın. Yapay zekânın kurduğu model ve ürettiği sonuçlar sorumlu mühendis tarafından kontrol edilmelidir.