پرش به مطلب اصلی

Computer Use: استفاده هوش مصنوعی از صفحه نمایش

1. درباره این مقاله​

Computer use یعنی عامل هوش مصنوعی به تصویر صفحه نمایش شما نگاه کند و به جای شما از ماوس و صفحه‌کلید استفاده کند. عامل منوها را باز می‌کند، روی دکمه‌ها کلیک می‌کند، در پنجره‌ها مقدار می‌نویسد و نتیجه را باز هم با تصویر صفحه بررسی می‌کند.

چه زمانی به کار می‌رود؟چرا
اگر نسخه StatiCAD شما کانال ترمینال ندارد (Profesyonel، Standart، Betonarme، Yığma)عامل فقط از روی صفحه نمایش می‌تواند برنامه را مدیریت کند.
در کارهایی که دستور ترمینال ندارندمانند تنظیمات پنجره‌های دیالوگ، انتخاب، جابه‌جایی، نما و پیش‌نمایش گزارش.
در کنترل بصریبرای اینکه عامل مدلی را که ساخته است در پلان و نمای سه‌بعدی با چشم خود بررسی کند.
اطلاع

اگر ترمینال هست، اول ترمینال: computer use در مقایسه با دستورهای ترمینال بسیار کندتر است و ممکن است در کلیک اشتباه کند. در Ultimate و Hybrid، عامل باید ابتدا از دستورهای ترمینال استفاده کند و فقط در صورت نیاز به صفحه نمایش برود. نخستین پرامپت در مقاله Claude Code همین را می‌گوید.

2. با کدام ابزارها؟​

ابزاروضعیت در Windowsطرح لازم
برنامه دسکتاپ Claude (Claude Code)دارد (پیش‌نمایش تحقیقاتی).Claude Pro یا Max
OpenAI Codexدارد؛ در Windows در پیش‌زمینه کار می‌کند. در منطقه اقتصادی اروپا، بریتانیا و سوئیس غیرفعال است.طرح ChatGPT
Google Antigravityبرای برنامه‌های دسکتاپ مستند نشده است.—

3. رایانه را آماده کنید​

  1. مقیاس صفحه نمایش را 100% و در صورت امکان وضوح را 1920×1080 کنید (تنظیمات Windows: Settings › System › Display). راهنمای StatiCAD و AGENTS.md بر اساس این تنظیم تهیه شده‌اند؛ مقیاس‌های بزرگ خطای کلیک را افزایش می‌دهند.
  2. StatiCAD را باز کنید و پنجره را طوری بزرگ کنید که کل صفحه را بپوشاند؛ قفل سخت‌افزاری وصل باشد.
  3. پنجره‌های غیرضروری را ببندید. به‌ویژه پنجره‌هایی را که اطلاعات شخصی در آن‌ها دیده می‌شود، مانند ایمیل، بانک و مدیر گذرواژه، ببندید.
  4. اعلان‌های Windows را موقتاً بی‌صدا کنید (Focus / Do not disturb)؛ اعلان‌هایی که باز می‌شوند ممکن است کلیک‌ها را منحرف کنند.

4. فعال کردن computer use در Claude​

  1. برنامه دسکتاپ Claude را به‌روز کنید (اگر Claude خودش را به‌روز نمی‌کند، آن را از claude.com/download دوباره نصب کنید).
  2. در Settings (تنظیمات) › بخش برنامه دسکتاپ (Desktop app)، کلید Computer use را روشن کنید. در Windows تنظیم بی‌درنگ اعمال می‌شود.
  3. در زبانه Code نشست خود را باز کنید (Claude Code، گام 6).
  4. وقتی Claude نخستین بار می‌خواهد از صفحه نمایش استفاده کند، می‌پرسد که از کدام برنامه‌ها می‌خواهد استفاده کند؛ به StatiCAD اجازه دهید. در صورت نیاز برای برنامه‌های دیگر نیز جداگانه می‌پرسد.
اطلاع

سطوح اجازه: Claude می‌تواند از برنامه‌هایی که به آن‌ها اجازه داده‌اید به‌طور کامل استفاده کند. برای امنیت، مرورگرهای اینترنت را فقط می‌تواند ببیند و در ترمینال‌ها و ویرایشگرهای کد فقط می‌تواند کلیک کند (نمی‌تواند بنویسد). اجازه‌ای که به برنامه‌ها می‌دهید به همان نشست محدود است.

5. Computer use در Codex​

  • از تنظیمات برنامه Codex، استفاده از رایانه (computer use) را فعال کنید.
  • در Windows، وقتی Codex از صفحه نمایش استفاده می‌کند، پنجره‌ها به پیش‌زمینه می‌آیند؛ در آن هنگام به ماوس و صفحه‌کلید دست نزنید.
  • نصب و حساب: مقاله ChatGPT (Codex).

6. نمونه پرامپت‌ها​

Ultimate و Hybrid: ترمینال + در صورت نیاز صفحه نمایش. پرامپت مقاله Claude Code کافی است:

فایل‌های AGENTS.md و YARDIM_AI_KOMUTLAR.md در پوشه C:\StatiCAD\Ultimatex64 را بخوان؛ می‌خواهم برنامه (StatiCAD.exe) را از طریق ترمینال و در صورت نیاز با computer use به کار ببری و پروژه‌هایم را بسازی.

نسخه‌های بدون ترمینال (برای نمونه Profesyonel؛ نام پوشه را بر حسب نسخه خود تغییر دهید: V10StdX64، BAV10، YigmaV10ProX64، YigmaV10StdX64؛ در Betonarme فایل برنامه StatiCAD-Betonarme.exe و در Yığma StatiCAD-Yigma.exe است):

از StatiCAD Profesyonel استفاده می‌کنم؛ فایل برنامه C:\StatiCAD\V10ProX64\StatiCAD.exe است. در این نسخه کانال ترمینال وجود ندارد، برنامه را با computer use از روی صفحه نمایش به کار خواهی برد.
- ابتدا اگر در پوشه C:\StatiCAD\V10ProX64 فایل AGENTS.md هست آن را بخوان؛ اگر نیست، با خواندن صفحه نمایش پیش برو.
- اگر برنامه باز است، آن را برای بار دوم اجرا نکن. پیش از هر کلیک، هدف را با تصویر صفحه (screenshot) تأیید کن.
- پیش از بازنویسی روی فایل‌های موجود و پیش از بستن برنامه از من بپرس.
وقتی آماده شدی، از صفحه اصلی تصویر بگیر، به‌طور خلاصه بگو چه می‌بینی و از من بپرس که می‌خواهم چه کار کنم.
اطلاع

فایل‌های دستورالعمل عامل: فایل‌های دستورالعمل برای عامل‌ها (AGENTS.md و راهنمای کار ویژه computer use: شناخت وضعیت صفحه، کلیک مطمئن، نقاط انتظار، خطاهای رایج) فقط در نصب Ultimate وجود دارند. در نسخه‌های دیگر، پرامپت بالا خودش ضروری‌ترین قواعد این فایل‌ها را به عامل می‌دهد.

در میانه نشست برای هدایت عامل به صفحه نمایش:

در کارهایی که با دستور ترمینال انجام نمی‌شوند از computer use استفاده کن: ابتدا از پنجره StatiCAD روی صفحه تصویر بگیر، سپس منو یا پنجره مربوط را باز کن. اگر یک دیالوگ باز بماند، دستورهای ترمینال منتظر می‌مانند؛ دیالوگ را بررسی کن و ببند. در پایان کار از نمای سه‌بعدی تصویر صفحه بگیر و به‌طور خلاصه به من بگو که مدل را کنترل کرده‌ای.

7. هنگام کار عامل​

  • به ماوس و صفحه‌کلید دست نزنید؛ کلیک‌های عامل با کلیک‌های شما قاطی می‌شوند.
  • کارهای عامل را از پنجره گفت‌وگو دنبال کنید. اگر به پنجره یا منوی اشتباهی می‌رود، با دکمه توقف کار را قطع کنید و دوباره بنویسید چه باید بکند.
  • اگر در StatiCAD تغییر ناخواسته‌ای رخ داد، پس از توقف با Ctrl+Z آن را برگردانید.
  • از عامل بخواهید در گام‌های مهم (مثلاً وقتی تحلیل تمام شد، در پیش‌نمایش گزارش) از صفحه تصویر بگیرد و آنچه را می‌بیند خلاصه کند.

8. امنیت​

اخطار

صفحه نمایش خود را در اختیار دیگری می‌گذارید:

  • عامل فقط از برنامه‌هایی که به آن‌ها اجازه داده‌اید می‌تواند استفاده کند؛ پیش از اجازه دادن به برنامه‌هایی غیر از StatiCAD، دلیلش را بپرسید.
  • اجازه ندهید عامل گذرواژه، اطلاعات کارت یا شماره شناسایی تایپ کند؛ اگر چنین درخواستی دیدید، کار را متوقف کنید.
  • هر چیزی که روی صفحه دیده می‌شود (اسناد باز، اعلان‌ها) در تصویری که به شرکت هوش مصنوعی فرستاده می‌شود قرار می‌گیرد. اطلاعات محرمانه را ببندید.
  • اگر عامل هشدار لایسنسی مانند «قفل پیدا نشد» («Kilit Bulunamadı») را ببیند، باید متوقف شود و به شما اطلاع دهد؛ کارهای قفل و لایسنس را خودتان انجام دهید.

9. رفع اشکال​

نشانهعلت و راه‌حل
عامل جاهای اشتباه را کلیک می‌کندمقیاس صفحه نمایش 100% نیست یا پنجره کوچک است. مقیاس را 100% کنید، StatiCAD را بزرگ کنید؛ از عامل بخواهید پیش از هر کلیک هدف را با تصویر صفحه تأیید کند.
گزینه computer use دیده نمی‌شودبرنامه به‌روز نیست یا طرح مناسب نیست (در Claude، Pro/Max لازم است). به‌روز کنید و دوباره امتحان کنید.
عامل منوهای ترکی را پیدا نمی‌کندنام منوها را خودتان بگویید (مثلاً «از منوی Analiz گزینه STATIK ANALIZ YAP را اجرا کن» – تحلیل › انجام تحلیل استاتیکی) یا از آن بخواهید AGENTS.md را بخواند (در پوشه Ultimate).
عامل در یک پنجره گیر کرده استممکن است یک پنجره پرسش یا هشدار باز مانده باشد. بگویید پنجره را بررسی کند یا خودتان آن را ببندید.
هنگام کار Codex نمی‌توان از رایانه استفاده کرددر Windows، Codex در پیش‌زمینه کار می‌کند؛ تا پایان کار صبر کنید.

نام طرح‌ها، قیمت‌ها و منوهای خدمات Anthropic، OpenAI و Google ممکن است با گذشت زمان تغییر کنند؛ برای اطلاعات به‌روز به صفحه‌های رسمی که پیوندشان داده شده است مراجعه کنید. مدلی که هوش مصنوعی می‌سازد و نتایجی که تولید می‌کند باید توسط مهندس مسئول کنترل شوند.