ヘルプセンター

AIが画面を見て、自然言語で指定したUI要素をクリック。画面端では2パスリファインメントで高精度。

パラメータ: プロンプト（必須）、button（Left/Right/Middle）、clickType（Single/Double）、provider、model、outputX、outputY

プロンプト例:

• 「保存ボタンをクリック」
• 「Finderのファイルメニュー」
• 「ウィンドウ左上の赤い閉じるボタン」
• 「Safariの検索フィールド」

ヒント: 位置や外観を具体的に。「右下の青い送信ボタン」は「送信」より正確です。

AIが画面を定期的に監視し、条件が満たされるまで待機。固定待機の代わりに視覚的な条件判定。

パラメータ: プロンプト（必須）、timeoutMs（デフォルト: 30000）、pollingMs（デフォルト: 2000、最小: 500）、provider、model

プロンプト例:

• 「ダウンロード完了ダイアログが閉じた」
• 「メモアプリのウィンドウが画面に表示されている」
• 「ローディングスピナーが消えた」
• 「OKボタンのある確認ダイアログが表示されている」

ヒント: 視覚的に確認できる具体的な条件を。「メモアプリのウィンドウが画面に表示されている」は「メモが開いている」より正確。

AIが画面上のテキストを読み取り変数に格納。どんなフォント・言語・アプリでも対応。

パラメータ: prompt（必須）、outputVariable（デフォルト: AiOcrResult）、provider、model

プロンプト例:

• 「画面に表示されている合計金額を読み取って」
• 「メモアプリのテキストを読み取って」
• 「ダイアログのエラーメッセージを読み取って」
• 「アクティブウィンドウのタイトルを読み取って」

AIが画面状態を確認しtrue/falseを返す。操作結果の検証や条件分岐に最適。

パラメータ: プロンプト（必須）、outputVariable（デフォルト: AiValidateResult）、provider、model

プロンプト例:

• 「ファイルが正常に保存された」
• 「ログイン画面が表示されている」
• 「エラーメッセージが表示されている」
• 「チェックボックスがオンになっている」

画面を完全自律制御する自律エージェント。デュアルプロバイダのComputer Use: Anthropic（Claude Sonnet 4.6 / Opus 4.7）または OpenAI（GPT-5.5 / GPT-5.4 / computer-use-preview）。スクリーンショット撮影→推論→クリック・入力・スクロールを繰り返しタスク完了まで自動操作。

パラメータ: プロンプト（必須）、maxSteps（デフォルト: 30、最大: 200）、timeoutSeconds（デフォルト: 120、最大: 600）、outputVariable、provider、model

プロンプト例:

• 「電卓アプリを起動して2+5を計算して」
• 「テキストエディットを開いてHello Worldと入力して保存して」
• 「システム設定を開いてダークモードを有効にして」
• 「Safariを開いてapple.comにアクセスして」

注意: AnthropicまたはOpenAIのAPIキーが必要。AI設定でデフォルトモデルを選択（Sonnet 4.6 / Opus 4.7 / GPT-5.5 / GPT-5.4 / computer-use-preview）。GPT-5.5はTier 1から使えて高速、Sonnet 4.6は複雑なレイアウトに強い、computer-use-previewはTier 3以上が必要。Cmd+Space（Spotlight）は自動化非対応のため、AIはLaunchpad経由でアプリを起動。

テキストプロンプトをLLMに送信し、応答を変数に格納。テキスト専用（画面キャプチャなし）。Apple Intelligenceでも動作。

パラメータ: prompt（必須）、outputVariable、provider、model

プロンプト例:

• 「以下のテキストを3文で要約して: {=myText}」
• 「英語に翻訳して: {=japaneseText}」
• 「以下のメールにプロフェッショナルな返信を作成: {=emailContent}」
• 「{=price}の10%の税額を計算して」

AI Visionで画面状態を判定するBoolean（六角形）ブロック。if/whileブロックの条件に使用。

パラメータ: プロンプト（必須）、provider、model

プロンプト例:

• 「ログイン画面が表示されている」
• 「画面にエラーメッセージがある」
• 「ファイルのダウンロードが完了した」