v2.1.0 — AI Computer Use 搭載
RocketMouse AI
従来のRPAの確実性とAIの知性を融合。
RPAがついに「脳」と「目」を手に入れた。
0
ブロック数
0
実装済み機能
0
ユニットテスト
0
AIプロバイダ
従来のRPAの確実性とAIの知性を融合。
RPAがついに「脳」と「目」を手に入れた。
プログラミング不要で高度な自動化を実現
ドラッグ&ドロップでブロックを接続。プログラミング知識不要で直感的にマクロを組み立て。
AIが画面を「見て」「理解して」「操作」。Claude Computer Use APIで自律的にタスクを完了。
Playwright経由でEdge/Chromeを操作。Webフォーム入力やデータ収集を完全自動化。
COM経由で18種のExcel操作。セル読み書き、数式設定、マクロ実行まで対応。
OpenCV + Windows OCRで画面上の画像やテキストを認識し、位置を特定して操作。
一時停止、ステップ実行、変数ウォッチ、ブレークポイントで確実なデバッグ。
アプリのスクリーンショット — Coming Soon
あらゆる自動化シナリオに対応するブロックを用意
クリック、ドラッグ、スクロールなど 16 blocks
キー入力、テキスト貼り付け 2 blocks
ウィンドウ操作全般 8 blocks
Playwright経由のブラウザ自動化 16 blocks
COM経由のExcel操作 18 blocks
ファイル・フォルダ操作 15 blocks
条件分岐、ループ、関数 17 blocks
LLM API連携 + Vision 1 block
画像認識・テキスト読取 9 blocks
JSON、正規表現、日付、リスト 22 blocks
変数定義・式・参照 5 blocks
アプリ起動、ZIP、Base64、Hashなど 18+ blocks
RocketMouse AI は両方の長所を融合した唯一のRPAツール
| 従来のRPA | AI Computer Use | RocketMouse AI 両方の良いとこ取り | |
|---|---|---|---|
| 実行速度 | ⚡ 高速（即時実行） | 🐢 低速（毎ステップLLM推論） | ⚡ 定型処理は高速 + AIは必要時のみ |
| API / 通信コスト | 💲 ゼロ（完全オフライン） | 💸 高い（毎ステップ画像送信） | 💲 定型処理は無料 + AIは最小限使用 |
| UIレイアウト変更への耐性 | ❌ 脆い（座標・セレクタ依存） | ✅ 強い（画面を「見て」判断） | ✅ AIが視覚的に要素を認識 |
| 予期しないダイアログ対応 | ❌ 停止するしかない | ✅ 自己判断で対処 | ✅ AI Autopilotが自律対処 |
| 構築の容易さ | ⚠ 座標拾い・設定が手間 | ✅ 自然言語で指示するだけ | ✅ ドラッグ&ドロップ + 自然言語 |
| 再現性・決定論性 | ✅ 同じ入力 → 同じ結果 | ❌ 毎回異なるパスを取る | ✅ 定型部分は確実 + AIは判断部分のみ |
| エラー自己修復 | ❌ 不可能 | ✅ 結果を見て自己修正 | ✅ セルフヒーリング搭載 |
| オフライン動作 | ✅ 完全対応 | ❌ インターネット必須 | ✅ RPA部分はオフライン + ローカルLLM対応 |
| ブラウザ自動化 | ⚠ ツールにより異なる | ⚠ 画面操作のみ（DOM非対応） | ✅ Playwright（DOM）+ AI Vision 両対応 |
| Excel操作 | ⚠ ツールにより異なる | ❌ 画面操作のみ | ✅ COM API（18操作）+ 画面操作 |
Anthropic Claude と OpenAI GPT-5.5 の Computer Use API をデュアル対応。RPAに「脳」と「目」を搭載。
「保存ボタンをクリック」— AIが画面を見て要素の位置を特定しクリック。座標指定不要。2パスリファインメントで画面端の小さなアイコンも高精度に検出。
AI Vision「メモ帳を開いてHello Worldと入力して保存」— Anthropic Claude または OpenAI GPT-5.5 の Computer Use API によるマルチターン自律操作。スクリーンショットを見ながらタスク完了まで自動で操作を続行。プロバイダ切替自由。
Computer Use API (Claude / GPT-5.5)「画面上のエラーメッセージを読み取って」— AI Visionが画面上の任意のテキストを読み取り、変数に保存。従来のOCRでは困難だった文脈理解も可能。
AI Vision「ダウンロード完了ダイアログが表示されるまで待機」— AIが画面を定期的に確認し、条件が満たされるまでインテリジェントに待機。固定秒数の待機は不要に。
AI Vision「ファイルが正しく保存されたか確認」— 操作後の画面をAIが検証。期待通りの結果になったかをtrue/falseで判定し、後続の条件分岐に活用。
AI Vision「ログイン画面が表示されているか？」— if/while の条件式にAI判定を使用。画面の状態に応じた動的な分岐をノーコードで実現。
AI Vision5種のLLMプロバイダに対応
「メモ帳を開いてHello Worldと入力して保存して」と入力するだけで、対応するブロック列を自動生成してワークスペースに配置。
OpenAI (GPT-5.5系)、Anthropic (Claude 4.6/4.7)、Google Gemini、Groq (Llama 4 Scout 等)、ローカルLLM (LM Studio/Ollama) に対応。お好みのプロバイダを選択可能。