デスクトップノード

デスクトップノードは、お使いのPC上のアプリやウィンドウを自動操作できるツールです。 メモ帳やテキストエディタへの入力、アプリの起動、ファイル操作など、ブラウザの外側で行う作業を自動化できます。

このチュートリアルでは、「メモ帳に文章を入力するワークフロー」を紹介します。

注意

デスクトップノードはお使いのPC全体を操作できる強力なノードです。意図しない操作を防ぐため、プロンプトに記載する指示は具体的かつ範囲を限定して記述してください。

チュートリアル

デスクトップノード

まず、Studioで新しいワークフローを作成します。

デスクトップノードを追加し、そのノードのプロンプトに以下の内容をコピーして貼り付けます。

1. メモ帳（Macの場合はテキストエディット）を開く
2. 「Hello Samurai」と入力する
3. 入力した内容を確認できたら完了

ワークフローの実行

これで準備は完了です。デバッグボタンをクリックして、ワークフローを実行してみましょう。

実行すると、PC上で実際にメモ帳が起動し、指定した文章が自動で入力されます。

ノート

初回実行時、お使いのOSやセキュリティソフトから許可を求めるダイアログが表示されることがあります。表示された場合は、SamuraiAXに操作を許可してください。 許可しない場合、デスクトップノードの操作は失敗します。

処理をカスタマイズする

次にワークフローをカスタマイズしてみましょう。今回は、LLMノードと組み合わせて、AIが生成した内容をそのままメモ帳に書き込んでみます。

デスクトップノードの 前 に新しいLLMノードを追加し、以下のプロンプトを設定します。

今日取り組むべきTODOを3つ、箇条書きで出力してください。

次に、デスクトップノードのプロンプトを以下のように変更します。

1. メモ帳（Macの場合はテキストエディット）を開く
2. 以下の内容をそのまま入力する

{{#llm-1.response#}}

変更したら「保存」をクリックし、再度実行してみましょう。LLMノードが生成したTODOリストが、メモ帳にそのまま入力されます。

このようにノードを組み合わせることで、AIが考えたアウトプットをブラウザの中にとどめず、PC上の好きなアプリに直接反映できます。

もっと知る

推奨環境

• デスクトップノードは、デスクトップ版のSamuraiAXでのみ利用可能です。Web版では利用できません。
• 対応OSは macOS と Windows です。Linuxには対応していません。
• 操作対象のアプリが起動している、または起動できる状態であることが前提です。

デスクトップノードの特徴

• PC全体の操作: ブラウザの中だけでなく、PC上のあらゆるアプリを操作できます。
• ローカルで完結: 別途ファイルをクラウドにアップする手間なく、PC上で完結する操作が可能です。
• モデルの選択: タスクに応じて、利用するAIモデルを自由に切り替えできます。

ブラウザノードとの使い分け

やりたいこと	推奨ノード
ウェブサイトの操作・情報取得	ブラウザノード
PC上のアプリ操作（メモ帳、Excel、独自業務アプリなど）	デスクトップノード
ファイルの読み書き	ファイルシステムノード

操作対応可否

操作	対応可否	詳細
アプリの起動・終了	✅️	-
ウィンドウの操作（最大化、移動など）	✅️	-
テキスト入力	✅️	-
クリック・キーボード操作	✅️	-
画面の情報取得	✅️	アクセシビリティ情報を利用
画像・映像のみで構成された画面	△	アクセシビリティ情報がない場合は操作精度が低下します

注意事項

• 操作中はマウスやキーボードの操作を控えると、より安定して動作します。
• 重要なファイルやデータを扱う操作を実行する前に、念のためバックアップを取ることをおすすめします。