Skip to main content
Skip table of contents

ai

AIインテグレーション

1.概要

ロボット8.2は2つのAIエンジンと統合しています：

  1. クロードAI

  2. オープンAI

ロボットはオンラインAIサーバーに接続して質問を送信し、回答を受け取りますので、インターネット接続が必要です。

AIはサードパーティの有料サービスです。接続を有効にするには、AIプロバイダーのアカウントを作成し、クレジットを購入する必要があります。料金はデータ転送量によって決まります。妥当な評価を得るためには、5ドルの初期費用が必要です。

8.2リリースの時点で、ロボットは2つの分野でAIを活用している：

  1. UIツールとアシスタント（AIとのチャット機能、ロボットの成果物（画面、テンプレート画像、スクリプト...）の解析など）です。

  2. AI "コマンドは、テストスクリプトからAIと通信します。これにより、自動化にAIを参加させることができ、例えば、画面の内容を分析したり、画面内のオブジェクトを認識したりすることができます。

2.セットアップ

RobotでAIをセットアップするには、AI → AI Setupメニューを選択します：

setup1.png

連携させたいAIを選択し、Nextを選択して次に進みます。

Robotでは複数のAIを同時に使用することができます。AIセットアップウィザードを再起動して、別の接続をセットアップしてください。AI機能では、タスクを実行する対象のAIを名前で選択することができます。

次のステップでは、AI接続を認証するためのAPIキーが必要になります。

setup2.png

クロードAI

  1. Claude AIにサインインするか、開発者アカウントを作成します。

  2. Claude AI コンソールの左カラムにある"API Keys"アイテムを選択し、キーを作成します。クレジットを購入するよう促されます。

  3. RobotのAIセットアップウィザードの "Claude API Key "フィールドにキーを貼り付けます。Robotはキーを暗号化してユーザー設定ファイルに保存します。あるいは、ANTHROPIC_API_KEYというシステム変数を作成し、そこにキーを保存します。キーを受け取るにはロボットを再起動する必要があります。

  4. AIとRobot間のトラフィックは、いわゆる「トークン」と呼ばれるデータチャンクで課金されます。詳しくはクロードのドキュメントを読んでください。Max tokens"パラメータで、1回のリクエストでAIに送信するデータの最大量を設定できます。

AIを開く

  1. OpenAI Platformにサインインするか、開発者アカウントを作成します。

  2. 左カラムの"API Keys"アイテムを選択し、キーを作成します。クレジットを購入するプロンプトが表示されます。

  3. RobotのAIセットアップウィザードの "Open AI API Key "フィールドにキーを貼り付けます。Robotはキーを暗号化してユーザー設定ファイルに保存します。あるいは、OPENAI_API_KEYというシステム変数を作成し、そこにキーを保存します。このキーを受け取るにはロボットを再起動する必要があります。

接続が完了したら、"Test connection " をクリックして接続を確認します。単純な "Hello "メッセージがAIに送信され、応答が返ってきます。Nextを 選択して設定を完了します。

3.AI機能

8.2リリースでは、AIに依存する3つの機能があります：

  1. AIチャット

  2. TPRスクリプトコードジェネレーター

  3. AIスクリプトコマンド

3.1 AIチャット

AI → AIとのチャットウィンドウでは、選択したAIと対話的にチャットすることができます。ここでAIコマンドに採用される質問を微調整することができます。

setup3.png

ヒント

  • ボタンを使って plus_blue24.pngボタンを使って、現在のデスクトップ画面イメージ、プロジェクトビューで選択されている プロジェクトビューまたはテキストファイルをAIメッセージに追加します。

  • 最近のメッセージを messages24.pngボタンで最近のメッセージを選択します。

で利用可能な多くのコンテキスト・メニュー プロジェクトビューもチャットウィンドウを開き、関連するすべての画像やファイルを添付します。例えば、テンプレート画像ノードを右クリックし、"AIで分析 "を 選択すると、画像と画面が添付されたチャットウィンドウが開きます。

3.2 TPRスクリプトコードジェネレーター

新しいTPRスクリプトを作成する際、AIにコードを作成させるかどうか尋ねられます。AIが生成したコードを既存のスクリプトに追加するには、コードエディターで空の行を右クリックし、「AIでコードを生成...」 メニュー項目を選択します。

codegen-cropped.png

TIPS

ClaudeのSonnetモデルはOpen AIよりも良い結果をもたらすようです。

最良の結果を得るには、AIを使ってより小さなコードブロックを作成すること。何を自動化するかについて、正確で正確な説明をすること。ユーザーがそのデバイスで何をするかを記述する。例

  • 電卓を開き、5+5=を押す。

  • メモ帳を開き、"Hello world!"と入力する。

スクリプト・エディターで生成されたコードを選択し play_selection24.pngツールバーボタンを使って実行 し、その機能を確認します。



3.3 AIコマンド

AIコマンドは、実行中のオートメーションからその場でAIに質問することができます。オプションは無限で、画面に特定のオブジェクトやテキストが含まれているかどうかを尋ねたり、テキストファイルを添付してAIに特定の情報を調べるように依頼したりすることができます。詳しくは AIコマンド仕様を参照してください。

応答が検証できるように、質問のフレーズを適切にするようにしてください。例えば、「私の画面にはOKボタンがありますか？Yes "か "No "のどちらかだけ答えてください。チャット・ウィンドウを使用して、AIが期待通りの応答をするかどうかを確認します！

JavaScript errors detected

Please note, these errors can depend on your browser setup.

If this problem persists, please contact our support.

Contact Support Close