オブジェクト検索 ("object") (JA)

4.2.3 オブジェクト検索 ("object")

説明

オブジェクト検索（コード名「object」）は、特定のRGB範囲内の特定の色または複数の色を持つオブジェクトを検出します。オプションのテンプレート画像によるオブジェクトリストのフィルタリングも可能で、オブジェクトの回転も検出します。この手法は、単純な画像分析タスク、例えば「画面に特定の色が含まれているかテストする」、「画面上のすべての赤いオブジェクトを見つける」、「画面上のあらゆる回転角度の黒い三角形やその他の形状をすべて見つける」といった処理を扱うために設計されました。

この手法は常に可能な限り最大のオブジェクトを特定し、その内部に含まれる他のオブジェクトを再帰的に探索しないため、フレーム化や重ね合わせ、統合が頻繁に行われる従来のGUIコンポーネントには適していません。しかし、この方法は、例えば 地理情報システム (GIS) アプリケーションや単純な画像データを生成するシステムによって生成された、低彩度のシーンを含む マップ や画像、および スキーム のテストでは非常に優れた性能を発揮します。この方法は、特定のカラーまたはカラー範囲のオブジェクトが画面上に存在するかどうかを確認するためにも使用できます。例えば、「この特定の領域に赤いメッセージはありますか？」といった質問に答えるために使用できます。

アルゴリズムはまず、入力された色条件を満たす最初のピクセルを画像内でスキャンする。その後、そのような各オブジェクトの外形に沿って追跡し、その境界矩形を一連の変数の形でコンテキストに格納します：

オブジェクトをより正確に記述する元の形状(java.awt.Shapeオブジェクト)は、JavaスクリプトからgetContext().getObjectSearchShapes()メソッドを通じてのみ利用可能です。

オプション

このメソッドは、ホスティングコマンドまたはJavaメソッド呼び出しを通じて指定された1つのテンプレート画像をオプションで受け入れます。

passrateパラメータは、"object "メソッドがテンプレート画像とともに呼び出された場合にのみ役割を果たします。この画像には、指定された色（色範囲）の形状が、どの回転レベルでも正確に1つ含まれていなければなりません。入力された "color "パラメータで特定されたオブジェクトのリストは、passrateパラメータで指定された比率までのテンプレート画像の形状に似ている形状だけを残すようにフィルタリングされます。rotationsパラメータも指定され、それが1より大きい場合、オブジェクトリストは、指定された回数回転されたテンプレート形状のリストと照合されます。テンプレート画像が指定されていない場合、このメソッドは passrate の値に関係なく、指定された色とサイズのパラメータに一致するすべてのオブジェクトを探します。

標準パラメーターの "cmparea "はオプションで、省略した場合のデフォルトはフルスクリーン。

サポートされている特定のパラメータ：

color=<HTMLColor>

colorパラメータは、HTMLスタイルの6文字のRGB 16進数フォーマットでオブジェクトの色を定義します（白は'000000'、黒は'fffff'）。パラメータが指定されていない場合、デフォルトは黒です。

tolerance=<0-255>

寛容（トレランス）パラメータは、0から255の間のオプションの整数値です。これは画像検索メソッドによって指定されます。これは、ピクセルの赤、緑、青の各成分が、オブジェクトの色として指定された 色このパラメータは、オブジェクトの色を単一色ではなく色範囲で指定することを可能にします。また、形状が単一色ではなく類似した色範囲で形成されるぼやけた画像の処理にも役立ちます。許容値が高いほど、誤った形状検出の可能性が高くなります。ほとんどのシナリオでは、ぼやけ具合に応じて値を[0, 100]の範囲に設定する必要があります。パラメータが指定されない場合、デフォルト値はゼロとなり、アルゴリズムは単色オブジェクトのみを検索します。

bridgecolors=<HTMLColor1;HTMLColor2;...HTMLColorN>

bridgecolorsパラメータはオプションで、追加で許容されるオブジェクトの色をセミコロンで区切ったリストを含めることができます。これにより、既知の色の他のオブジェクトがその上に描かれることが予想される連続オブジェクトを検索することができます。これらの色は常に完全一致で比較され、tolerance パラメータでは動作しません。

rotations=<1-360>

オプションの回転（ローテーション）パラメータは、テンプレート画像が提供されている場合にのみ意味を持ちます。これは回転の粒度を定義します。基本的には、オブジェクトフィルタリングのために、テンプレートオブジェクトを何回回転させるかを指定します。例えば、36という値は10度ステップで形状を回転させます。明らかに、回転数の増加は回転したオブジェクトの認識精度を高めますが、パフォーマンスを低下させます。低い回転値は、passrateパラメータを下げることによって補うことができます。この方法はパフォーマンスの面でやや優れていますが、テンプレートオブジェクトと十分に類似したオブジェクトを誤検出するリスクを高めます。

min=w:<width>;h:<height>

結果オブジェクトをフィルタリングするためのオプションの最小サイズ（幅および／または高さ）。パラメータには、セミコロンで区切って幅と高さを両方指定することも（例："w:100;h:100"）、いずれか一方の寸法のみを指定することもできます（例："h:100"）。

max=w:<width>;h:<height>

結果オブジェクトをフィルタリングするためのオプションの最大サイズ（幅および／または高さ）。パラメータには、セミコロンで区切って幅と高さを両方指定することも（例：「w:100;h:100」）、いずれか一方の寸法のみを指定することもできます（「h:100」）。

overlapmode=<true|false>

オプションのオーバーラップモードフラグは、画面上のオブジェクトが重なり合う（競合する）ことを許可するかどうかを定義します。パラメータ値が「true」の場合、メソッドは部分的に重なり合ったオブジェクトを検出するために追加の処理を行います。

draw=<true|false>

draw パラメータはオプションのフラグで、Robot のデスクトップビュー上に配置されたオブジェクトをハイライト表示します。このパラメータが "true "の場合、アルゴリズムはデスクトップビューアGUIコンポーネントのデスクトップ画像上にオブジェクトの矩形を描画します。これはデバッグやデモンストレーションに便利です。これらの描画は、スクリプトが終了するか、"clear=true" パラメータを持つ別のオブジェクト検索が実行されると、リセット（削除）されます。

clear=<true|false>

clear パラメータを使用すると、以前に呼び出された Object Search メソッドによって作成されたすべての図面を消去することができます。詳細は draw パラメータを参照してください。

戻り値

このメソッドは、指定された条件に合致するオブジェクトが少なくとも1つ見つかった場合、呼び出しコマンド（メソッド呼び出し）が0（成功）を返すようにします。それ以外の場合は1の値を返します。

トラブルシューティング

失敗した "オブジェクト "比較に対処するには：

• スクリプトが検索失敗後に終了するよう設計されている場合、ロスレス形式（PNGまたはBMP）でスクリーンショットを作成することが推奨されます。そのようなコードの例を以下に示します。これにより、の「静的スクリーンショットを読み込んだ後にログインダイアログの画像クライアント」や、比較コマンド/メソッド呼び出しのプロパティウィンドウの「RD画像を読み込む」ボタンを使って、失敗した比較を再現・デバッグできます。

• パスレートを下げるか、RGBトレランスパラメーター（「トレランス」）を上げて、一致するまで「比較」ボタンでテストしてください。。パラメータで検索がうまくいかない場合は、代替のテンプレート画像を作成し、テンプレートリストまたはイメージコレクションに追加してください。

• 比較の失敗を引き起こす最も一般的な要因については(ja) 画像比較のススメ章を参照されたい。

• 明らかな理由なく検索が失敗した場合は、スクリーンショットと画像テンプレートを添付の上、T-Planサポートまでメールでお送りください。.