Image Search Methods
4.2 画像検索方法
画画像検索メソッドは、テンプレート画像、イメージコレクション、またはサイズ、色、形状などのオブジェクトパラメータに基づいて、画面上でオブジェクト(コンポーネント)を検索します。この手法は通常、指定されたオブジェクトが検出された画面上の位置や矩形のリストを返します。この手法群は、「ボタンを見つけてクリックする」や「コンポーネントが画面上に表示されていることを確認する」といった操作の自動化に頻繁に用いられます。
T-Planロボットがサポートする画像検索方法は以下の通りです:
画像検索 V2(コード名「search2」)メソッドは、テンプレート画像とコレクションに基づいて画面上のコンポーネントを検索します。このアルゴリズムは3つの検索モード(完全一致、許容範囲、あいまい検索)を備え、結果を最小の差異または位置によって並べ替えます。る。
画像検索(コード "search")メソッドは、V2アルゴリズムの古いバージョンです。また、テンプレート画像とコレクションによるコンポーネントの画面検索が可能で、画像のマイナーな変更に対する許容範囲が制限されています。
オブジェクト検索(コード "object")メソッドは、色、サイズ、およびオプションのサンプルテンプレート画像によってオブジェクトを検索します。このアルゴリズムは、オブジェクトの回転したインスタンスを検索することができ、最終的なオブジェクトの重なりに対して一定のロバスト性を提供します。
注:この方法は、GIS出力、地図、チャートなどのグラフィカルなシステムの分析を対象としているため、上記の他の方法は、GUIの自動化に適しています。グーグル・クラウド・ビジョン(コード "vision")は、Google AIとリンクする実験的手法である。ロボット8からサポートされています。特定のオブジェクトが画面上にあるかどうかを確認するために使用することができます。