android (JA)

ADB経由でAndroidを自動化する

内容

1.はじめに

T-Plan Robot Enterpriseは、ADB (Android Debug Bridge)を介したAndroidデバイスの自動化をサポートしています。ADBはAndroid SDKの一部として提供されるツールで、USBに接続されたAndroidデバイスへの接続性を提供します。

T-Planロボットエンタープライズは以下もサポートしています。スクリーン・ストリーム・ミラーリング（SSM）アプリケーション駆動型の画面転送は、ゲームなど高速な画面応答を必要とするアプリケーションの自動化に適したオプションですが、バージョン5.0.6では、以下のような新しい画面転送方法が導入されました。アンドロイドミラー.SSMの置き換えを目的としています。セットアップが簡単で、起動と動作が速く、デバイスにSWをインストールする必要がありません。

VNC経由の自動化（VMLite VNCやDroidVNC）と比較した場合：

ADB接続の性質上、このアプローチは、複数のデバイスタイプにまたがるAndroidアプリケーションの非侵入型自動テストに適しています。

2.セッティング

Android SDKはWindows、Linux、Mac OS Xでサポートされていますが、自動化にはMS Windowsホストを使用することをお勧めします。Linux（私たちがテストに使用しているのはUbuntu Linuxです）上での自動化では、rootアカウントからRobotを実行する必要があり、特にテストスクリプトの実行中に高負荷がかかるとデバイスへの接続が不安定になります。ほとんどの場合、Robotは自動的に接続を修復することができますが、遅延や信頼性の低下につながります。

2.1 PCセットアップ

Robot 8

Windows/Mac/Linux用のRobotがインストールされていれば、準備は完了です。次にデバイスセットアップの章に進んでください。

Robot 5.0.3 - 7.x

Robot 5.0.3では、Android SDKから必要なJARライブラリをバンドルしています。Android Studioパッケージ全体をダウンロードしてJARファイルをクラスパスに配置する必要はありません。代わりにAndroid SDK Platform Toolsパッケージをダウンロードしてください。手順

• ダウンロードAndroid SDK プラットフォームツールをダウンロードしてローカルのハードディスクに解凍してください。

• Robotを起動し、Android Over ADB接続のパスを指定します。

Robot5.0.2以上

以下の手動手順を避けるために、Robot 5.0.3+にアップグレードすることをお勧めします。

をダウンロードしてインストールする。アンドロイドSDKリビジョン 18 以上をご使用ください：

• 旧バージョンのSDKをお持ちの場合は、以下の手順で最新のSDKにアップグレードしてください。SDKマネージャーツールはSDKのホームフォルダにあります。

重要：Android 9 デバイスの自動化を有効にするには、ddmlib ライブラリ バージョン 26をダウンロードし、Robot ディレクトリ（Robot 4.4.7）に保存するか、手動でクラスパスに配置する必要があります（手順は下記参照）。2019年5月時点の最新SDKバージョンにはddmlib v25が含まれていますが、これはAndroid 9と互換性がありません。

MS Windowsのみ: フルバージョンのAndroid Studioをインストールした場合、adb.exeを含むフォルダをユーザーまたはシステムのパスに追加してください:

1. Windows エクスプローラーを開きます (Windows+E)

2. コンピュータを右クリックし、プロパティを選択します

3. 「システムの詳細設定」を選択し、「環境変数」ボタンをクリックしてください。

4. PATH ユーザー変数を選択し、編集をクリックして、adb.exe を含むフォルダのパスをリストの先頭に挿入します。パスを元の値から区切るには、セミコロン ';' を使用します。新しい値は以下のように表示されるはずです：  <SDK_path>\platform-tools;<originalPaths>

5. OKで保存してください。

重要：Java9が新しいセキュリティ制限を導入し、Javaライブラリ（JAR）のオンザフライ・ロードを無効にしたため、クラス・パスを更新する必要があります：

1. 以下のいずれかの方法でJavaのバージョンを確認してください。バージョン6、7、8は、それぞれ1.6、1.7、1.8であることに注意してください。

   • コマンドプロンプト（ターミナル）を開き、以下を実行します： java -version

   • ロボットを起動し、ヘルプ->バージョン情報を選択してください

2. Javaのバージョンが9以上であれば、以下のように編集してください。ロボット起動コマンドを追加し、-classpathリストに以下のライブラリのフルパスを追加します：

MS Windows：<SDK_path>toolslib\sdklib.jar;<SDK_path>toolslib\guavalib.jar;<SDK_path>toolslib\ddmlib.jar;<SDK_path>toolslib\chimpchat.jar
Unix/Linux： <SDK_path>toolslib\sdklib.jar:<SDK_path>toolslib\guavalib.jar:<SDK_path>toolslib\ddmlib.jar:<SDK_path>toolslib\chimpchat.jar

例えば、SDKがC:∕Android Studio∕SDKにインストールされている場合、Robotの起動コマンドは以下のようになります：

java -Xmx512m -classpath robot.jar;jh.jar;activation.jar;mail.jar;poi-3.6-20091214.jar;cron4j-2.2.5.jar;gson-2.5.jar;jna-3.5.1.jar;platform-3.5.1.jar;JNativeHook.jar"C:¥Android Studio¥SDK¥toolslib¥sdklib.jar"; "C:¥AndroidStudio¥SDK¥toolslib¥guavalib.jar"; "C:¥Android Studio¥SDK¥toolslib¥ddmlib.jar"; "C:¥Android Studio¥SDK¥toolslib¥chimpchat.jar"com.tplan.robot.ApplicationSupport＜CLIパラメータ

Mac OS Xアプリケーションとしてパッケージ化されたRobotを使用している場合、Macメニューから起動する最良の方法は、上記のライブラリへのシンボリックリンクを作成することです。ターミナルを起動し、以下のコマンドを実行してください（<SDK_path>を実際のパスに置き換えてください）：

cd /Applications/TPlanRobot.app/Contents/Java
ln <SDK_path>/tools/lib/sdklib.jar sdklib.jar
ln <SDK_path>/tools/lib/guavalib.jar guavalib.jar
ln <SDK_path>/tools/lib/ddmlib.jar ddmlib.jar
ln <SDK_path>/tools/lib/chimpchat.jar chimpchat.jar

2.2 Androidデバイスのセットアップ

1. Android端末で「USBデバッグ」オプションを有効にしてください：

   1. Android 4.1以下：

      • メニュー」→「設定」→「アプリケーション」→「開発」と進み、「USBデバッグ」オプションをオンにします。

   2. Android 4.2以上：

      • メニュー→設定 に移動してください

      • その他 または 一般 グループ内の 端末情報 メニューを選択します。一部の端末では、設定->端末情報->ソフトウェア->情報->その他 の下に配置されています。

      • ビルド番号までスクロールし、「開発者になりました」 または 「開発者モードが有効になりました」 というメッセージが表示されるまで7回タップします。

2. 設定 メニューに戻り、開発者向け オプション を選択し、上部のスライダーをオンにしてオプションを有効にします：

   • USBデバッグを有効にします

   • 存在する場合、OEMアンロック を設定します。

   • USB設定オプションをPTP（画像転送プロトコル）に設定してください。このオプションがMTP（メディア転送プロトコル）に設定されている場合、デバイスが接続されない可能性があります。

   • デバイスがPCに接続されている間、画面ロックを防ぐためにStay Awakeオプションを設定することを推奨します。

2.3 ロボットとの接続

1. AndroidデバイスをUSBケーブルでコンピューターに接続してください。Robotから接続を開始した後にデバイスを接続することは、接続が断続的に切断される原因となるため推奨されません。

2. T-Plan Robot Enterprise を起動します。システムが Linux/Unix の場合、root アカウントから起動する必要があります（sudo では不十分な場合があります）。

3. ログインウィンドウで「接続タイプ」を「Android over ADB」に設定し、Android Platform Tools または SDK のパスを指定してください。このパスはユーザー設定に保存され、以降は自動的に入力されます。

4. コンピュータに複数のAndroidデバイスが接続されている場合、「デバイスシリアル番号」フィールドに該当デバイスのシリアル番号を設定してください。シリアル番号は「...」ボタンをクリックするか、Android SDKのplatform-tools/フォルダから「adb devices」を実行することで確認できます。または、フィールドを「デフォルト」のままにすると、最初に検出されたデバイスに接続されます。

5. T-Plan Robot Enterprise バージョン4.2以降：「画面転送方法」を選択：

   • 「ADB（デフォルト）」オプションは最も遅い方法ですが、デバイスに追加アプリケーションをインストールする必要がありません。画面データはUSBケーブル経由で転送されるため、デバイスをネットワークに接続する必要がありません。

   • 「Android Mirror」オプションはバージョン5.0.6以降でサポートされています。USBケーブルを介してデバイスの画面をJPEGエンコードでストリーミング配信します。シンプルで高速、かつ使いやすい機能です。

   • 「Screen Stream Mirroring」オプションは、ストリーミングアプリケーションを使用してH.264ビデオストリームで画面をミラーリングします。インストールと設定の手順については次の段落を参照してください。SSMを使用する理由がない限り、代わりに「Android Mirror」オプションの使用を推奨します。

6. 「接続」をクリックしてデバイスに接続します。接続に失敗した場合は、トラブルシューティングの章を参照してください。

2.4スクリーン・ストリームミラー

ミラーリングは、MS Windows Vista以降で動作するRobot v4.2以降でサポートされるオプションの画面転送方法です。Android デバイスに Mobzapp 社の Screen Stream Mirroring (SSM) アプリケーションをインストールする必要があります。画面データは、ネットワークまたは USB ケーブルのみで転送できます。

重要: 代わりに「Android Mirror」オプションの使用を推奨します。SSMとは異なり、端末側での設定やソフトウェアの変更は不要です。

画面ミラーリングを有効にする手順：

1. Androidデバイスにスクリーン・ストリーム・ミラーリング(Screen Stream Mirroring)アプリケーションをインストールしてください。評価目的であれば無料版で問題ありません（広告が表示され、数分後に終了します）。

2. アプリを起動して動作を確認してください。ネットワークに接続されている場合、"rtsp://<IP_address>:5000/screen" のようなアドレスが表示される必要があります。表示されたURLが "http://localhost:5000/screen" のようにRTSP以外の形式である場合は、以下の手順を実行してください：

   1. 左上のボタンをタップしてください

   2. メディアプレーヤーを選択

   3. 元に戻し、URLが適切に変更されていることを確認してください
      （

      

3. ロボットから見えるネットワークにデバイスが接続されており、TCP/IP経由での画面データ転送を希望する場合、その他の手順は不要です。接続前にアプリを手動で起動する必要はありません。

4. ネットワークを避け、USB画面データ転送を設定したい場合：

   1. アプリを起動し、左上のボタンをタップしてアプリメニューを開きます。設定を選択してください。

   2. ページの一番下までスクロールし、「詳細設定」を選択してください。

   3. 「USB経由でストリーミング」オプションを設定し、左上のボタンをタップして変更を保存します。メイン画面には「rtsp://localhost:5000/screen」のアドレスが表示されている必要があります。
      

      

2.5 パフォーマンスに関する考慮事項

ミラーストリームのパフォーマンスは、以下の要因の影響を受けます：

• 一部のマシンにはUSB 2.0ポートと3.0ポートの両方が装備されています。デバイスが3.0ポートに接続されていることを確認してください。

• 画面ミラーリングを動画転送に使用する場合、データはローカルネットワークを経由して送信されます。ネットワーク速度はパフォーマンスに影響を与えます。

• ミラーストリームのデコードはCPUに依存します。グラフィックカード（GPU）の役割はごくわずかです。パフォーマンスを向上させるにはCPUをアップグレードしてください。

• RAMは十分な容量がある限り問題になりません。当社のパフォーマンス統計によれば、フルHD Androidデバイスのミラーリングを行うロボットは、アイドル状態でわずか50～60MBのRAMしか必要としません。画面画像のコピーを処理する画像比較テストスクリプトの実行中は、メモリ使用量がピーク時に2倍から3倍になる場合があります。マシンが過負荷状態にあるか、空きRAMが極端に少ない場合を除き、問題となることはありません。確認のため、以下の点を観察してください：

  • ロボットGUIの右下隅にあるメモリ使用量インジケーターを確認してください。緑色で表示され、時々黄色に変わる場合は、プログラムに十分なRAMが確保されています。使用量が高い場合は、こちらに記載されている手順に従い、制限値を引き上げてください。

  • Windowsのタスクマネージャーを起動し、CPUとRAMの使用率を確認してください。使用率が過剰に高い場合は、マシン上で実行中の他のプログラムやサービスの数を減らしてください。

動画の再生が遅い、または大幅に遅延している場合：

• ストリーミング画面ミラーリングを停止し、デバイス上で実行中の不要なアプリケーションもすべて終了させてから、再接続してください。

• ロボットメニューの編集->設定に移動します。Android Over ADB画面を選択し、"Process only every <N> video frame"というパラメータを上げます。これによりロボットマシンへの負荷とRAM使用量が減少します。アニメーションや高速動作シーンはぼやけますが、静止画は元の画質を保持します。画面上で安定して表示されるコンポーネントを検索する画像比較機能には影響しません。

• 最終手段として、画面ミラーリングアプリケーションの動画品質パラメータを変更してください。動画品質を大幅に低下させると、画像比較が機能しなくなる可能性があることにご注意ください。「ミラーリング利用可能先:」 ラベル（上記画像参照）の右側にある歯車アイコンをタップし、「動画設定」 を選択してください：

  • 解像度は640pに設定されています。解像度の更新は画面サイズ変更を引き起こし、これまでに作成されたすべてのコンポーネント画像が無効になります。自動化が既に設定されている場合は、このパラメータの変更を避けてください。

  • エンコーディングビットレートは通常2048 kb/sです。リソース節約のために下げても構いませんが、1024 kb/s未満に設定しないでください。

  • 最大フレームレートは通常30fpsに設定されています。この制限値が実環境で達成されることは稀です。2～5fpsまで下げない限り、効果はほとんど感じられないでしょう。デフォルト値のままにしておくことを推奨します。

  • 設定を適用するには、画面左上の「戻る」矢印で画面を離れてください。ミラーリングがオンの場合、変更を適用するために再起動します。その後、再接続する必要があります。

3.トラブルシューティング

Android接続の問題を解決するには、編集-＞環境設定ウィンドウの「Android over ADB」パネルにある設定を活用してください：

• 問題が発生した場合は、デバッグモードを有効にしてログを生成してください。これらのログは、コンソール（コマンドプロンプト）またはヘルプ->ログビューアウィンドウからログファイルで確認できます。

• デバイスの画面画像が歪んだり、誤った色で表示される場合は、デコード方法を変更してください：

  • デフォルトの「Android SDK」デコーダーは、画像データをJava形式にデコードするためにAndroidの機能に依存しています。この手法は一部のデバイスで失敗することが知られており、例えばSamsung Galaxy GT-I5500では緑がかった画面で表示されます。

  • 「Robot」はデータを独自に復号します。この方法は若干遅くなりますが、ほとんどの故障デバイスで動作するようです。

• 「画面イメージダンプを作成」オプションで解決不能な画面問題が発生した場合、ダンプ作成のために接続を試行し、ヘルプ->ログビューアウィンドウからログファイルをT-Planサポートへ送信してください。その後、当該オプションを無効化してください。ダンプにより、生ピクセルデータから画像を再構築し、デコーダの失敗原因を調査することが可能となります。

ロボットが明らかな理由なく対象デバイスへの接続に失敗し、ログやログインウィンドウに合理的な説明が得られない場合：

• デバイスをUSBケーブルから外し、再度接続してください。

• ADBサーバーを手動で再起動します:

  • コンソール/コマンドプロンプトを開き、Android SDKのインストールパスにあるplatform-toolsフォルダに移動します。

  • 実行:

    adb kill-server
    adb devices
    
    

  • デバイスが出力リストに表示されていることを確認してください。表示されていない場合、環境設定が正しく行われていません：

    • USBデバッグおよびその他のオプションが、セッティング（設定手順）の章に記載されている通り有効になっていることを確認してください。

    • 一部のデバイスでは、Android Studioとの通信を有効にするために特定のUSBドライバが必要になる場合があります。例：Samsung・ギャラクシー・ドライバー.詳細はデバイスベンダーが提供するドキュメントを参照してください。ドライバインストール後は、要求されていなくてもPCを再起動し、デバイスを再接続してください。

    • すべて失敗した場合は、別のUSBケーブルで再試行してください。

キーボードおよびタッチスクリーンサポートの制限事項は、自動化章に記載されています。未解決の問題が発生した場合は、T-Planサポートまにご連絡いただき、ログファイルを添付してください

4.オートメーション

4.1 デバイスへの接続

テストスクリプトからAndroidデバイスに接続するには接続コマンド（TPRスクリプト）またはコネクト()メソッド（Java テストスクリプト）を使用します。引数のURLは、"adb://default "または "adb://<device_serial_No>"のいずれかの形式でなければなりません。スクリプトを実行する前に、ログイン画面でパスを指定し、デバイスに一度接続し-設定環境の"Android over ADB "パネルで設定します。

たとえば、次のコマンド/メソッド呼び出しは、ADB画面転送を使用して最初に検出されたデバイスに接続します:：

TPRテストスクリプト：     Connect adb://default
Javaテストスクリプト：   connect("adb://default");

シリアル番号 MB104PY10519 のデバイスに接続するには：

TPRテストスクリプト： Connect adb://MB104PY10519
Javaテストスクリプト： connect("adb://MB104PY10519");

画面ストリームミラーリング画面転送を設定するには：

TPRテストスクリプト： Connect adb://MB104PY10519 screen=mirror
Javaテストスクリプト： connect("adb://MB104PY10519", "screen", "mirror");

Android Mirror画面転送を設定するには：：

TPRテストスクリプト： Connect adb://MB104PY10519 screen=minicap
Javaテストスクリプト： connect("adb://MB104PY10519", "screen", "minicap");

別の方法として、接続URLのクエリにパラメータをエンコードする方法があります。この形式は-c/コネクトCLI接続にも適しています。ツール＞CLIウィザードウィンドウから、直近の接続URLをコピーできます。別の方法として、デスクトップ->接続マネージャウィンドウで接続に名前を付け、URLの代わりにその名前を使用することも可能です。

TPRテストスクリプト： Connect adb://MB104PY10519?screen=mirror
　　　　　 Connect adb://MB104PY10519?screen=minicap

Javaテストスクリプト： connect("adb://MB104PY10519?screen=mirror");
connect("adb://MB104PY10519?screen=minicap");

4.2 スクリーンの回転に対処する

ADB接続は2つの画面回転モードをサポートしています。モードを変更するには、環境設定ウィンドウの「Android over ADB」パネルに移動してください。

1.画面の自動回転（デフォルト）

自動モードは、画面更新のたびにデバイスから画面の向きを読み取り、それに応じて回転させます。これは画面性能に大きな影響を与えるため、手動モードに切り替えるか、高性能が要求される場合は画面の向きを一定にしてテストスイートを設計することを推奨します。

2.画面の手動回転

このモードでは、手動で（またはスクリプトから）ロボットビューの画面を回転させる必要があります。F4キーを使用してください。この動作はDroid VNCサーバーと互換性がある。

タッチスクリーンのイベントが適切に配置され、画像比較が期待通りに機能するようにするためには、常にロボットの表示を実際のデバイスの状態と一致させておく必要があります：

正しいビュー		誤ったビュー 画像比較による部品検索 動作せず、タッチスクリーンイベントも置き忘れられるでしょう。

4.3 タッチスクリーン自動化

タッチスクリーンの操作は以下のように割り当てられています：

Robot v3.5.2以降では、UIAutomatorインターフェース上でのマウスクリックを実行するオプションをサポートしています。これにより、特定のアプリ操作におけるタッチスクリーンの偶発的な不具合が通常解決されます。Android 4.1.2以降が必要です。

• UIAutomatorによるマウスクリックをグローバルに有効にするには、[編集]＞[環境設定]＞[Android Over ADB]画面で「UIAutomator API経由のクリック/タップを有効にする」ユーザー設定を選択してください。この設定はユーザー設定ファイルに保存されるため、ローカルPC上で実行中のすべてのRobotインスタンスに影響します。個別のRobotインスタンスに対しては、-o/オプションオプションで設定を調整可能です。

• スクリプトから一時的にUIAutomatorのクリックを制御するには、Robot 4.0.1以降では_UIACLICK変数をtrue（"enable"）またはfalse（"disable"）に設定してください。このメカニズムは上記のユーザー設定を上書きします。同じJavaプロセス内で同時に実行されている他のテストスクリプトには影響しません。例えば、ある特定のクリックに対してだけ有効にするには、次のようにします：
  
  Var _UIACLICK=true
  Mouse  "click"
  Var _UIACLICK=false

4.4 キーボード自動化

スクリプトでテキストを入力するには、TypeまたはTypelineコマンドまたはtype()/typeLine()Java メソッドを呼び出します。キーボードキーを押すには、PressコマンドまたはPress()メソッドを呼び出します。キーボードイベントは以下の通りサポートされています：：

• Robot バージョン 6.3 およびそれ以前のバージョンは、印刷可能なASCII 7ビット文字 （コード32-127）および0-31範囲のキーの一部（Enter、Backspaceなど）のみ入力可能です。ただし、Android SDK APIに相当するキーが存在しない「より大きい（>）」、「より小さい（<）」、「二重引用符（"）」、「サーカムフレックス（^）」は除きます。

• ロボットバージョン6.3.1以降では、未対応文字の転送にクリップボード転送を使用し、事実上あらゆるテキストを入力できます。

• サポートされている修飾キーはShiftとAltのみです。Ctrl修飾キーはAndroid SDK APIに同等のキーが存在しないためサポートされていません。

• ASCII 7ビットセット外の文字は、Alt+<文字>の組み合わせで生成できる場合があります。例えば「Alt+Z Alt+Z」は一部のデバイスでユーロ記号を生成します。これらの複合キー操作は、デバイス、その言語設定、キーボード設定に依存するため、デバイスごとに確認する必要があります。

• PCキーボードのアクションキーは、以下の通りネイティブのAndroidキーにマッピングされます。これらのキーのサポートは特定のAndroidデバイスに依存し、一部のキーは動作しない場合があります：