グローバル市場向けの組込み機器を開発する際、多言語対応は避けて通れないテーマです。英語、日本語、中国語、韓国語、ドイツ語、フランス語、スペイン語、アラビア語――。対応言語が増えれば増えるほど、GUIの検証は急速に複雑になります。
しかも、組込み機器の多言語GUIテストは、Webサイトやスマートフォンアプリのテストとは事情が大きく異なります。
WebであればSelenium、モバイルアプリであればAppiumなど、自動化のための代表的な仕組みがありますが、組込み機器ではOSやGUIフレームワーク、ハードウェア構成が製品ごとに異なるため、「このツールを入れれば簡単に自動化できる」という共通解がなかなか存在しません。
さらに多言語特有の問題が加わります。翻訳文字列が正しくても、実際の画面では文字が途中で切れているかもしれません。ドイツ語に変更した途端、ボタンから文字がはみ出すかもしれません。
アラビア語では、文字列だけでなく画面全体の左右方向が正しく反転しているかを確認する必要があります。
重要なのは「ユーザーにどう見えているか」
組込み機器の多言語GUI検証では、「正しい文字列が入っていること」だけでは不十分です。実際の製品画面で、その文字が正しく、ユーザーが読める状態で表示されていることが極めて重要になります。
ここに、T-Plan Robotを活用する大きな意味があります。
最初の壁は、「画面の中身が見えない」こと
Webアプリケーションであれば、HTMLのDOMから「このボタンには何という文字が表示されているか」といった情報をプログラムから取得できます。
しかし組込み機器では、RTOSや独自Linux環境、Qt、TouchGFX、独自GUIフレームワークなどを使用している場合、テスト側からUI内部の情報を直接取得できないことがあります。
テストツールから見えるのは、最終的に表示された「画面」だけ。つまり、ブラックボックステストにならざるを得ません。
ここで考え方を変える必要があります。内部データを取得できないのであれば、「実際に人間が見ている画面そのものをテスト対象にする」という発想です。
T-Plan Robotは、まさにこのアプローチと相性の良いGUI自動化ツールです。
画像をベースに画面上の対象を認識しながらGUI操作を自動化できるため、対象システム内部のDOMやオブジェクト情報に依存せず、「実際に表示されている画面」を基準にテストを組み立てることができます。医療機器や車載システム、航空宇宙機器など、内部構造への非侵襲性(Non-invasive)が求められるシビアな環境において、これは非常に大きなメリットになります。
T-Plan Robotが「テストの目」になる
例えば、ある機器の設定画面で言語を次々と切り替えて確認する作業を想像してください。テスターが手動で実機を操作し、German、Spanish、French、Arabicと切り替えて一枚ずつ確認するのは膨大な時間が必要です。
そこでT-Plan Robotに「設定画面を開く」「Languageを選択する」「言語を変更する」「スクリーンショットを取得する」という一連の操作を覚えさせます。すると、T-Plan Robotが人に代わって同じ操作を正確に繰り返すことができます。オンプレミス環境で完結するため、機密性の高い開発現場でもセキュアに自動化が可能です。
第2の壁、「文字が正しいか」をどう判定するか
画面を自動で表示できても、最終的に人が目視確認していては完全な自動化とは言えません。
そこでOCR(光学文字認識)を組み合わせます。
T-Plan Robotで取得したスクリーンショットから文字を読み取り、ExcelやCSVなどで管理している正解データ(Golden Data)と比較するのです。
しかし、OCRを万能な技術と考えるのは危険です。OCRは「何と書かれているか」を見る技術であり、「文字がボタンからはみ出していないか」「不自然に折り返されていないか」といったレイアウト崩れは判定できません。
OCRと画像比較は、競合ではなく補完関係
多言語GUIテストでは、以下の役割分担が非常に有効です。
OCR: 文字の正しさ(翻訳漏れがないか、正しいテキストか)画像比較: 見た目の正しさ(文字切れ、はみ出し、レイアウト崩れがないか)
T-Plan Robot による画面操作と Screenshot 取得
↓
OCR による文字列確認 + Golden Data との照合
↓
画像比較 によるレイアウト確認
↓
PASS / FAIL 判定
T-Plan Robotは単にボタンを自動で押すだけではなく、これらの一連の検証フロー全体を動かす「テストオーケストレーター」として機能します。
ドイツ語の「Text Expansion」とアラビア語の「RTL」
多言語GUIで頻繁に発生する問題の一つが、ドイツ語などに見られるText Expansion(テキスト拡張)です。
英語では「Settings」(8文字)で済んでいた箇所が、ドイツ語では「Einstellungen」と長くなり、ボタンから文字がはみ出したり隣のアイコンと重なったりします。翻訳ファイル上では正しいため、実際の画面を見なければ発見できません。
さらにアラビア語やヘブライ語では、文字を書く方向がRight-to-Left(RTL)になります。文字列だけでなく、画面全体の左右レイアウト、ボタン位置、アイコン位置が適切に反転しているかを確認する必要があります。
これもOCRと画像比較の組み合わせ、そしてそれを自動で回すT-Plan Robotの連携によって初めて解決できる課題です。
ROI設定で「画像比較は不安定」という課題を克服
画面全体を単純比較すると、時計やバッテリー残量が変わっただけでテストが失敗(フレーキーなテスト)する懸念があります。
そこでT-Plan Robotでは、ROI(Region of Interest)を設定します。比較対象から時計部分を除外し、「Language」ボタン周辺など意味のある領域単位で評価することで、安定した自動検証を実現します。
人間の役割は「判断」へ
本当に大きな問題は「テストケースの爆発」です。300画面×20言語=6,000画面。ここに各種ステータスが加われば、人間による目視テストは破綻します。
T-Plan Robotを導入することで、「すべてを目視する工程」から、「夜間に自動検証し、翌朝FAILになった画面だけを人が確認・判断する工程」へとシフトできます。
機械に任せられる確認をT-Plan Robotへ任せ、人間は「この表現はユーザーに誤解を与えないか」といった、人間にしか判断できない品質へ集中する。これこそが、次世代の多言語GUI品質保証のアプローチです。