拡張現実と音声入力でビルの設備点検をスピードアップ：FM（2/2 ページ）

三菱電機はVR（拡張現実）表示と音声入力を活用した、設備点検作業の支援技術を開発した。VR技術で実際の設備上に作業手順を表示し、さらにその点検記録の内容を音声入力で行える。騒音が大きい作業現場でも点検結果が記録できるという。

[長町基，スマートジャパン]

60センチ先でも表示誤差は1.2cm

　写真などの2次元画像を用いてARを表示する場合、多数の点検対象がある大規模な設備では、各点検対象に対してAR表示すべき点検手順を関連付けた、大量の写真データを準備する必要がある。また、これらの写真データが撮影された場所と異なる位置で点検対象を見る場合には、カメラの位置と方向の算出が難しくなるため、正確なAR表示が困難だった。

　今回、3次元センサーを搭載したタブレットPCで撮影するだけで簡単に構築できる3次元モデルを使用することにより、モデル構築ツール上で点検対象と点検手順との関連付けを一括で構築できるようにした（図2）。2次元画像の代わりに3次元モデルを用いて位置と方向を算出するため、点検対象の位置や方向にかかわらず正確にAR表示可能だ。60cm（センチメートル）先での表示誤差は1.2cm以内という。従来60cm先での表示誤差は4.0cm以内だった。

図2　3次元モデルに対して一括で関連付けが行えるようにした　出典：三菱電機

　さらに、複数の点検対象との位置関係を把握し、離れている機器同士の点検順序や各機器の詳細な点検手順などを、作業者と点検対象との距離に応じて自動的にAR表示することもできる（図2）。

　このほか3次元モデルと関連付けた点検手順データベースから音声対話手順を自動生成することで、AR表示と連動した音声対話による点検結果の入力が可能となった。音声入力した点検結果はAR表示にすぐに反映され、作業者は音声入力結果に誤りのないことをウエアラブル端末上で確認できる。

　また、不明確な入力や点検漏れがある場合でも、システムが再入力を促すことにより確実に点検結果を入力することが可能。非定常騒音下であっても音声区間を正しく検出し、多様な騒音を考慮したディープラーニングに基づく音響辞書を構築する高騒音下音声認識技術により、現場の騒音下の使用に耐える高い認識精度を実現した。85dbAの騒音下での認識率は95%だという。