360°自由視点の俯瞰映像で建機の遠隔操作を実証実験、OKI×コマツ：建機遠隔操作

沖電気工業（OKI）が開発した車両周囲を360°のリアルタイム俯瞰映像でモニタリングできる「フライングビュー」と、コマツの建設機械の遠隔制御システムを組み合わせた実証実験が始まった。

[石原忍，BUILT]

　OKIは、コマツが開発した建設機械の遠隔制御システムに、車両周辺の俯瞰（ふかん）映像モニタリングが可能な「フライングビュー」を活用した実証実験を2018年10月1日より、千葉県千葉市美浜区にある「コマツIoTセンタ東京」で開始した。

　実証実験では、コマツが先行して実施している第5世代移動通信方式「5G」による建設機械の遠隔制御システムに、OKIのフライングビューを適用することで、ほぼ死角のない自由な視点での遠隔モニタリングの検証を行う。

4台の広角カメラで撮影し、死角のない360°の俯瞰映像を合成

　フライングビューは、建設機械に搭載した4台（前後左右）の広角カメラと、映像合成部、送受信部で構成。車両に搭載された4台の広角カメラは、走行している車両の全周囲を網羅した死角のないシームレスな広域エリアの映像を取得する。

　取得した映像は、タッチスクリーン操作で、俯瞰している視点を3次元的に360度リアルタイムで任意に変更でき、あらゆる角度からの周囲映像のモニタリングが実現する。臨場感あふれる映像や停止画面での鮮明な画像確認が可能となり、建設現場の周囲監視や遠隔操縦の支援などにつながる。

俯瞰映像モニタリングシステム「フライングビュー」の概要　出典：OKI

　映像の合成は、処理能力の高い集積回路「FPGA（field-programmable gate array）」上で行うため、リアルタイム・小型省電力のシステムで、大容量で高画質の映像処理が可能になる。前後左右の4台のカメラ映像をそれぞれゆがみ補正して合成し、上空にあると仮定した仮想カメラ位置からの俯瞰映像を生成する。

　フライングビュー以外にも、コマツの遠隔操作に用いる部分映像モニタリングでは、建設機械の前後およびブレード部を高精細カメラで撮影して、作業部分を状況把握する。

　今回の実証実験では、フライングビューの俯瞰および部分映像は、コマツが実証試験を行っている第5世代移動通信方式「5G」を経由して、千葉県千葉市美浜区にある「コマツIoTセンタ東京」の建設機械から、幕張メッセで開催されている展示会「CEATEC JAPAN 2018」のコマツブース内のデモコーナー「コックピット」のモニターに伝送され、遠隔操縦のサポートに活用。コックピット側からは、5Gを経由して建設機械へ制御信号を送信する。5Gの低遅延かつ高速通信の特性による映像と制御信号の双方向でリアルタイムな通信を行う。

実証実験デモンストレーションイメージ　出典：OKI

　OKIとコマツは、今回の実証実験で建設機械の遠隔操縦に、フライングビューを適用した場合の有効性や課題などを分析し、早期実用化に向けて、共同で取り組んでいく。

　OKIのフライングビューは、2018年2月8日にモータースポーツの新しい観戦スタイルの開発を目的として、NTTドコモと共同で富士スピードウェイで実証実験を行っている。この実験では、システムを搭載した車両を時速約160km（キロ）で走行させ、フライングビューの映像取得が可能なことを検証した。