いま注目の“AIによる画像生成”技術をインフラ分野へ応用する試み【土木×AI第15回】：“土木×AI”で起きる建設現場のパラダイムシフト（15）（2/3 ページ）

[阿部雅人（土木学会 AI・データサイエンス実践研究小委員会 副委員長），BUILT]

白黒写真をカラー写真に変換、GANを発展させた「px2pix」

　都市の樹木は、ヒートアイランド現象の緩和や防風、防音、二酸化炭素固定、生物多様性の維持など都市環境に貢献しています。また、街路樹は暑熱対策や空気の浄化にも有効です。

　定期的に樹木の幹直径や樹高、葉の状態などをモニタリングすることで、成長度合いなどを把握し、植栽の計画・管理に役立てることができます。既に、レーザースキャナーによって得られた点群データから、AIで樹木を検出する研究が進められています※3、4。

　検出の精度を高めるには、多様な樹形など樹木の特徴を反映した多くのデータが必要となります。そこで、GANによって街路樹の画像データの生成が行われています※4。

GANによって生成された街路樹画像データの例　出典：※4

※3 「画像処理や3次元深層学習を用いた航空機ライダー点群データからの樹木の検出」板倉健太,細井文樹／AI・データサイエンス論文集1巻J1号p320-328／「科学技術情報発信・流通総合システム（J-STAGE）」／2020年

※4 「Three-dimensional tree monitoring in urban cities using automatic tree detection method with mobile LiDAR data」Kenta Itakura,Fumiki Hosoi／AI・データサイエンス論文集2巻J2号p1-10／「科学技術情報発信・流通総合システム（J-STAGE）」／2021年

　生成された画像を取り入れて教師データを拡張して学習に用いたところ、点群データから街路樹のセマンティック・セグメンテーションの精度が向上しています。下の図は、点群データから街路樹を検出した結果です。

点群（左）からの街路樹のセマンティック・セグメンテーション（右）　出典：※4

　GANを発展させた手法の1つとして「px2pix」があります※5。px2pixは、もとになる画像からそれに対応した変換画像を生成する手法で、例えば白黒写真をカラー写真に変換するような学習に用いることができます。

　その仕組みを示したのが下図です。生成器が元データから変換後の贋データを生成し、識別器は元データと変換データの組に対して真贋を判定し、生成器と競い合います。それにより、生成器が真の変換データに近い画像を生成できるようになるという仕組みです。

pix2pixの仕組み　出典：筆者作成

※5 [1611.07004]“Image-to-Image Translation with Conditional Adversarial Networks”Phillip Isola,Jun-Yan Zhu,Tinghui Zhou,Alexei A. Efros/arXiv:1611.07004/v3:2018