AIが構造物の損傷を判定して“説明文を自動生成”、点検を支援するAI先端研究【土木×AI第14回】：“土木×AI”で起きる建設現場のパラダイムシフト（14）（1/2 ページ）

連載第14回は、損傷程度の評価と分類の両方をこなす「マルチタスク学習」や構造物の損傷に説明文を自動で追加する「画像キャプション生成」など、インフラ点検を支援するAIの最新研究を紹介します。

[阿部雅人（土木学会 AI・データサイエンス実践研究小委員会 副委員長），BUILT]

　ここ最近、AIによるインフラ点検のサポートは、活発に研究開発が進んでいます。点検では、損傷の発生位置や損傷の種類／程度が問題になります。そのため、損傷や変状の種別／程度の判別基準は、管理主体や対象構造物ごとに点検要領などで定められています。

　基本的な問題設定として、道路橋の点検時に撮影された写真をもとに、健全あるいは損傷が軽微なものと、損傷が大きく補修などの検討が必要なものの2つに分類するAIをみてみましょう※1。

AIもヒトと同様に着目箇所の情報を使ってひび割れを判定

　上図は損傷が軽微な場合で、下図は損傷が大きな場合の例です。いずれもAIで正しく分類されています。それぞれの右側の図は、画素ごとにAIの判定に寄与した度合いを表すヒートマップです。上の場合は、ひび割れが認められるアンカーボルト近辺、下は腐食が進んでいる主桁補剛材下端付近が赤色になっており、AI判定への寄与が大きくなっています。点検写真を分類するAIでも、人間と同様の着目箇所の情報を使って判定していることが分かります。

　さらに、点検写真から、損傷程度の評価と分類の両方を、1つのAIで学習する「マルチタスク学習」も試みられています※2。

損傷が軽微な場合（支点部ひびわれ）　出典：※1

損傷が大きな場合（鋼主桁腐食）　出典：※1

※1 「橋梁点検部材損傷度判定CNNの可視化による判断根拠の理解と活用」西尾真由子,栗栖雄一／AI・データサイエンス論文集1巻J1号p92-99／「科学技術情報発信・流通総合システム（J-STAGE）」／2020年

※2 「マルチタスク深層学習による橋梁の損傷程度評価モデルの検討」大関誠,堀田修平,與那覇誠,山口浩平,中村聖三／AI・データサイエンス論文集1巻J1号p86-91／「科学技術情報発信・流通総合システム（J-STAGE）」／2020年

★連載バックナンバー：

『“土木×AI”で起きる建設現場のパラダイムシフト』

本連載では、土木学会 AI・データサイエンス実践研究小委員会 副委員長を務める阿部雅人氏が、AIと土木の最新研究をもとに、今後の課題や将来像について考えていきます。

　AIで損傷種別や程度の分類ができ、ヒートマップで着目箇所も分かるようになってきています。さらに一歩進み、点検写真から、損傷についての説明文を生成する研究も進んでいます。画像から損傷に関係する文章を生成する分野は、「画像キャプション生成」と呼ばれています。

　画像キャプション生成には、「注意（attention）機構」※3という仕組みを取り入れることが有効です。先ほど述べたように、点検写真をAIで判定する際に、どの領域に着目しているかをヒートマップで表すことができます。その着目された領域に写っている部分が損傷に関連している可能性が高いことを利用して、関連した言語と結び付けるというのが基本的な考え方です。

※3 「深層学習 改訂第2版」岡谷貴之／機械学習プロフェッショナルシリーズ／講談社／2022年

　このように、AIが着目している領域の情報を利用するのが、注意機構です。下図に注意機構を利用した画像キャプション生成の流れを示しました※4。図中で「GRU（Gated Recurrent Unit）」とあるのは、文章などの時系列データを扱うための要素で、以前の連載で取り上げたLSTMと同様の機能を有しているものです。注意機構によって着目されている領域が重みとして算出され、そこからGRUによって文字列が生成されるというプロセスを繰り返すことで、文章を生成しています。

「注意（attention）機構」を利用した画像キャプション生成　出典：※4

※4 「Attention機構モデルによる橋梁撮影画像からの損傷状況推定」山根達郎,渡部達也,全邦釘／AI・データサイエンス論文集2巻J2号p632-641／「科学技術情報発信・流通総合システム（J-STAGE）」／2021年