「ChatGPT」など大規模言語モデルの仕組みと土木領域での可能性【土木×AI第19回】：“土木×AI”で起きる建設現場のパラダイムシフト（19）（1/2 ページ）

連載第19回は、ここ最近、AI関連でもっぱら話題となっている「ChatGPT」をはじめとする大規模言語モデル（LLM）の仕組みと、建設領域での可能性についての考察です。

[阿部雅人（土木学会 AI・データサイエンス実践研究小委員会 副委員長），BUILT]

　ChatGPTなどの大規模言語モデルが巷をにぎわせています※1。今回は、「大規模言語モデル」の原理となる「Transformer（トランスフォーマー）」と、建設領域での活用例について紹介します。

※1 ChatGPT入門／＠IT

LLMは、Transformerの深層学習が基本

　大規模言語モデル（LLM：Large Language Model）は、Transformerと呼ばれる深層学習の方法が基本となっています。Transformerは、2017年に提案された比較的新しい手法です※2。重要な部分を強調する「アテンション（Attention：注意機構）」を利用して、並列処理により、高い学習効率を実現しています。

※2 “Attention Is All You Need.”Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N. Gomez,Lukasz Kaiser,Illia Polosukhin/arXiv:1706.03762/last revised 6 Dec 2017 (this version, v5)

　連載14回では、画像でのアテンションを取り上げましたが、言語のアテンションとは、文章の前後関係や翻訳や会話などの対となる文章から、単語間の関連度や注目度を抽出するものです。大規模言語モデルは数十億以上のパラメータを持っており、大量の言語データで学習を行うことで優れた性能を発揮します。規模を大きくすれば大きくするほど精度も高まる傾向があると報告されており※3、ますます規模を拡大して発展を続けています。

※3 “Emergent Abilities of Large Language Models.”Jason Wei,Yi Tay,Rishi Bommasani,Colin Raffel,Barret Zoph,Sebastian Borgeaud,Dani Yogatama,Maarten Bosma,Denny Zhou,Donald Metzler,Ed H. Chi,Tatsunori Hashimoto,Oriol Vinyals,Percy Liang,Jeff Dean,William Fedus/arXiv:2206.07682/last revised 26 Oct 2022 (this version, v2)

★連載バックナンバー：

『“土木×AI”で起きる建設現場のパラダイムシフト』

本連載では、土木学会 AI・データサイエンス実践研究小委員会 副委員長を務める阿部雅人氏が、AIと土木の最新研究をもとに、今後の課題や将来像について考えていきます。

TransformerでSNSの投稿から災害に関する情報を抽出する試み

　災害の際に、いち早く被害の状況を把握できれば、救助や支援の大きな力となるでしょう。SNSの情報には、災害の状況把握や被災者の救助に役立つ情報が含まれていることがあります。

　文献5では、Transformerの一種「BERT」という手法をSNSの投稿に適用して、災害に関係のあるものを分類しています。下図は、災害に関係あると分類された投稿について、各単語のアテンションスコアの程度に応じて赤色が濃くなるように可視化したものです。伝えたい情報の時間や住宅が水に浸（つ）かっている点など、人間にとって重要な単語に注目していることが分かります。

災害に関係があると分類された投稿とアテンションスコア　出典：※4

　さらに下図左は、地図上に、分類して得られた災害に関する投稿の位置を表示したものです。下図右の台風の経路に沿って、投稿数が増えていることが確認できます。

災害に関する投稿の位置情報（左）と台風の経路（右）　出典：※4

※4 「Deep Learningを用いたマイクロブログ投稿文の災害情報分類」泉翔太,堀太成,山根達郎,全邦釘,藤森祥文,森脇亮／AI・データサイエンス論文集1巻J1号p398-405／「科学技術情報発信・流通総合システム（J-STAGE）」／2020年