【第19回】「ChatGPT」など大規模言語モデルの仕組みと土木領域での可能性：“土木×AI”で起きる建設現場のパラダイムシフト（19）（1/2 ページ）

連載第19回は、ここ最近、AI関連でもっぱら話題となっている「ChatGPT」をはじめとする大規模言語モデル（LLM）の仕組みと、建設領域での可能性についての考察です。

» 2023年06月20日 10時00分公開

[阿部雅人（土木学会 AI・データサイエンス実践研究小委員会副委員長），BUILT]

　ChatGPTなどの大規模言語モデルが巷をにぎわせています※1。今回は、大規模言語モデルの原理であるTransformer（トランスフォーマー）と、建設領域での活用例について紹介します。

LLMは、Transformerの深層学習が基本

　大規模言語モデル（LLM：Large Language Model）は、Transformerと呼ばれる深層学習の方法が基本となっています。Transformerは、2017年に提案された比較的新しい手法です※2。重要な部分を強調する「アテンション（Attention：注意機構）」を利用して、並列処理により、高い学習効率を実現しています。

※2 “Attention Is All You Need.”Ashish Vaswani,Noam Shazeer,Niki Parmar,Jakob Uszkoreit,Llion Jones,Aidan N. Gomez,Lukasz Kaiser,Illia Polosukhin/arXiv:1706.03762/last revised 6 Dec 2017 (this version, v5)

　連載14回では、画像でのアテンションを取り上げましたが、言語のアテンションとは、文章の前後関係や翻訳や会話などの対となる文章から、単語間の関連度や注目度を抽出するものです。大規模言語モデルは数十億以上のパラメータを持っており、大量の言語データで学習を行うことで優れた性能を発揮します。規模を大きくすれば大きくするほど精度も高まる傾向があると報告されており※3、ますます規模を拡大して発展を続けています。

※3 “Emergent Abilities of Large Language Models.”Jason Wei,Yi Tay,Rishi Bommasani,Colin Raffel,Barret Zoph,Sebastian Borgeaud,Dani Yogatama,Maarten Bosma,Denny Zhou,Donald Metzler,Ed H. Chi,Tatsunori Hashimoto,Oriol Vinyals,Percy Liang,Jeff Dean,William Fedus/arXiv:2206.07682/last revised 26 Oct 2022 (this version, v2)

★連載バックナンバー：

『“土木×AI”で起きる建設現場のパラダイムシフト』

本連載では、土木学会 AI・データサイエンス実践研究小委員会副委員長を務める阿部雅人氏が、AIと土木の最新研究をもとに、今後の課題や将来像について考えていきます。

TransformerでSNSの投稿から災害に関する情報を抽出する試み

　災害の際に、いち早く被害の状況を把握できれば、救助や支援の大きな力となるでしょう。SNSの情報には、災害の状況把握や被災者の救助に役立つ情報が含まれていることがあります。

　文献5では、Transformerの一種であるBERTという手法を、SNSの投稿に適用して、災害に関係のあるものを分類しています。下図は、災害に関係あると分類された投稿について、各単語のアテンションスコアの程度に応じて赤色が濃くなるように可視化したものです。伝えたい情報の時間や住宅が水に浸（つ）かっている点など、人間にとって重要な単語に注目していることが分かります。