【開催記録】ALIGN Webinar #9 Dr. Albert Webson: A Brief History of Pretraining and Post-Training Large Language Models

ALIGNウェビナーの第9回では、Google DeepMindのシニア・リサーチ・サイエンティストであるAlbert Webson博士をお招きしました。

• 日時：2024年8月9日（金）10:00 am-11:00 am （日本時間）

• 参加者：オンラインで30名ほど

Albertさんは、ブラウン大学での博士課程在学中、初期のinstruction-tuned model（T0、FLAN-T5、BLOOMなど）に関する研究で共同原著論文を執筆。DeepMindでは、Geminiの事前学習と強化学習の主要な貢献者の一人です。

本ウェビナーでは、現代の大規模言語モデル（LLM）の事前学習と事後学習（SFTとRLHF）について、AIアライメントの歴史との関連性を含めてお話いただきました。

事前学習については、Transformer以降、アルゴリズムに大きな変更はなく、むしろ大規模化のためのハードウェアの進展が著しいことが強調されました。事後学習については、Supervised Finetuning（SFT）や、様々なRLHFが過去数年間の中でどのような時系列で登場し、今日の商用LLMの実現につながったのかについて、開発を当事者として間近で見てきた立場からの紹介がなされました。

言語に強い関心のあるAlbertさんは日本語を毎日練習しているとのことで、LLMの動作の説明の中でも日本語の文を多用していただいていたのが印象的でした。