About the event

​In the ninth episode of the ALIGN webinar series, we will invite Dr. Albert Webson, a senior research scientist at Google DeepMind.

​During his PhD at Brown University, he co-first-authored several early instruction-tuned models (e.g., T0, FLAN-T5, BLOOM).At DeepMind, he is one of the main technical contributors to Gemini pretraining and reinforcement learning.

​In this webinar, Albert will share an overview of the main components of contemporary LLM pretraining and post-training (SFT and RLHF), including their connections to the history of alignment.

• Date: Friday, 9 Aug, 2024　10:00 am-11:00 am (JST) = Thursday, 8th 6:00 pm - 6:55 pm (PDT)

• This recording talk will not appear on the Youtube Channel.

ALIGNウェビナーの第9回では、Google DeepMindのシニア・リサーチ・サイエンティストであるAlbert Webson博士をお招きします。Albertさんは、ブラウン大学での博士課程在学中、初期のinstruction-tuned model（T0、FLAN-T5、BLOOMなど）に関する研究で共同原著論文を執筆。DeepMindでは、Geminiの事前学習と強化学習の主要な貢献者の一人です。本ウェビナーでは、現代の大規模言語モデル（LLM）の事前学習と事後学習（SFTとRLHF）について、AIアライメントの歴史との関連性を含めてお話いただきます。

• 日時：2024年8月9日（金）10:00 am-11:00 am （日本時間）

• 講演は英語ですが、スライドは日本語です。また、Albertさんは日本語が堪能なため、質疑は日本語でも可能です。

• 本イベントの事後の動画配信はありません。

Agenda

• 10:00-10:05 House keeping from ALIGN

• 10:05-10:35 Dr. Albert Webson on A Brief History of Pretraining and Post-Training Large Language Models

• 10:35-10:55 Q&A and discussion with participants

• 10:55- closing