ニューラル言語処理

本講座では，深層学習における重要なテクニックである自然言語処理を学びます．word2vec, RNN, LSTM，さらには, attentionについて，理論を学んだうえで，これらの実装をpythonを使って体験します．最初は，できるだけ，NumPyなどの基本ライブラリだけを用いた実装により，各機能のメカニズムを体得します．つづいて，専用ライブラリPyTorchを用い標準的なノートPCでも稼働する言語モデル(LM)を構築してみます．教員が説明した理論を理解して頂いたうえで，それを実装したコードを受講生のみなさまが議論する形で演習を進めます．本講座を受講することにより，自然言語処理の技術体系が習得できます．

・講義はオンデマンド（VoD）で事前学習していだきます．
・Buddyと１対１でオンライン演習します．
・演習で質問していただき，考察・議論で理解を深めて頂きます．
・ソースコードを事前配布しますので，演習に備えた準備が可能です．

演習日 ： 2026/9/25 ～ 12/25の毎週金曜（全14回）
時間：　　15:30 ～　17:00 (質問が多ければ若干の延長)

準備

仮想環境 venv や jupyter notebook での環境の整備方法です．

シラバス

シラバスにはパスワードはかかっていません．
講義動画のURLは，各週のスライドの表紙の下に表記されています．

各週のスライド

後半のスライド数が多いため，週の分割に変更が生じるかもしれません

1. 自動微分と計算グラフ

2. 単語の分散表現

3. word2vec

4. RNN

5. LSTM

6. RNNでの文書生成

7. Attentionの原理

8. 大規模言語モデルとTransformer

9. Attention機構のアーキテクチャ

10. テキストを生成するGPTモデル

11. ラベルなしモデルでの事前学習

12. 分類のためのファインチューニング

13. 指示に従うためのファインチューニング

14. LoRA