Velké jazykové modely

Sylabus

* Základy neuronových sítí pro modelování jazyka

* Typologie jazykových modelů [2]

* Získávání a správa dat, navazující úlohy

* Trénování (samoučení, zpětnovazební učení s využítím lidských anotací)

* Dolaďování a odvozování

* Vícejazyčnost a mezijazykový přenos

* Aplikace velkých jazykových modelů (např. konverzační systémy, robotika, generování kódu) [2-3].

* Multimodalita (CLIP, difuzní modely)

* Společenské dopady

* Interpretabilita

Anotace

Předmět se věnuje velkým neuronovým jazykovým modelům. Pokrývá související teoretické koncepty, technické základy fungování a využití jazykových modelů.