Hluboké učení

Sylabus

Dopředné hluboké neuronové sítě

- Základní architektury a aktivační funkce

- Optimalizační algoritmy pro trénování hlubokých modelů

Regularizace hlubokých modelů

- Klasická regularizace využívající penalizaci normou parametrů

- Dropout

- Label smoothing

- Batch normalization

- Víceúlohové učení

Konvoluční neuronové sítě

- Konvoluční a slučující (pooling) vrstvy

- Architektury vhodné pro velmi hluboké konvoluční sítě

- Nejlepší známé modely pro rozpoznávání obrazu, detekci objektů a segmentaci obrazu

- Předtrénování a finetuning hlubokých neuronovách sítí

Rekurentní neuronové sítě

- Základní rekurentní sítě a problémy jejich trénování

- Long short-term memory

- Gated recurrent units

- Obousměrné a hluboké rekurentní sítě

- Enkodér-dekodér architektury typu věta na větu

Praktická metodika

- Výběr vhodné architektury

- Volba hyperparametrů

Zpracování přirozeného jazyka

- Distribuovaná reprezentace slov

- Reprezentace slov jako sekvence znaků

- Transformer architektura

- Nejlepší známé algoritmy pro morfologické značkování, rozpoznávání pojmenovaných entit, strojového překladu, popisování obrázků

Hluboké generativní modely

- Variační autoenkodéry

- Generativní protivnické (adversarial) sítě

- Generování řeči

Strukturovaná predikce

- CRF vrstva

- CTC loss a její aplikace v nejlepších známých algoritmech rozpoznání řeči

Úvod do hlubokého zpětnovazebního učení

Neuronové sítě s externí pamění

Anotace

V několika posledních letech byly hluboké neuronové sítě použity při řešení komplexních úloh strojového učení a dosáhly nejlepších známých výsledků v mnoha oblastech. Cílem přednášky je seznámení s hlubokými neuronovými sítěmi, od základů k nejnovějším technikám.

Přednáška se zaměří jak na teorii, tak na skutečné použití hlubokých neuronových sítí (studenti vytvoří a natrénují několik hlubokých sítí, které budou schopné dosáhnout nejlepších známých výsledků, např. v oblasti rozpoznávání obrazu, 3d objektů, řeči, generování obrazu či hraní her).