Hluboké zpětnovazební učení

Sylabus

Základní rámec zpětnovazebního učení

Tabulkové metody

- Dynamické programování

- Monte Carlo metody

- Temporal-difference metody

- N-krokový bootstrapping

Functionální aproximace

Hluboké Q sítě

Policy gradient metody

- REINFORCE

- REINFORCE with baseline

- Actor-critic

- Trust Region Policy Optimization

- Proximal Policy Optimization

Doména spojitých akcí

- Deep Deterministic policy gradient

- Twin Delayed Deep Deterministic policy gradient

Prohledávání Monte Carlo tree search

- AlphaZero architektura

Algoritmy využívající modely

- MCTS s natrénovaným modelem

Částečně pozorovatelná prostředí

Optimalizace diskrétních proměnných

Anotace

V posledních letech došlo ke zkombinování zpětnovazebního učení a hlubokých neuronových sítí, což umožnilo vytvoření agentů s nadlidskou výkonností (kupříkladu pro šachy, go, Dota2 či StarcraftII, schopných natrénovaní pouze z her „sám se sebou“), algoritmů pro řízení chlazení datacenter o 50% efektivnější než lidští operátoři, nebo vylepšeného strojového překladu. Cílem přednášky je seznámení se zpětnovazebním učením využívajícím hluboké neuronové sítě, se zaměřením jak na teorii, tak na skutečnou implementaci.