Sylabus
1) Úvod do metod optimalizace bez vazeb … obecná optimalizační metoda, řády metod, základní klasifikace metod
2) Konvergence metod … Q-kovergence a její důležité třídy - lineární, superlineární a kvadratická, R-konvergence a souvislosti různých definicí konvergencí
3) Z ákladní gradientní metody … Metody spádových směrů, volba kroku - linesearch, metody volby kroku - Armijo, Goldstein, Wolfe, existence intervalů pro Wolfeho podmínku
4) Metody spádových směrů a Newtonovské metody … metody spádových směrů a Newtonovské metody, Zoutendijkova věta a její souvislost s konvergencí, podmínka silné konvexity a Lipschitzovsky spojitých gradientů.
5) Trust-region methody … Různé strategie stanovenı́ kroku a směru trust-region metod a Cauchyho bod, popis dogleg metody, Sorensenovo lemma
6) Kvazi-newtonovské metody … princip kvazinewtonovstkých metod, aproximace Hesiánu, konvergence metod (Dennis-Moré), metody DFP, BFGS, L-BFGS a Broydenovy metody.
7) Metody konjugovaných směrů … metody konjugovaných směrů, volba směru a konvergence pro specifické systémy, předpodmiňování a PCG metoda, metoda Fletchera a Reevese a metoda Polak a Ribiere.
8) Základní optimalizace s vazbami … základní úloha podmíněné optimalizace, KKT matice a její využití pro konstrukci metod - aktivní množina, Newtonova metoda.
9) Bariérové metody … bariérové metody, princip metody vnitřních bodů pro nelineární úlohy jako rozšíření metod lineárních, související konvergence metod.
10) Penalizačnı́ metody … princip penalizační metody a jejich konvergence.
Anotace
Předmět volně navazuje na předmět Základy Nelineární Optimalizace. V tomto předmětu budeme rozebírat jednotlivé algoritmy na řešení různých typů typicky konvexních úloh.
Kromě základních vlastností metod týkajících se jejich struktury a konvergence předmět popisuje přehled metod využívaných pro úlohy bez omezení a úlohy s omezeními. Kromě samotných metod nás často bude zajímat vhodnost metody pro danou třídu problémů, případně její konvergence.