Neuronové sítě

Sylabus

1. Úvod do problematiky umělých neuronových sítí Biologický neuron a neuronové sítě, přenos signálu v axonu a synapsích, zpracování informací v neuronech, hlavní části mozku. Historie a základní principy umělých neuronových sítí. Adaptace a učení, formální zápis vzorů. Výběr a uspořádání příznaků, výběr a uspořádání trénovacích vzorů.

2. První modely umělých neuronových sítí Formální neuron, váhy, potenciál, přenosová funkce. Základní typy umělých neuronových sítí. Konekcionalismus, učení a rozpoznávání, učení s učitelem a samoorganizace, extrakce znalostí, generalizace a robustnost. Perceptron a lineární separabilita, dělicí nadrovina. Perceptronový algoritmus učení a jeho konvergence, přihrádkový algoritmus.

3. Dopředné sítě a algoritmus zpětného šíření Algoritmus zpětného šíření - odvození adaptačních pravidel. Trénovací, testovací a validační množina, různé strategie učení. Interní reprezentace znalostí, generalizace, over-fitting and over-sizing, Vapnik-Chervonenkisova dimenze. Kolmogorovova věta, aproximace funkcí, složitost problému učení. Oblasti a principy použití dopředných sítí perceptronového typu.

4. Asociativní sítě Umělé neuronové sítě se zpětnou vazbou, Hebbovské učení, kapacita paměti, atraktory, energetická funkce a konvergence ke stabilním stavům. Asociativní paměti, bidirektivní asociativní paměť (BAM), Hopfieldův model, spojitý Hopfieldův model, simulované žíhání, Boltzmannův stroj. Použití Hopfieldovy sítě k hledání suboptimálních řešení NP-úplných problémů.

5. Samoorganizace a hybridní modely Posilované učení bez učitele - Ojův algoritmus učení pro PCA. Kohonenovy samoorganizační mapy a algoritmy pro jejich učení, laterální inhibice, topologické okolí. Algoritmus vstřícného šíření (Counter-propagation), RBF-sítě, adaptivní rezonance (ART). Kaskádová korelace a modulární neuronové sítě - sítě lokálních expertů.

6. Genetické algoritmy Formulace optimalizačního problému, populace jedinců, základní genetické operátory - selekce, křížení, mutace. Cílová funkce (fitness function). Analýza konvergence - věta o schematech. Aplikace genetických algoritmů v oblasti umělých neuronových sítí.

Anotace

Teorie neuronových sítí (NS) je motivována poznatky o CNS (centrální nervové soustavě) a odvozuje z nich matematické modely, které mají (přes velké zjednodušení skutečných neurofyziologických dějů v CNS) některé rysy přirozené inteligence. Ty jsou pak využívány k návrhům netradičních výpočetních postupů při řešení řady praktických úloh.