Změna syllabu a vyučujícího předmětu KOL/VMMT2 Matematické modelování textu 2

Předmět Matematické modelování textu 2 proběhne v letním semestru s novým syllabem zaměřeným pouze na aplikace neuronových sítí (syllabus viz níže). Předmět navazuje na výuku předmětu Matematické modelování 1, jeho absolvování však není podmínkou. Čas bude věnován i základům teorie, vítáni jsou tedy všichni studenti. S problematikou studenty seznámí V. Matlach.

Syllabus:

Předmět se zaměřuje na teorii a aplikace hlubokých neuronových sítí v modelování textu a NLP. Předmět se pomocí praktických úloh věnuje tématům od atribuce autorství, rozpoznání jazyků, čtení psaného textu, rozpoznávání objektů na fotografiích až po aplikace v psycholingvistice. Výuka poskytne nezbytné základy teorie neuronových sítí, základy práce s programovacím jazykem Python a s frameworky Keras a Tensor Flow.

1) Optimalizační úlohy Od gradientů ke strojovému učení – úvod do strojového učení, využití GPU/CPU
2) Dopředné neuronové sítě – aktivační funkce, loss funkce, regularizace, overfitting, backpropagation, problém vanishing a exploding gradientu, auto-enkodéry
3) Využitelné modely textu pro neuronové sítě a jeho předzpracování – tokenizace, lemmatizace, kvantifikace a handcrafting vlastností, Zipfův zákon, metody bag-of-words, one-hot reprezentace aj.
4) Rekurentní neuronové sítě LSTM a GRU v aplikacích na text
5) Konvoluční neuronové sítě – Zpracování textu i obrazu

Zakončení: Vlastní projekt aplikující hluboké neuronové sítě na zvolený problém formou seminární práce evaluující schopnosti a výsledky modelu.

Doporučená literatura:
1. Ian Goodfellow, Yoshua Bengio, Aaron Courville. Deep learning. 2016.
2. Joshua F. Wiley. R Deep Learning Essentials. 2016.
3. Taweh Beysolow II. Introduction to Deep Learning Using R. 2017.
4. Valentino Zocca et al. Python Deep Learning. 2017.