Zachodniopomorski Uniwersytet Technologiczny w Szczecinie

Wydział Elektryczny - Elektrotechnika (S3)

Sylabus przedmiotu Neural Computations and Machine Learning:

Informacje podstawowe

Kierunek studiów Elektrotechnika
Forma studiów studia stacjonarne Poziom trzeciego stopnia
Stopnień naukowy absolwenta doktor
Obszary studiów
Profil
Moduł
Przedmiot Neural Computations and Machine Learning
Specjalność przedmiot wspólny
Jednostka prowadząca Katedra Inżynierii Systemów, Sygnałów i Elektroniki
Nauczyciel odpowiedzialny Adam Krzyżak <Adam.Krzyzak@zut.edu.pl>
Inni nauczyciele Adam Krzyżak <Adam.Krzyzak@zut.edu.pl>
ECTS (planowane) 6,0 ECTS (formy) 6,0
Forma zaliczenia egzamin Język polski
Blok obieralny Grupa obieralna

Formy dydaktyczne

Forma dydaktycznaKODSemestrGodzinyECTSWagaZaliczenie
wykładyW2 25 2,01,00egzamin
wykładyW4 25 2,01,00egzamin
wykładyW6 25 2,01,00egzamin

Wymagania wstępne

KODWymaganie wstępne
W-1Zdobycie przez studenta wiedzy i umiejętności w zakresie omawianych treści programowych oraz korzystanie z metod uczenia maszynowego do konstrukcji algorytmów sterowania i optymalizacji i do przetwarzania sygnałów.

Cele przedmiotu

KODCel modułu/przedmiotu
C-1zapoznanie doktoranta z metodologią i narzędziami służącymi do konstrukcji algorytmów klasyfikacji i przetwarzania sygnałów wykorzystujących sieci neuronowe i zaawansowane techniki uczenia maszynowego

Treści programowe z podziałem na formy zajęć

KODTreść programowaGodziny
wykłady
T-W-1Introduction and course outline. Biological neuron models. Survey of artificial neural networks (ANN) architectures. Survey of learning techniques in ANN.1
T-W-2Pattern classification. Bayesian Decision Theory. Discriminant functions. Classification rules for Gaussian densities. Chernoff and Bhattacharyya Bounds.6
T-W-3Maximum likelihood and Bayesian parameter estimation. Sufficient Statistics. Principal Component Analysis (PCA). Fisher Linear Discriminant (FLD).6
T-W-4Nonparametric techniques. Parzen kernels. K-Nearest Neighbor. Linear Discriminant Functions. Rosenblatt’s Perceptron. Perceptron Convergence Theorem. Widrow-Hoff Procedure. Ho-Kashyap Procedure.6
T-W-5Multilayer Perceptron Networks. Backpropagation learning. Activation functions. Logistic, hyperbolic tangent, softmax. Approximation of functions. Cross-validation. Complexity regularization. Convolutional neural networks.4
T-W-6Least squares error minimization. Unconstrained optimization techniques steepest descent. Newton method. Levenberg-Marquardt algorithm. Wiener filtering.2
25
wykłady
T-W-1Support Vector Machines. Kernel SVM. Mercer ‘s Theorem. SVM for overlapping classes. SVM for nonlinear regression.5
T-W-2Dimensionality reduction. Kernel PCA. Locally- linear embedding (LLE). Laplacian eigenmaps. Principal curves and manifolds.4
T-W-3Graphical models. Bayes nets. Parameter learning. Hidden Markov Models. Learning in HMM. Baum-Welch algorithm.6
T-W-4Approximate inference in HMM models. Statistical mechanics. Metropolis algorithm. Simulated annealing. Boltzmann machine. Monte Carlo and Gibbs sampling. Logistic belief networks. Deep belief networks.6
T-W-5Information theory and neural networks. Maximum mutual information. Information gain for pruning decision trees. Independent component analysis. Maximum entropy for blind source separation.4
25
wykłady
T-W-1Cover’s Theorem on separability of patterns. Interpolation problem. Tikhonov’s regularization. Radial Basis Function Networks. Kernel regression and RBF networks. Learning in RBF networks.4
T-W-2Kohonen’s Self-Organizing Maps. Contextual maps. Kernel SOM. SOM and Kullback-Leibler Divergence. Applications in optimization, principal curve approximation, visualization and exploration of highly dimensional data. Vector quantization.6
T-W-3Committee Machines. Bias and variance. Resampling schemes. Bootstrap. Ensemble averaging. Bagging and Boosting. Adaboost. Tree-based models. Mixture of experts6
T-W-4Semi-supervised learning. K-means clustering. Hierarchical clustering. Mixture models. MLE estimation of parameters. Expectation Maximization for Gaussian mixtures. General EM Algorithm.6
T-W-5Computational learning theory. Empirical Risk Minimization. Vapnik-Chervonenkis (VC) Dimension. Probably Approximately Correct (PAC) model.3
25

Obciążenie pracą studenta - formy aktywności

KODForma aktywnościGodziny
wykłady
A-W-1Obowiązkowe uczestnictwo w zajęciach25
A-W-2Samodzielne studiowanie tematyki wykładów wraz ze studiowaniem literatury.35
60
wykłady
A-W-1Obowiązkowe uczestnictwo w zajęciach25
A-W-2Samodzielne studiowanie tematyki wykładów wraz ze studiowaniem literatury35
60
wykłady
A-W-1Obowiązkowe uczestnictwo w zajęciach25
A-W-2Samodzielne studiowanie tematyki wykładów wraz ze studiowaniem literatury35
60

Metody nauczania / narzędzia dydaktyczne

KODMetoda nauczania / narzędzie dydaktyczne
M-1Wykład informacyjny

Sposoby oceny

KODSposób oceny
S-1Ocena podsumowująca: Ocena wystawiana na podstawie oceny aktywności studentów podczas zajęć, prezentacji oraz egzaminu ustnego

Zamierzone efekty kształcenia - wiedza

Zamierzone efekty kształceniaOdniesienie do efektów kształcenia dla dyscyplinyOdniesienie do efektów zdefiniowanych dla obszaru kształceniaCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
EL_3A_O9_W01
Ma wiedzę na zaawansowanym poziomie, o charakterze podstawowym dla nowoczesnej teorii uczenia maszynowego i jej zastosowań.
EL_3A_W02C-1T-W-1, T-W-1, T-W-2, T-W-2, T-W-2, T-W-3, T-W-4, T-W-4, T-W-5, T-W-5, T-W-5M-1S-1

Zamierzone efekty kształcenia - umiejętności

Zamierzone efekty kształceniaOdniesienie do efektów kształcenia dla dyscyplinyOdniesienie do efektów zdefiniowanych dla obszaru kształceniaCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
EL_3A_O9_U01
Potrafi zdobywać informacje naukowe z różnych źródeł, także obcojęzycznych oraz dokonywać właściwej selekcji tych informacji w zakresie systemw uczenia maszynowego a także stosować te informacje do rozwiązywania problemów naukowych w dziedzinie.
EL_3A_U08, EL_3A_U03C-1T-W-1, T-W-2, T-W-4, T-W-5M-1S-1

Zamierzone efekty kształcenia - inne kompetencje społeczne i personalne

Zamierzone efekty kształceniaOdniesienie do efektów kształcenia dla dyscyplinyOdniesienie do efektów zdefiniowanych dla obszaru kształceniaCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
EL_3A_O9_K01
Orientuje sie w najnowszych trendach rozwojowych teorii uczenia maszynowego i ma potrzebę ciągłego podnoszenia kwalifikacji zawodowych i krytycznego analizowania najnowszych osiągnięć w swojej dziedzinie.
EL_3A_K02C-1T-W-3, T-W-5, T-W-4, T-W-1M-1S-1

Kryterium oceny - wiedza

Efekt kształceniaOcenaKryterium oceny
EL_3A_O9_W01
Ma wiedzę na zaawansowanym poziomie, o charakterze podstawowym dla nowoczesnej teorii uczenia maszynowego i jej zastosowań.
2,0
3,0Ma wiedzę na zaawansowanym poziomie, o charakterze podstawowym dla nowoczesnej teorii uczenia maszynowego i jej zastosowań
3,5
4,0
4,5
5,0

Kryterium oceny - umiejętności

Efekt kształceniaOcenaKryterium oceny
EL_3A_O9_U01
Potrafi zdobywać informacje naukowe z różnych źródeł, także obcojęzycznych oraz dokonywać właściwej selekcji tych informacji w zakresie systemw uczenia maszynowego a także stosować te informacje do rozwiązywania problemów naukowych w dziedzinie.
2,0
3,0Potrafi zdobywać informacje naukowe z różnych źródeł, także obcojęzycznych oraz dokonywać właściwej selekcji tych informacji w zakresie systemw uczenia maszynowego a także stosować te informacje do rozwiązywania problemów naukowych w dziedzinie
3,5
4,0
4,5
5,0

Kryterium oceny - inne kompetencje społeczne i personalne

Efekt kształceniaOcenaKryterium oceny
EL_3A_O9_K01
Orientuje sie w najnowszych trendach rozwojowych teorii uczenia maszynowego i ma potrzebę ciągłego podnoszenia kwalifikacji zawodowych i krytycznego analizowania najnowszych osiągnięć w swojej dziedzinie.
2,0
3,0Orientuje sie w najnowszych trendach rozwojowych teorii uczenia maszynowego i ma potrzebę ciągłego podnoszenia kwalifikacji zawodowych i krytycznego analizowania najnowszych osiągnięć w swojej dziedzinie
3,5
4,0
4,5
5,0

Literatura podstawowa

  1. S. Haykin, Neurel Networks and Learning Machines, Prentice Hall, Upper Sadle River, NJ, USA, 2009, 3
  2. R. O. Duda, P. E. Hart, D. G. Stork, Pattern Classification, Wiley-Interscience, New York, 2001, 2
  3. C. M. Bishop, Pattern Recognition and Machine Learning, Springer, New York, 2006, 1

Treści programowe - wykłady

KODTreść programowaGodziny
T-W-1Introduction and course outline. Biological neuron models. Survey of artificial neural networks (ANN) architectures. Survey of learning techniques in ANN.1
T-W-2Pattern classification. Bayesian Decision Theory. Discriminant functions. Classification rules for Gaussian densities. Chernoff and Bhattacharyya Bounds.6
T-W-3Maximum likelihood and Bayesian parameter estimation. Sufficient Statistics. Principal Component Analysis (PCA). Fisher Linear Discriminant (FLD).6
T-W-4Nonparametric techniques. Parzen kernels. K-Nearest Neighbor. Linear Discriminant Functions. Rosenblatt’s Perceptron. Perceptron Convergence Theorem. Widrow-Hoff Procedure. Ho-Kashyap Procedure.6
T-W-5Multilayer Perceptron Networks. Backpropagation learning. Activation functions. Logistic, hyperbolic tangent, softmax. Approximation of functions. Cross-validation. Complexity regularization. Convolutional neural networks.4
T-W-6Least squares error minimization. Unconstrained optimization techniques steepest descent. Newton method. Levenberg-Marquardt algorithm. Wiener filtering.2
25

Treści programowe - wykłady

KODTreść programowaGodziny
T-W-1Support Vector Machines. Kernel SVM. Mercer ‘s Theorem. SVM for overlapping classes. SVM for nonlinear regression.5
T-W-2Dimensionality reduction. Kernel PCA. Locally- linear embedding (LLE). Laplacian eigenmaps. Principal curves and manifolds.4
T-W-3Graphical models. Bayes nets. Parameter learning. Hidden Markov Models. Learning in HMM. Baum-Welch algorithm.6
T-W-4Approximate inference in HMM models. Statistical mechanics. Metropolis algorithm. Simulated annealing. Boltzmann machine. Monte Carlo and Gibbs sampling. Logistic belief networks. Deep belief networks.6
T-W-5Information theory and neural networks. Maximum mutual information. Information gain for pruning decision trees. Independent component analysis. Maximum entropy for blind source separation.4
25

Treści programowe - wykłady

KODTreść programowaGodziny
T-W-1Cover’s Theorem on separability of patterns. Interpolation problem. Tikhonov’s regularization. Radial Basis Function Networks. Kernel regression and RBF networks. Learning in RBF networks.4
T-W-2Kohonen’s Self-Organizing Maps. Contextual maps. Kernel SOM. SOM and Kullback-Leibler Divergence. Applications in optimization, principal curve approximation, visualization and exploration of highly dimensional data. Vector quantization.6
T-W-3Committee Machines. Bias and variance. Resampling schemes. Bootstrap. Ensemble averaging. Bagging and Boosting. Adaboost. Tree-based models. Mixture of experts6
T-W-4Semi-supervised learning. K-means clustering. Hierarchical clustering. Mixture models. MLE estimation of parameters. Expectation Maximization for Gaussian mixtures. General EM Algorithm.6
T-W-5Computational learning theory. Empirical Risk Minimization. Vapnik-Chervonenkis (VC) Dimension. Probably Approximately Correct (PAC) model.3
25

Formy aktywności - wykłady

KODForma aktywnościGodziny
A-W-1Obowiązkowe uczestnictwo w zajęciach25
A-W-2Samodzielne studiowanie tematyki wykładów wraz ze studiowaniem literatury.35
60
(*) 1 punkt ECTS, odpowiada około 30 godzinom aktywności studenta

Formy aktywności - wykłady

KODForma aktywnościGodziny
A-W-1Obowiązkowe uczestnictwo w zajęciach25
A-W-2Samodzielne studiowanie tematyki wykładów wraz ze studiowaniem literatury35
60
(*) 1 punkt ECTS, odpowiada około 30 godzinom aktywności studenta

Formy aktywności - wykłady

KODForma aktywnościGodziny
A-W-1Obowiązkowe uczestnictwo w zajęciach25
A-W-2Samodzielne studiowanie tematyki wykładów wraz ze studiowaniem literatury35
60
(*) 1 punkt ECTS, odpowiada około 30 godzinom aktywności studenta
PoleKODZnaczenie kodu
Zamierzone efekty kształceniaEL_3A_O9_W01Ma wiedzę na zaawansowanym poziomie, o charakterze podstawowym dla nowoczesnej teorii uczenia maszynowego i jej zastosowań.
Odniesienie do efektów kształcenia dla dyscyplinyEL_3A_W02Ma wiedzę na zaawansowanym poziomie, o charakterze szczegółowym dla obszaru prowadzonych badań naukowych w zakresie Elektrotechniki, której źródłem są w szczególności publikacje naukowe, obejmującą najnowsze osiągnięcia nauki.
Cel przedmiotuC-1zapoznanie doktoranta z metodologią i narzędziami służącymi do konstrukcji algorytmów klasyfikacji i przetwarzania sygnałów wykorzystujących sieci neuronowe i zaawansowane techniki uczenia maszynowego
Treści programoweT-W-1Support Vector Machines. Kernel SVM. Mercer ‘s Theorem. SVM for overlapping classes. SVM for nonlinear regression.
T-W-1Cover’s Theorem on separability of patterns. Interpolation problem. Tikhonov’s regularization. Radial Basis Function Networks. Kernel regression and RBF networks. Learning in RBF networks.
T-W-2Dimensionality reduction. Kernel PCA. Locally- linear embedding (LLE). Laplacian eigenmaps. Principal curves and manifolds.
T-W-2Kohonen’s Self-Organizing Maps. Contextual maps. Kernel SOM. SOM and Kullback-Leibler Divergence. Applications in optimization, principal curve approximation, visualization and exploration of highly dimensional data. Vector quantization.
T-W-2Pattern classification. Bayesian Decision Theory. Discriminant functions. Classification rules for Gaussian densities. Chernoff and Bhattacharyya Bounds.
T-W-3Graphical models. Bayes nets. Parameter learning. Hidden Markov Models. Learning in HMM. Baum-Welch algorithm.
T-W-4Semi-supervised learning. K-means clustering. Hierarchical clustering. Mixture models. MLE estimation of parameters. Expectation Maximization for Gaussian mixtures. General EM Algorithm.
T-W-4Nonparametric techniques. Parzen kernels. K-Nearest Neighbor. Linear Discriminant Functions. Rosenblatt’s Perceptron. Perceptron Convergence Theorem. Widrow-Hoff Procedure. Ho-Kashyap Procedure.
T-W-5Computational learning theory. Empirical Risk Minimization. Vapnik-Chervonenkis (VC) Dimension. Probably Approximately Correct (PAC) model.
T-W-5Multilayer Perceptron Networks. Backpropagation learning. Activation functions. Logistic, hyperbolic tangent, softmax. Approximation of functions. Cross-validation. Complexity regularization. Convolutional neural networks.
T-W-5Information theory and neural networks. Maximum mutual information. Information gain for pruning decision trees. Independent component analysis. Maximum entropy for blind source separation.
Metody nauczaniaM-1Wykład informacyjny
Sposób ocenyS-1Ocena podsumowująca: Ocena wystawiana na podstawie oceny aktywności studentów podczas zajęć, prezentacji oraz egzaminu ustnego
Kryteria ocenyOcenaKryterium oceny
2,0
3,0Ma wiedzę na zaawansowanym poziomie, o charakterze podstawowym dla nowoczesnej teorii uczenia maszynowego i jej zastosowań
3,5
4,0
4,5
5,0
PoleKODZnaczenie kodu
Zamierzone efekty kształceniaEL_3A_O9_U01Potrafi zdobywać informacje naukowe z różnych źródeł, także obcojęzycznych oraz dokonywać właściwej selekcji tych informacji w zakresie systemw uczenia maszynowego a także stosować te informacje do rozwiązywania problemów naukowych w dziedzinie.
Odniesienie do efektów kształcenia dla dyscyplinyEL_3A_U08Potrafi nawiązywać kontakty w międzynarodowym środowisku naukowym oraz zawodowym.
EL_3A_U03Potrafi zdobywać informacje naukowe z różnych źródeł, także obcojęzycznych, oraz dokonywać właściwej interpretacji i selekcji tych informacji, szczególnie w zakresie dyscypliny Elektrotechnika.
Cel przedmiotuC-1zapoznanie doktoranta z metodologią i narzędziami służącymi do konstrukcji algorytmów klasyfikacji i przetwarzania sygnałów wykorzystujących sieci neuronowe i zaawansowane techniki uczenia maszynowego
Treści programoweT-W-1Support Vector Machines. Kernel SVM. Mercer ‘s Theorem. SVM for overlapping classes. SVM for nonlinear regression.
T-W-2Kohonen’s Self-Organizing Maps. Contextual maps. Kernel SOM. SOM and Kullback-Leibler Divergence. Applications in optimization, principal curve approximation, visualization and exploration of highly dimensional data. Vector quantization.
T-W-4Nonparametric techniques. Parzen kernels. K-Nearest Neighbor. Linear Discriminant Functions. Rosenblatt’s Perceptron. Perceptron Convergence Theorem. Widrow-Hoff Procedure. Ho-Kashyap Procedure.
T-W-5Multilayer Perceptron Networks. Backpropagation learning. Activation functions. Logistic, hyperbolic tangent, softmax. Approximation of functions. Cross-validation. Complexity regularization. Convolutional neural networks.
Metody nauczaniaM-1Wykład informacyjny
Sposób ocenyS-1Ocena podsumowująca: Ocena wystawiana na podstawie oceny aktywności studentów podczas zajęć, prezentacji oraz egzaminu ustnego
Kryteria ocenyOcenaKryterium oceny
2,0
3,0Potrafi zdobywać informacje naukowe z różnych źródeł, także obcojęzycznych oraz dokonywać właściwej selekcji tych informacji w zakresie systemw uczenia maszynowego a także stosować te informacje do rozwiązywania problemów naukowych w dziedzinie
3,5
4,0
4,5
5,0
PoleKODZnaczenie kodu
Zamierzone efekty kształceniaEL_3A_O9_K01Orientuje sie w najnowszych trendach rozwojowych teorii uczenia maszynowego i ma potrzebę ciągłego podnoszenia kwalifikacji zawodowych i krytycznego analizowania najnowszych osiągnięć w swojej dziedzinie.
Odniesienie do efektów kształcenia dla dyscyplinyEL_3A_K02Ma potrzebę ciągłego podnoszenia kwalifikacji zawodowych i krytycznego analizowania najnowszych osiągnięć w dyscyplinach Elektrotechnika.
Cel przedmiotuC-1zapoznanie doktoranta z metodologią i narzędziami służącymi do konstrukcji algorytmów klasyfikacji i przetwarzania sygnałów wykorzystujących sieci neuronowe i zaawansowane techniki uczenia maszynowego
Treści programoweT-W-3Graphical models. Bayes nets. Parameter learning. Hidden Markov Models. Learning in HMM. Baum-Welch algorithm.
T-W-5Multilayer Perceptron Networks. Backpropagation learning. Activation functions. Logistic, hyperbolic tangent, softmax. Approximation of functions. Cross-validation. Complexity regularization. Convolutional neural networks.
T-W-4Nonparametric techniques. Parzen kernels. K-Nearest Neighbor. Linear Discriminant Functions. Rosenblatt’s Perceptron. Perceptron Convergence Theorem. Widrow-Hoff Procedure. Ho-Kashyap Procedure.
T-W-1Support Vector Machines. Kernel SVM. Mercer ‘s Theorem. SVM for overlapping classes. SVM for nonlinear regression.
Metody nauczaniaM-1Wykład informacyjny
Sposób ocenyS-1Ocena podsumowująca: Ocena wystawiana na podstawie oceny aktywności studentów podczas zajęć, prezentacji oraz egzaminu ustnego
Kryteria ocenyOcenaKryterium oceny
2,0
3,0Orientuje sie w najnowszych trendach rozwojowych teorii uczenia maszynowego i ma potrzebę ciągłego podnoszenia kwalifikacji zawodowych i krytycznego analizowania najnowszych osiągnięć w swojej dziedzinie
3,5
4,0
4,5
5,0