Zachodniopomorski Uniwersytet Technologiczny w Szczecinie

Wydział Informatyki - Informatyka (S2)

Sylabus przedmiotu Metody rozpoznawania wzorców:

Informacje podstawowe

Kierunek studiów Informatyka
Forma studiów studia stacjonarne Poziom drugiego stopnia
Tytuł zawodowy absolwenta magister
Obszary studiów nauki techniczne
Profil ogólnoakademicki
Moduł
Przedmiot Metody rozpoznawania wzorców
Specjalność inteligentne aplikacje komputerowe
Jednostka prowadząca Katedra Metod Sztucznej Inteligencji i Matematyki Stosowanej
Nauczyciel odpowiedzialny Przemysław Klęsk <pklesk@wi.zut.edu.pl>
Inni nauczyciele Marcin Korzeń <Marcin.Korzen@zut.edu.pl>
ECTS (planowane) 2,0 ECTS (formy) 2,0
Forma zaliczenia egzamin Język polski
Blok obieralny Grupa obieralna

Formy dydaktyczne

Forma dydaktycznaKODSemestrGodzinyECTSWagaZaliczenie
wykładyW2 15 1,10,57egzamin
laboratoriaL2 15 0,90,43zaliczenie

Wymagania wstępne

KODWymaganie wstępne
W-1matematyka
W-2rachunek prawdopodobieństwa i statystyka
W-3metody optymalizacji
W-4podstawy programowania, znajomosc przynajmniej jednego ze środowisk/jezykw obliczeniowych: Matlab, Mathematica, R, Python
W-5wstęp do sztucznej inteligencji

Cele przedmiotu

KODCel modułu/przedmiotu
C-1Ukształtowanie rozumienia matematycznych elementów teorii uczenia dla zadania rozpoznawania wzorców, ze szczególnym naciskiem na własność zdolności do uogólniania.
C-2Przedstawienie różnych odmian algorytmu SVM i wyjaśnienie jego związków ze zdolnością do uogólaniania.
C-3Przedstawienie problemu rozpoznawania wzorców zależnych od czasu oraz możliwych praktycznych zastosowań (rozpoznawanie dokumentów tekstowych, pisma, głosu, sekwencji video). Przedstawienie algorytmów z dziedziny HMM.

Treści programowe z podziałem na formy zajęć

KODTreść programowaGodziny
laboratoria
T-L-1Metoda SVM, własna implementacja wykorzystująca funkcję quadprog, przekształcenia jądrowe2
T-L-2Metoda SVM biblioteki: LibSVM i LibLINEAR, wykorzystanie w programie Matalb2
T-L-3Analiza danych mikromacierzowych oraz danych tekstowych, sprawozdanie2
T-L-4Ukryte łańcuch markowa, algorytmy Bauma-Welcha oraz Viterbiego, własna implementacja4
T-L-5Ukryte łańcuchy markowa w pakiecie R oraz w pakiecie BNT (Matlab)2
T-L-6Zastosowanie ukrytych łańcuchów Markowa do rozpoznawania autorstwa3
15
wykłady
T-W-1Rozpoznawanie wzorcow jako zadanie klasyfikacji, problem ekstrakcji cech, przykłady2
T-W-2Matematyczne postawienie zadania rozpoznawania wzorców (klasyfikacji) w terminach statystycznej teorii uczenia. Pojęcia: maszyna ucząca się, zbiór funkcji aproksymujących, zbiór funkcji błędu, błąd prawdziwy (zdolność do uogólniania), błąd na próbie, zbieżność jednostajna reguły ERM. Model PAC.2
T-W-3Ograniczenia na błąd prawdziwy i zaawansowane pojęcia w ramach teorii uczenia: shattering, wymiar Vapnika-Chervonenkisa, nierówność Chernoffa (Hoeffdinga), złożoność próbkowa, pokrycia i liczby pokryciowe, złożoność Rademachera.2
T-W-4Algorytm Support Vector Machines. Margines separacji. Różne warianty kryterium optymalizacyjnego SVM: z/bez mnożników Lagrange'a, 'soft-margin'. Przekształcenie jądrowe.4
T-W-5Rozpoznawanie wzorców przebiegających w czasie (temporal pattern recognition). Ukryte Modele Markowa (Hidden Markov Models). Pojęcia: proces stochastyczny, łańcuch stochastyczny, łańcuch stacjonarny, łańcuch markowowski. Przypadkowe błądzenie (problem przejść przez zero). Algorytmy: Forward-Backward, Viterbi'ego, Bauma-Welcha.5
15

Obciążenie pracą studenta - formy aktywności

KODForma aktywnościGodziny
laboratoria
A-L-1Uczestnictwo w zajęciach15
A-L-2Samodzielna praca nad zadaniami programistycznymi i sprawozdaniami8
23
wykłady
A-W-1Samodzielne studiowanie matematycznych aspektów teorii uczenia. Łączenie nierówności probabilistycznych. Analiza wyprowadzeń ograniczeń na błąd prawdziwy.4
A-W-2Analiza pojęcia shattering i przykładów wymiarów VC dla niektórych maszyn uczących się.2
A-W-3SVM - formułowanie i rozwiązywanie przy pomocy komputera (MATLAB, Mathematica) różnych wersji kryterium optymalizacyjnego dla algorytmu SVM. Wyliczanie marginesu separacji. Dobieranie parametru 'soft-margin'.2
A-W-4"Ręczne" (pisemne) śledzenie działania poszczególnych algorytmów w ramamach HMM na małych przykładach.2
A-W-5Udział w wykładzie15
A-W-6Przygotowanie się do kolokwium zaliczeniowego.6
31

Metody nauczania / narzędzia dydaktyczne

KODMetoda nauczania / narzędzie dydaktyczne
M-1wykład informacyjny
M-2wykład problemowy
M-3metody programowane z użyciem komputera

Sposoby oceny

KODSposób oceny
S-1Ocena podsumowująca: Pisemne kolokwium egzaminacyjne.
S-2Ocena formująca: oceny czastkowe z zadan programistycznych oraz sprawozdan
S-3Ocena podsumowująca: Ocena koncowa z laboratorium - srednia z ocen czastkowych (wazona stopniem trudnosci i zlozonosci zadania)

Zamierzone efekty kształcenia - wiedza

Zamierzone efekty kształceniaOdniesienie do efektów kształcenia dla kierunku studiówOdniesienie do efektów zdefiniowanych dla obszaru kształceniaCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
I_2A_D19/06_W01
Rozumie sens zadania pattern recognition oraz temporal pattern recognition. Zna algorytm SVM oraz algorytmy z grupy HMM. Ma znajomość matematycznych aspektów i rezultatów z zakresu statystycznej teorii uczenia.
I_2A_W01, I_2A_W08C-1T-W-2, T-W-3M-1, M-2S-1, S-2

Zamierzone efekty kształcenia - umiejętności

Zamierzone efekty kształceniaOdniesienie do efektów kształcenia dla kierunku studiówOdniesienie do efektów zdefiniowanych dla obszaru kształceniaCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
I_2A_D19/06_U01
Potrafi stosować różne odmiany algorytmu SVM. Potrafi budować modele markowowskie (i stosować algorytmy z zakresu HMM) do rozpoznawania danych ze zmiennością w czasie.
I_2A_U10, I_2A_U09, I_2A_U05, I_2A_U07C-2T-W-4M-1, M-2, M-3S-1, S-2

Kryterium oceny - wiedza

Efekt kształceniaOcenaKryterium oceny
I_2A_D19/06_W01
Rozumie sens zadania pattern recognition oraz temporal pattern recognition. Zna algorytm SVM oraz algorytmy z grupy HMM. Ma znajomość matematycznych aspektów i rezultatów z zakresu statystycznej teorii uczenia.
2,0
3,0Uzyskanie przynajmniej 50% punktów z pisemnego kolokwium zaliczeniowego.
3,5
4,0
4,5
5,0

Kryterium oceny - umiejętności

Efekt kształceniaOcenaKryterium oceny
I_2A_D19/06_U01
Potrafi stosować różne odmiany algorytmu SVM. Potrafi budować modele markowowskie (i stosować algorytmy z zakresu HMM) do rozpoznawania danych ze zmiennością w czasie.
2,0
3,0Uzyskanie przynajmniej 50% punktów z praktycznych zadań laboratoryjnych dotyczących algorytmów z grupy SVM i HMM.
3,5
4,0
4,5
5,0

Literatura podstawowa

  1. J. Koronacki, J. Ćwik, Statystyczne systemy uczące się, WNT, Warszawa, 2005
  2. R. Rabiner, A Tutorial on Hidden Markov Models and Selected Applications in Speech Recognition, IEEE, 1989

Literatura dodatkowa

  1. V. Cherkassky, F. Mulier, Learning from data, Wiley & Sons, 2007
  2. V. Vapnik, Statistical Learning Theory, Wiley & Sons, 1998

Treści programowe - laboratoria

KODTreść programowaGodziny
T-L-1Metoda SVM, własna implementacja wykorzystująca funkcję quadprog, przekształcenia jądrowe2
T-L-2Metoda SVM biblioteki: LibSVM i LibLINEAR, wykorzystanie w programie Matalb2
T-L-3Analiza danych mikromacierzowych oraz danych tekstowych, sprawozdanie2
T-L-4Ukryte łańcuch markowa, algorytmy Bauma-Welcha oraz Viterbiego, własna implementacja4
T-L-5Ukryte łańcuchy markowa w pakiecie R oraz w pakiecie BNT (Matlab)2
T-L-6Zastosowanie ukrytych łańcuchów Markowa do rozpoznawania autorstwa3
15

Treści programowe - wykłady

KODTreść programowaGodziny
T-W-1Rozpoznawanie wzorcow jako zadanie klasyfikacji, problem ekstrakcji cech, przykłady2
T-W-2Matematyczne postawienie zadania rozpoznawania wzorców (klasyfikacji) w terminach statystycznej teorii uczenia. Pojęcia: maszyna ucząca się, zbiór funkcji aproksymujących, zbiór funkcji błędu, błąd prawdziwy (zdolność do uogólniania), błąd na próbie, zbieżność jednostajna reguły ERM. Model PAC.2
T-W-3Ograniczenia na błąd prawdziwy i zaawansowane pojęcia w ramach teorii uczenia: shattering, wymiar Vapnika-Chervonenkisa, nierówność Chernoffa (Hoeffdinga), złożoność próbkowa, pokrycia i liczby pokryciowe, złożoność Rademachera.2
T-W-4Algorytm Support Vector Machines. Margines separacji. Różne warianty kryterium optymalizacyjnego SVM: z/bez mnożników Lagrange'a, 'soft-margin'. Przekształcenie jądrowe.4
T-W-5Rozpoznawanie wzorców przebiegających w czasie (temporal pattern recognition). Ukryte Modele Markowa (Hidden Markov Models). Pojęcia: proces stochastyczny, łańcuch stochastyczny, łańcuch stacjonarny, łańcuch markowowski. Przypadkowe błądzenie (problem przejść przez zero). Algorytmy: Forward-Backward, Viterbi'ego, Bauma-Welcha.5
15

Formy aktywności - laboratoria

KODForma aktywnościGodziny
A-L-1Uczestnictwo w zajęciach15
A-L-2Samodzielna praca nad zadaniami programistycznymi i sprawozdaniami8
23
(*) 1 punkt ECTS, odpowiada około 30 godzinom aktywności studenta

Formy aktywności - wykłady

KODForma aktywnościGodziny
A-W-1Samodzielne studiowanie matematycznych aspektów teorii uczenia. Łączenie nierówności probabilistycznych. Analiza wyprowadzeń ograniczeń na błąd prawdziwy.4
A-W-2Analiza pojęcia shattering i przykładów wymiarów VC dla niektórych maszyn uczących się.2
A-W-3SVM - formułowanie i rozwiązywanie przy pomocy komputera (MATLAB, Mathematica) różnych wersji kryterium optymalizacyjnego dla algorytmu SVM. Wyliczanie marginesu separacji. Dobieranie parametru 'soft-margin'.2
A-W-4"Ręczne" (pisemne) śledzenie działania poszczególnych algorytmów w ramamach HMM na małych przykładach.2
A-W-5Udział w wykładzie15
A-W-6Przygotowanie się do kolokwium zaliczeniowego.6
31
(*) 1 punkt ECTS, odpowiada około 30 godzinom aktywności studenta
PoleKODZnaczenie kodu
Zamierzone efekty kształceniaI_2A_D19/06_W01Rozumie sens zadania pattern recognition oraz temporal pattern recognition. Zna algorytm SVM oraz algorytmy z grupy HMM. Ma znajomość matematycznych aspektów i rezultatów z zakresu statystycznej teorii uczenia.
Odniesienie do efektów kształcenia dla kierunku studiówI_2A_W01Ma poszerzoną i pogłębioną wiedzę w zakresie wybranych działów matematyki teoretycznej oraz matematyki stosowanej
I_2A_W08Ma rozszerzoną wiedzę o podstawowych zadaniach eksploracji i analizy danych zarówno ilościowych jak i jakościowych
Cel przedmiotuC-1Ukształtowanie rozumienia matematycznych elementów teorii uczenia dla zadania rozpoznawania wzorców, ze szczególnym naciskiem na własność zdolności do uogólniania.
Treści programoweT-W-2Matematyczne postawienie zadania rozpoznawania wzorców (klasyfikacji) w terminach statystycznej teorii uczenia. Pojęcia: maszyna ucząca się, zbiór funkcji aproksymujących, zbiór funkcji błędu, błąd prawdziwy (zdolność do uogólniania), błąd na próbie, zbieżność jednostajna reguły ERM. Model PAC.
T-W-3Ograniczenia na błąd prawdziwy i zaawansowane pojęcia w ramach teorii uczenia: shattering, wymiar Vapnika-Chervonenkisa, nierówność Chernoffa (Hoeffdinga), złożoność próbkowa, pokrycia i liczby pokryciowe, złożoność Rademachera.
Metody nauczaniaM-1wykład informacyjny
M-2wykład problemowy
Sposób ocenyS-1Ocena podsumowująca: Pisemne kolokwium egzaminacyjne.
S-2Ocena formująca: oceny czastkowe z zadan programistycznych oraz sprawozdan
Kryteria ocenyOcenaKryterium oceny
2,0
3,0Uzyskanie przynajmniej 50% punktów z pisemnego kolokwium zaliczeniowego.
3,5
4,0
4,5
5,0
PoleKODZnaczenie kodu
Zamierzone efekty kształceniaI_2A_D19/06_U01Potrafi stosować różne odmiany algorytmu SVM. Potrafi budować modele markowowskie (i stosować algorytmy z zakresu HMM) do rozpoznawania danych ze zmiennością w czasie.
Odniesienie do efektów kształcenia dla kierunku studiówI_2A_U10Potrafi wykorzystywać oprogramowanie wspomagające rozwiązywanie wybranych problemów
I_2A_U09Potrafi wydobywać wiedzę zawartą w dużych zbiorach danych
I_2A_U05Potrafi prawidłowo zaplanować, przeprowadzić eksperyment badawczy, dokonać analizy i prezentacji uzyskanych wyników
I_2A_U07Potrafi wykorzystywać poznane metody, techniki i modele do rozwiązywania złożonych problemów
Cel przedmiotuC-2Przedstawienie różnych odmian algorytmu SVM i wyjaśnienie jego związków ze zdolnością do uogólaniania.
Treści programoweT-W-4Algorytm Support Vector Machines. Margines separacji. Różne warianty kryterium optymalizacyjnego SVM: z/bez mnożników Lagrange'a, 'soft-margin'. Przekształcenie jądrowe.
Metody nauczaniaM-1wykład informacyjny
M-2wykład problemowy
M-3metody programowane z użyciem komputera
Sposób ocenyS-1Ocena podsumowująca: Pisemne kolokwium egzaminacyjne.
S-2Ocena formująca: oceny czastkowe z zadan programistycznych oraz sprawozdan
Kryteria ocenyOcenaKryterium oceny
2,0
3,0Uzyskanie przynajmniej 50% punktów z praktycznych zadań laboratoryjnych dotyczących algorytmów z grupy SVM i HMM.
3,5
4,0
4,5
5,0