Wydział Informatyki - Informatyka (N1)
specjalność: Inżynieria aplikacji webowych
Sylabus przedmiotu Przetwarzanie i analiza danych:
Informacje podstawowe
| Kierunek studiów | Informatyka | ||
|---|---|---|---|
| Forma studiów | studia niestacjonarne | Poziom | pierwszego stopnia |
| Tytuł zawodowy absolwenta | inżynier | ||
| Obszary studiów | charakterystyki PRK, kompetencje inżynierskie PRK | ||
| Profil | ogólnoakademicki | ||
| Moduł | — | ||
| Przedmiot | Przetwarzanie i analiza danych | ||
| Specjalność | przedmiot wspólny | ||
| Jednostka prowadząca | Katedra Metod Sztucznej Inteligencji i Matematyki Stosowanej | ||
| Nauczyciel odpowiedzialny | Marcin Korzeń <Marcin.Korzen@zut.edu.pl> | ||
| Inni nauczyciele | Paweł Forczmański <Pawel.Forczmanski@zut.edu.pl>, Przemysław Klęsk <pklesk@wi.zut.edu.pl>, Izabela Rejer <irejer@wi.zut.edu.pl> | ||
| ECTS (planowane) | 6,0 | ECTS (formy) | 6,0 |
| Forma zaliczenia | egzamin | Język | polski |
| Blok obieralny | — | Grupa obieralna | — |
Formy dydaktyczne
Wymagania wstępne
| KOD | Wymaganie wstępne |
|---|---|
| W-1 | Algebra liniowa |
| W-2 | Matematyka stosowana ze statystyką 2 |
| W-3 | Metody numeryczne |
| W-4 | Algorytmy 2 |
Cele przedmiotu
| KOD | Cel modułu/przedmiotu |
|---|---|
| C-1 | Zasadniczym celem przedmiotu jest zaznajomienie studenta z podstawowymi technikami analizy i przetwarzania różnego rodzaju danych. Celem dodatkowym jest zapoznanie praktyczne studenta z wybranym środowiiskiem analizy danych do wyboru rozważane mogą być środowiska analizy danych w językach Python, Matlab lub R. |
Treści programowe z podziałem na formy zajęć
| KOD | Treść programowa | Godziny |
|---|---|---|
| ćwiczenia audytoryjne | ||
| T-A-1 | Przypomnienie wiadomośći z rachunku prewdopodobieństwa: niezależnośc, tw. Bayesa wzór na prawdopodobieństow całkowite. | 1 |
| T-A-2 | Elementarne pojęcia teorii informacji: entorpia, entropia krzyżowa, informacja wzajemna, przyrost informacji, indeks Giniego, nierówność Gibbsa, własności związki z selekcją atrybutów oraz dyskretyzacją. | 2 |
| T-A-3 | Techniki przetwarzania wstępnego, transformacje ortogonalne (PCA, dyskretne przekształcenie Foruriera), zadania | 2 |
| T-A-4 | Zadanie klasyfikacji, miary jakości klasyfikacji, wyznaczanie krzywej ROC, zadania ilustrujące związki pomiędzy miarami jakości, klasyfikacja bezregułowa | 2 |
| T-A-5 | Zadanie klasteryzacji, metryki geometryczne oraz miary podobieństwa pomiędzy skupieniami, grupowanie hierarchiczne, algorytm k-środków, zadania powiązane z analizą i działaniem algorytmów grupujących. | 2 |
| T-A-6 | Kolokwium podsumowujące | 1 |
| 10 | ||
| laboratoria | ||
| T-L-1 | Wprowadzenie do środowiska obliczeniowego (Python (numpy, scipy, matplotlib, pandas, sklearn), Matlab (Statistical Toolbox), lub R) oraz wczytywanie danych w róznych formatach. | 1 |
| T-L-2 | Metody preprocesingu normalizacja, binaryzacja, atrybutów, selekcja zmiennych | 1 |
| T-L-3 | Transformacje ortogonalne oraz analiza składowych głównych, zastosowanie do ekstrakcji cech oraz wizualizacji danych | 2 |
| T-L-4 | Wygładzanie danych, interpolacja, jądrowe estymatory funkcji gęstości. | 2 |
| T-L-5 | Medody klasyfikacji implementacja wybranej metody (liniowy SVM, regresja logistyczna drzewo decyzyjne lub k-nn) oraz porównaie własnej implementacji z metodami wbudowanym w pakiet scikit-klearn. | 2 |
| T-L-6 | Przegląd metod klasyfikacyjnych oraz ocena jakiości i czasu działania wybranych metod. | 1 |
| T-L-7 | Klasyfikacja wielkolasowa różne strategie: 1:1 1:pozostali, | 1 |
| T-L-8 | Regresja zwykłą i odporna zagadnienie selekcji zmiennych w modelu liniowym. | 2 |
| T-L-9 | Grupowanie danych implementacja algorytmu k-środków. Analiza działania algorytmu, zastosowanie do kwantyzacji wektorowej. | 2 |
| T-L-10 | Gurpowanie hierarchiczne, dendorogram porównanie metod grupowania danych. Dobór liczby skupień, miary AIC oraz BIC. | 2 |
| 16 | ||
| wykłady | ||
| T-W-1 | Modele danych oraz i różne rodzaje danych, rodzaje atrybutów, skale pomiarowe, Dane numeryczne, tabelaryczne, ramki danych, dane tekstowe, obrazy, dźwięki, szeregi czasowe, Załażenia odnośnie danych, i.i.d stacjonarność. | 2 |
| T-W-2 | Techniki przetwarzania wstępnego (binaryzacja, normalizacje, skalowanie, braki w danych), Metody selekcji zmiennych oraz ogólne metody ekstrakcji cech z danych, transformacje ortogonalne danych: transformacja Fouriera, transformacja cosinusowa, PCA, techniki wizualizacji danych. | 2 |
| T-W-3 | Duże małe, zbiory danych (big data), zagadnienia związane z przetwarzaniem dużych zbiorów danych (np. zarządzanie pamięcią, paradygmat map-reduce) | 1 |
| T-W-4 | Zadania analizy danych (wygładzanie danych, identyfikacja rozkładu, klasyfikacja, regresja, klasteryzacja, wykrywanie zależności, wykrywanie obserwacji odstających, analiza szeregów czasowych), Komponenty typowego zadania analizy danych jak: wybór modelu, funkcja uczące, ocena jakości modelu, sposób zarządzania danymi. Paradygmaty uczenia maszynowego (nadzorowane, nienadzorowane, półnadzorowane, ze wzmocnieniem) | 2 |
| T-W-5 | Histogramy, techniki wygładzania danych, Jądrowe metody estymacji funkcji gęstości, estymator Parzena | 1 |
| T-W-6 | Metody oceny dokładności modeli (próba ucząca, walidująca, testowa, krosswalidacja, bootstap), miary oceny jakości modeli klasyfikacyjnych (dokładnosć, czułość, precyzja, F1, krzywa ROC, AUC), regresyjnych (MAE, MSE), funkcja wiarygodności, wiarygodność modelu | 2 |
| T-W-7 | Podstawowe modele klasyfikacyjne: klasyfikatory liniowe (lda, regresja logistyczna, liniowy SVM), k-nn, drzewa decyzyjne; Klasyfikacja wieloklasowa. | 2 |
| T-W-8 | Zadanie regresji, modele regresyjne: regresja liniowa, regresja odporna liniowa, regresje lokalne, regularyzacja modelu. | 2 |
| T-W-9 | Techniki grupowania danych, kwantowanie wektorowe, metryki, miary oceny podobieństwa obiektów i skupień, metoda k-środków, metody hierarchiczne (Warda, najbliżeszego sąsiedztwa), Algorytm EM. | 2 |
| T-W-10 | Zaliczenie wykładu | 2 |
| 18 | ||
Obciążenie pracą studenta - formy aktywności
| KOD | Forma aktywności | Godziny |
|---|---|---|
| ćwiczenia audytoryjne | ||
| A-A-1 | Uczestnictwo w zajęciach. | 10 |
| A-A-2 | Praca własna | 15 |
| 25 | ||
| laboratoria | ||
| A-L-1 | Uczestnictwo w zajęciach | 16 |
| A-L-2 | Praca własna | 34 |
| 50 | ||
| wykłady | ||
| A-W-1 | Uczestnictwo w wykładach | 18 |
| A-W-2 | Praca własna | 53 |
| A-W-3 | Konsultacje | 2 |
| A-W-4 | Egzamin | 2 |
| 75 | ||
Metody nauczania / narzędzia dydaktyczne
| KOD | Metoda nauczania / narzędzie dydaktyczne |
|---|---|
| M-1 | Wykład informacyjny i problemowy |
| M-2 | Ćwiczenia przedmiotowe |
Sposoby oceny
| KOD | Sposób oceny |
|---|---|
| S-1 | Ocena formująca: Ćwiczenia: ocena z kolokwium podsumowującego, ocena pracy na zajęciach Laboratorium: oceny ze sprawozdań, ocena pracy na zajęciach |
| S-2 | Ocena podsumowująca: Wykład: ocena z egzaminu Ćwiczenia: wypadkowa z ocen cząstkowych Laboratoria: wypadkowa z ocen cząstkowych |
Zamierzone efekty uczenia się - wiedza
| Zamierzone efekty uczenia się | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Odniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżyniera | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|---|
| Itest_1A_C14_W01 Student zna postawowe pojęcia związane z analizą i przetwarzaniem danych, zna i rozróżnia podstawowe zagadnienia, metody i narzedzia analizy danych. | I_1A_W02, I_1A_W05 | — | — | C-1 | T-W-2, T-W-1, T-W-3, T-W-8, T-W-5, T-W-6, T-W-9, T-W-7, T-W-4 | M-1 | S-2 |
Zamierzone efekty uczenia się - umiejętności
| Zamierzone efekty uczenia się | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Odniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżyniera | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
|---|---|---|---|---|---|---|---|
| Itest_1A_C14_U01 Student umie rozpoznawać typy zadań analizy i przetwarzania danych,umie wybrać odpowiednie metody i stosować wybrane narzędzia przy rozwiązywaniu zagadnień związanych z analizą i przetwarzaniem danych. | I_1A_U04, I_1A_U05, I_1A_U06, I_1A_U08, I_1A_U09 | — | — | C-1 | T-A-1, T-A-3, T-A-4, T-A-2, T-A-5, T-L-9, T-L-1, T-L-10, T-L-2, T-L-6, T-L-3, T-L-5, T-L-7, T-L-8, T-L-4 | M-2 | S-1, S-2 |
Kryterium oceny - wiedza
| Efekt uczenia się | Ocena | Kryterium oceny |
|---|---|---|
| Itest_1A_C14_W01 Student zna postawowe pojęcia związane z analizą i przetwarzaniem danych, zna i rozróżnia podstawowe zagadnienia, metody i narzedzia analizy danych. | 2,0 | Uzyskanie z zaliczenia 50% punktów lub poniżej |
| 3,0 | Uzyskanie z zaliczenia powyżej 50% punktów | |
| 3,5 | Uzyskanie z zaliczenia 60%-70% punktów | |
| 4,0 | Uzyskanie z zaliczenia 70%-80% punktów | |
| 4,5 | Uzyskanie z zaliczenia 80%-90% punktów | |
| 5,0 | Uzyskanie z zaliczenia 90%-100% punktów |
Kryterium oceny - umiejętności
| Efekt uczenia się | Ocena | Kryterium oceny |
|---|---|---|
| Itest_1A_C14_U01 Student umie rozpoznawać typy zadań analizy i przetwarzania danych,umie wybrać odpowiednie metody i stosować wybrane narzędzia przy rozwiązywaniu zagadnień związanych z analizą i przetwarzaniem danych. | 2,0 | Uzyskanie z zaliczenia minie lub rowno 50% punktów |
| 3,0 | Uzyskanie z zaliczenia powyżej 50% punktów | |
| 3,5 | Uzyskanie z zaliczenia 60%-70% punktów | |
| 4,0 | Uzyskanie z zaliczenia 70%-80% punktów | |
| 4,5 | Uzyskanie z zaliczenia 80%-90% punktów | |
| 5,0 | Uzyskanie z zaliczenia 90%-100% punktów |
Literatura podstawowa
- J. Ćwik, J. Koronacki, Statystyczne systemy uczące się, PWN, Warszawa, 2013