Wydział Informatyki - Informatyka (N2)
specjalność: Systemy komputerowe zorientowane na człowieka
Sylabus przedmiotu Duże zbiory danych:
Informacje podstawowe
Kierunek studiów | Informatyka | ||
---|---|---|---|
Forma studiów | studia niestacjonarne | Poziom | drugiego stopnia |
Tytuł zawodowy absolwenta | magister inżynier | ||
Obszary studiów | charakterystyki PRK, kompetencje inżynierskie PRK | ||
Profil | ogólnoakademicki | ||
Moduł | — | ||
Przedmiot | Duże zbiory danych | ||
Specjalność | przedmiot wspólny | ||
Jednostka prowadząca | Katedra Inżynierii Systemów Informacyjnych | ||
Nauczyciel odpowiedzialny | Przemysław Korytkowski <Przemyslaw.Korytkowski@zut.edu.pl> | ||
Inni nauczyciele | Przemysław Korytkowski <Przemyslaw.Korytkowski@zut.edu.pl>, Bartłomiej Małachowski <Bartlomiej.Malachowski@zut.edu.pl> | ||
ECTS (planowane) | 4,0 | ECTS (formy) | 4,0 |
Forma zaliczenia | egzamin | Język | polski |
Blok obieralny | — | Grupa obieralna | — |
Formy dydaktyczne
Wymagania wstępne
KOD | Wymaganie wstępne |
---|---|
W-1 | Podstawy wykorzystywania, administrowania i projektowania baz danych |
W-2 | Podstawy programowania |
Cele przedmiotu
KOD | Cel modułu/przedmiotu |
---|---|
C-1 | Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych |
C-2 | Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych |
C-3 | Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych |
Treści programowe z podziałem na formy zajęć
KOD | Treść programowa | Godziny |
---|---|---|
laboratoria | ||
T-L-1 | Apache Hadoop Disctributed File System | 2 |
T-L-2 | Apache Hive | 2 |
T-L-3 | Apache Sqoop | 2 |
T-L-4 | Przetwarzanie danych w Spark z użyciem RDD API | 3 |
T-L-5 | Przetwarzanie danych w Spark z użyciem Dataframe API | 2 |
T-L-6 | Budowa systemu rekomendujcego z użyciem Apache Spark MLlib | 1 |
T-L-7 | Apache Spark GraphX: zastosowanie algorytmu PageRank i modeli grafowych | 1 |
T-L-8 | Przetwarzanie strumieniowe w Apache spark | 2 |
T-L-9 | Grafowe bazy danych do przetwarzania dużych zbiorów danych (środowisko Neptune lub Giraph), indeksacja i optymalziacja zapytań do grafowych baz danych | 3 |
18 | ||
wykłady | ||
T-W-1 | Wprowadzenie do dużych zbiorów danych | 2 |
T-W-2 | Środowisko Apache Hadoop: HDFS, YARN i MapReduce | 2 |
T-W-3 | Bazy danych w Apache Hadoop: Hive, Sqoop | 1 |
T-W-4 | Bazy danych w Apache Hadoop: HBase, Phoenix | 1 |
T-W-5 | Bezpieczeństwo w Apache Hadoop: Ranger, Knox | 1 |
T-W-6 | Administracja klastrem Apache Hadoop: Zookeeper | 1 |
T-W-7 | Wprowadzenie do apache Spark, przegląd dostępnych metod transformacji danych | 1 |
T-W-8 | Moduł Apache Spark SQL - przegląd możliwości, metody reprezentacji i manipulacji danych | 1 |
T-W-9 | Metody uczenia maszynowego w Apache Spark | 1 |
T-W-10 | Moduł apache Spark GraphX - reprezentacja danych grafowych, przegląd możliwości, przykłady zastosowań | 1 |
T-W-11 | Strumieniowe przetwarzanie danych w Apache Spark | 2 |
T-W-12 | Apache Kafka - założenia, możliwości. przykłady zastosowań w kontekście BigData | 1 |
T-W-13 | Metody reprezentacji i próbkowania dużych zbiorow danych o strukturze grafowej | 1 |
T-W-14 | Grafowe bazy danych do przetwarzania dużych zbiorów danych, metody indeksacji i optymalizacji zapytań do grafowych baz danych | 2 |
18 |
Obciążenie pracą studenta - formy aktywności
KOD | Forma aktywności | Godziny |
---|---|---|
laboratoria | ||
A-L-1 | uczestnictwo w zajęciach | 30 |
A-L-2 | Przygotowanie do zajęć laboratoryjnych | 10 |
A-L-3 | Opracowanie wyników zadań laboratoryjnych, opracowanie sprawozdań | 10 |
50 | ||
wykłady | ||
A-W-1 | Uczestnictwo w zajęciach | 30 |
A-W-2 | Uczestnictwo w egzaminie | 2 |
A-W-3 | Przygotowanie do egzaminu | 10 |
A-W-4 | Analiza literatury i materiałów z wykładów | 8 |
50 |
Metody nauczania / narzędzia dydaktyczne
KOD | Metoda nauczania / narzędzie dydaktyczne |
---|---|
M-1 | Wykład z prezentacją |
M-2 | Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera |
Sposoby oceny
KOD | Sposób oceny |
---|---|
S-1 | Ocena formująca: Ocena zadań zrealizowanych na laboratoriach |
S-2 | Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego |
Zamierzone efekty uczenia się - wiedza
Zamierzone efekty uczenia się | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Odniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżyniera | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
---|---|---|---|---|---|---|---|
I_2A_C02_W01 Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych | I_2A_W04 | — | — | C-1, C-2, C-3 | T-W-1, T-W-2, T-W-3, T-W-4, T-W-6 | M-1, M-2 | S-2 |
Zamierzone efekty uczenia się - umiejętności
Zamierzone efekty uczenia się | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Odniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżyniera | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
---|---|---|---|---|---|---|---|
I_2A_C02_U01 Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych | I_2A_U04 | — | — | C-1, C-2, C-3 | T-L-1, T-L-2, T-L-3, T-L-4, T-L-5, T-L-6, T-L-7, T-L-8, T-L-9, T-W-5, T-W-6, T-W-7, T-W-8 | M-1, M-2 | S-1, S-2 |
Zamierzone efekty uczenia się - inne kompetencje społeczne i personalne
Zamierzone efekty uczenia się | Odniesienie do efektów kształcenia dla kierunku studiów | Odniesienie do efektów zdefiniowanych dla obszaru kształcenia | Odniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżyniera | Cel przedmiotu | Treści programowe | Metody nauczania | Sposób oceny |
---|---|---|---|---|---|---|---|
I_2A_C02_K01 Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego. | I_2A_K02, I_2A_K03 | — | — | C-1, C-2, C-3 | T-L-1, T-L-2, T-L-3, T-L-4, T-L-5, T-L-6, T-L-7, T-L-8, T-L-9, T-W-1, T-W-2, T-W-3, T-W-4, T-W-5, T-W-6, T-W-7, T-W-8 | M-1, M-2 | S-1, S-2 |
Kryterium oceny - wiedza
Efekt uczenia się | Ocena | Kryterium oceny |
---|---|---|
I_2A_C02_W01 Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych | 2,0 | Student nie opanował materiału w stopniu dostatecznym. |
3,0 | Student opanował materiał przedmiotu w stopniu podstawowym, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi. | |
3,5 | Student opanował materiał przedmiotu w stopniu ponad podstawowoym,rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi. | |
4,0 | Student opanował materiał przedmiotu w stopniu dobry, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi oraz rozumie używane w nich algorytmy | |
4,5 | Student opanował materiał przedmiotu w stopniu ponad dobry, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i wie jak je dobrać w zależności od zdefiniowanego problemu | |
5,0 | Student opanował materiał przedmiotu w stopniu bardzo dobrym, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i bardzo dobrze wie jak je dobrać w zależności od zdefiniowanego problemu |
Kryterium oceny - umiejętności
Efekt uczenia się | Ocena | Kryterium oceny |
---|---|---|
I_2A_C02_U01 Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych | 2,0 | Student nie opanował materiału w stopniu dostatecznym |
3,0 | Student opanował materiał przedmiotu w stopniu dostatecznym, rozróżnia podstawowe zdania i umie je częsciowo rozwiązywać za pomocą dostęnych narzędzi. | |
3,5 | Student opanował materiał przedmiotu w stopniu więcej niż dostatecznym, rozróżnia podstawowe zdania i umie je rozwiązywać za pomocą dostęnych narzędzi. | |
4,0 | Student opanował materiał przedmiotu w stopniu dobrym, rozróżnia podstawowe zdania i umie je prawidłowo rozwiązywać za pomocą dostęnych narzędzi. | |
4,5 | Student opanował materiał przedmiotu w stopniu więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych i dobrać do niego metodę. | |
5,0 | Student opanował materiał przedmiotu w więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych oraz dobrać i uzasadnić metodę roziwiązania problemu. |
Kryterium oceny - inne kompetencje społeczne i personalne
Efekt uczenia się | Ocena | Kryterium oceny |
---|---|---|
I_2A_C02_K01 Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego. | 2,0 | |
3,0 | Student aktywnie rozwiązuje postawione problemy wykazując samodzielność w doborze odpowiednich środków technicznych i metod inżynierskich | |
3,5 | ||
4,0 | ||
4,5 | ||
5,0 |
Literatura podstawowa
- White T., Hadoop. Komplety przewodnik. Analiza i przechowywanie danych, Halion, Gliwice, 2015, Wyd. 4
- Kunigk, Buss, Wilkinson, Architecting Modern Data Platforms: a Guide to Enterprise Hadoop at Scale, O'Reilly, 2019
- Ryza, Laserson, Owen, Willis, Spark. Zaawansowana analiza danych, Helion, Gliwice, 2015
- Damij, wenig, Tathagata, Learning Spark, O'Reilly, 2020
- Robinson, Webber, Eifrem, Graph databases: new opportunities for cennected data, O'Reilly, 2015