Zachodniopomorski Uniwersytet Technologiczny w Szczecinie

Wydział Informatyki - Informatyka (N2)

Sylabus przedmiotu Duże zbiory danych:

Informacje podstawowe

Kierunek studiów Informatyka
Forma studiów studia niestacjonarne Poziom drugiego stopnia
Tytuł zawodowy absolwenta magister inżynier
Obszary studiów charakterystyki PRK, kompetencje inżynierskie PRK
Profil ogólnoakademicki
Moduł
Przedmiot Duże zbiory danych
Specjalność przedmiot wspólny
Jednostka prowadząca Katedra Inżynierii Systemów Informacyjnych
Nauczyciel odpowiedzialny Jarosław Jankowski <Jaroslaw.Jankowski@zut.edu.pl>
Inni nauczyciele Przemysław Korytkowski <Przemyslaw.Korytkowski@zut.edu.pl>, Bartłomiej Małachowski <Bartlomiej.Malachowski@zut.edu.pl>
ECTS (planowane) 4,0 ECTS (formy) 4,0
Forma zaliczenia egzamin Język polski
Blok obieralny Grupa obieralna

Formy dydaktyczne

Forma dydaktycznaKODSemestrGodzinyECTSWagaZaliczenie
laboratoriaL1 18 2,00,50zaliczenie
wykładyW1 18 2,00,50egzamin

Wymagania wstępne

KODWymaganie wstępne
W-1Podstawy wykorzystywania, administrowania i projektowania baz danych
W-2Podstawy programowania

Cele przedmiotu

KODCel modułu/przedmiotu
C-1Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych
C-2Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych
C-3Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych

Treści programowe z podziałem na formy zajęć

KODTreść programowaGodziny
laboratoria
T-L-1ETL2
T-L-2Redukowanie i próbkowanie danych2
T-L-3Rozproszone bazy relacyjne2
T-L-4HDFS i YARN2
T-L-5Bazy grafowe2
T-L-6Paradygmat Map-reduce2
T-L-7Apache Hive2
T-L-8Apache HBase2
T-L-9Apache Spark2
18
wykłady
T-W-1Wprowadzenie do dużych zbiorów danych: źródła dyskretne i ciągłe (streaming), wstępne przetwarzanie, czyszczenie2
T-W-2Redukowanie i próbkowanie danych2
T-W-3Extract, Transform and Load (ETL)2
T-W-4Przechowywanie dużych danych: rozproszone bazy relacyjne (2h), Apache Hadoop: HDFS i YARN (4h), bazy grafowe (2h)4
T-W-5Paradygmat Map-reduce2
T-W-6Apache Hive2
T-W-7Apache HBase2
T-W-8Apache Spark2
18

Obciążenie pracą studenta - formy aktywności

KODForma aktywnościGodziny
laboratoria
A-L-1uczestnictwo w zajęciach18
A-L-2Przygotowanie do zajęć laboratoryjnych15
A-L-3Opracowanie wyników zadań laboratoryjnych, opracowanie sprawozdań15
A-L-4konsultacje2
50
wykłady
A-W-1uczestnictwo w zajęciach18
A-W-2Uczestnictwo w egzaminie2
A-W-3Przygotowanie do egzaminu12
A-W-4Analiza literatury i materiałów z wykładów18
50

Metody nauczania / narzędzia dydaktyczne

KODMetoda nauczania / narzędzie dydaktyczne
M-1Wykład z prezentacją
M-2Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera

Sposoby oceny

KODSposób oceny
S-1Ocena formująca: Ocena zadań zrealizowanych na laboratoriach
S-2Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego

Zamierzone efekty uczenia się - wiedza

Zamierzone efekty uczenia sięOdniesienie do efektów kształcenia dla kierunku studiówOdniesienie do efektów zdefiniowanych dla obszaru kształceniaOdniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżynieraCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
I_2A_C02_W01
Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych
I_2A_W04C-2, C-1, C-3T-L-6, T-L-8, T-L-9, T-L-1, T-W-8, T-W-5, T-L-3, T-W-1, T-W-2, T-W-6, T-L-5, T-L-7, T-L-2, T-L-4, T-W-3, T-W-7, T-W-4M-1, M-2S-1, S-2

Zamierzone efekty uczenia się - umiejętności

Zamierzone efekty uczenia sięOdniesienie do efektów kształcenia dla kierunku studiówOdniesienie do efektów zdefiniowanych dla obszaru kształceniaOdniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżynieraCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
I_2A_C02_U01
Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych
I_2A_U04C-2, C-1, C-3T-W-2, T-L-3, T-W-4, T-L-8, T-W-8, T-L-6, T-L-4, T-W-5, T-W-1, T-W-3, T-L-9, T-L-2, T-L-7, T-L-5, T-W-7, T-L-1, T-W-6M-2S-1, S-2

Zamierzone efekty uczenia się - inne kompetencje społeczne i personalne

Zamierzone efekty uczenia sięOdniesienie do efektów kształcenia dla kierunku studiówOdniesienie do efektów zdefiniowanych dla obszaru kształceniaOdniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżynieraCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
I_2A_C02_K01
Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego.
I_2A_K02, I_2A_K03, I_2A_K05C-1, C-3, C-2T-W-1, T-W-3, T-L-4, T-L-8, T-L-9, T-L-1, T-W-4, T-W-6, T-W-5, T-W-2, T-L-5, T-W-7, T-L-2, T-L-6, T-W-8, T-L-7, T-L-3M-2, M-1S-1, S-2

Kryterium oceny - wiedza

Efekt uczenia sięOcenaKryterium oceny
I_2A_C02_W01
Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych
2,0Student nie opanował materiału w stopniu dostatecznym.
3,0Student opanował materiał przedmiotu w stopniu podstawowym, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi.
3,5Student opanował materiał przedmiotu w stopniu ponad podstawowoym, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi.
4,0Student opanował materiał przedmiotu w stopniu dobry, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi oraz rozumie używane w nich algorytmy
4,5Student opanował materiał przedmiotu w stopniu ponad dobry, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i wie jak je dobrać w zależności od zdefiniowanego problemu
5,0Student opanował materiał przedmiotu w stopniu bardzo dobrym, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i bardzo dobrze wie jak je dobrać w zależności od zdefiniowanego problemu

Kryterium oceny - umiejętności

Efekt uczenia sięOcenaKryterium oceny
I_2A_C02_U01
Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych
2,0Student nie opanował materiału w stopniu dostatecznym
3,0Student opanował materiał przedmiotu w stopniu dostatecznym, rozróżnia podstawowe zdania i umie je częsciowo rozwiązywać za pomocą dostęnych narzędzi.
3,5Student opanował materiał przedmiotu w stopniu więcej niż dostatecznym, rozróżnia podstawowe zdania i umie je rozwiązywać za pomocą dostęnych narzędzi.
4,0Student opanował materiał przedmiotu w stopniu dobrym, rozróżnia podstawowe zdania i umie je prawidłowo rozwiązywać za pomocą dostęnych narzędzi.
4,5Student opanował materiał przedmiotu w stopniu więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych i dobrać do niego metodę.
5,0Student opanował materiał przedmiotu w więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych oraz dobrać i uzasadnić metodę roziwiązania problemu.

Kryterium oceny - inne kompetencje społeczne i personalne

Efekt uczenia sięOcenaKryterium oceny
I_2A_C02_K01
Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego.
2,0
3,0Student aktywnie rozwiązuje postawione problemy wykazując samodzielność w doborze odpowiednich środków technicznych i metod inżynierskich
3,5
4,0
4,5
5,0

Literatura podstawowa

  1. White T., Hadoop. Komplety przewodnik. Analiza i przechowywanie danych, Halion, Gliwice, 2015, Wyd. 4

Treści programowe - laboratoria

KODTreść programowaGodziny
T-L-1ETL2
T-L-2Redukowanie i próbkowanie danych2
T-L-3Rozproszone bazy relacyjne2
T-L-4HDFS i YARN2
T-L-5Bazy grafowe2
T-L-6Paradygmat Map-reduce2
T-L-7Apache Hive2
T-L-8Apache HBase2
T-L-9Apache Spark2
18

Treści programowe - wykłady

KODTreść programowaGodziny
T-W-1Wprowadzenie do dużych zbiorów danych: źródła dyskretne i ciągłe (streaming), wstępne przetwarzanie, czyszczenie2
T-W-2Redukowanie i próbkowanie danych2
T-W-3Extract, Transform and Load (ETL)2
T-W-4Przechowywanie dużych danych: rozproszone bazy relacyjne (2h), Apache Hadoop: HDFS i YARN (4h), bazy grafowe (2h)4
T-W-5Paradygmat Map-reduce2
T-W-6Apache Hive2
T-W-7Apache HBase2
T-W-8Apache Spark2
18

Formy aktywności - laboratoria

KODForma aktywnościGodziny
A-L-1uczestnictwo w zajęciach18
A-L-2Przygotowanie do zajęć laboratoryjnych15
A-L-3Opracowanie wyników zadań laboratoryjnych, opracowanie sprawozdań15
A-L-4konsultacje2
50
(*) 1 punkt ECTS, odpowiada około 30 godzinom aktywności studenta

Formy aktywności - wykłady

KODForma aktywnościGodziny
A-W-1uczestnictwo w zajęciach18
A-W-2Uczestnictwo w egzaminie2
A-W-3Przygotowanie do egzaminu12
A-W-4Analiza literatury i materiałów z wykładów18
50
(*) 1 punkt ECTS, odpowiada około 30 godzinom aktywności studenta
PoleKODZnaczenie kodu
Zamierzone efekty uczenia sięI_2A_C02_W01Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych
Odniesienie do efektów kształcenia dla kierunku studiówI_2A_W04Ma rozszerzoną wiedzę o problemach, zadaniach i algorytmach analizy, przetwarzania oraz eksploracji danych
Cel przedmiotuC-2Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych
C-1Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych
C-3Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych
Treści programoweT-L-6Paradygmat Map-reduce
T-L-8Apache HBase
T-L-9Apache Spark
T-L-1ETL
T-W-8Apache Spark
T-W-5Paradygmat Map-reduce
T-L-3Rozproszone bazy relacyjne
T-W-1Wprowadzenie do dużych zbiorów danych: źródła dyskretne i ciągłe (streaming), wstępne przetwarzanie, czyszczenie
T-W-2Redukowanie i próbkowanie danych
T-W-6Apache Hive
T-L-5Bazy grafowe
T-L-7Apache Hive
T-L-2Redukowanie i próbkowanie danych
T-L-4HDFS i YARN
T-W-3Extract, Transform and Load (ETL)
T-W-7Apache HBase
T-W-4Przechowywanie dużych danych: rozproszone bazy relacyjne (2h), Apache Hadoop: HDFS i YARN (4h), bazy grafowe (2h)
Metody nauczaniaM-1Wykład z prezentacją
M-2Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera
Sposób ocenyS-1Ocena formująca: Ocena zadań zrealizowanych na laboratoriach
S-2Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego
Kryteria ocenyOcenaKryterium oceny
2,0Student nie opanował materiału w stopniu dostatecznym.
3,0Student opanował materiał przedmiotu w stopniu podstawowym, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi.
3,5Student opanował materiał przedmiotu w stopniu ponad podstawowoym, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi.
4,0Student opanował materiał przedmiotu w stopniu dobry, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi oraz rozumie używane w nich algorytmy
4,5Student opanował materiał przedmiotu w stopniu ponad dobry, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i wie jak je dobrać w zależności od zdefiniowanego problemu
5,0Student opanował materiał przedmiotu w stopniu bardzo dobrym, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i bardzo dobrze wie jak je dobrać w zależności od zdefiniowanego problemu
PoleKODZnaczenie kodu
Zamierzone efekty uczenia sięI_2A_C02_U01Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych
Odniesienie do efektów kształcenia dla kierunku studiówI_2A_U04Potrafi wykorzystywać poznane metody, techniki i modele do rozwiązywania złożonych problemów
Cel przedmiotuC-2Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych
C-1Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych
C-3Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych
Treści programoweT-W-2Redukowanie i próbkowanie danych
T-L-3Rozproszone bazy relacyjne
T-W-4Przechowywanie dużych danych: rozproszone bazy relacyjne (2h), Apache Hadoop: HDFS i YARN (4h), bazy grafowe (2h)
T-L-8Apache HBase
T-W-8Apache Spark
T-L-6Paradygmat Map-reduce
T-L-4HDFS i YARN
T-W-5Paradygmat Map-reduce
T-W-1Wprowadzenie do dużych zbiorów danych: źródła dyskretne i ciągłe (streaming), wstępne przetwarzanie, czyszczenie
T-W-3Extract, Transform and Load (ETL)
T-L-9Apache Spark
T-L-2Redukowanie i próbkowanie danych
T-L-7Apache Hive
T-L-5Bazy grafowe
T-W-7Apache HBase
T-L-1ETL
T-W-6Apache Hive
Metody nauczaniaM-2Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera
Sposób ocenyS-1Ocena formująca: Ocena zadań zrealizowanych na laboratoriach
S-2Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego
Kryteria ocenyOcenaKryterium oceny
2,0Student nie opanował materiału w stopniu dostatecznym
3,0Student opanował materiał przedmiotu w stopniu dostatecznym, rozróżnia podstawowe zdania i umie je częsciowo rozwiązywać za pomocą dostęnych narzędzi.
3,5Student opanował materiał przedmiotu w stopniu więcej niż dostatecznym, rozróżnia podstawowe zdania i umie je rozwiązywać za pomocą dostęnych narzędzi.
4,0Student opanował materiał przedmiotu w stopniu dobrym, rozróżnia podstawowe zdania i umie je prawidłowo rozwiązywać za pomocą dostęnych narzędzi.
4,5Student opanował materiał przedmiotu w stopniu więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych i dobrać do niego metodę.
5,0Student opanował materiał przedmiotu w więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych oraz dobrać i uzasadnić metodę roziwiązania problemu.
PoleKODZnaczenie kodu
Zamierzone efekty uczenia sięI_2A_C02_K01Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego.
Odniesienie do efektów kształcenia dla kierunku studiówI_2A_K02Ma świadomość znaczenia aktualności wiedzy w rozwiązywaniu problemów, jest zdeterminowany do osiągania założonych celów, a w przypadku trudności w ich osiąganiu potrafi korzystać z pomocy ekspertów
I_2A_K03Jest gotów do aktywnego przekazywania społeczeństwu informacji na temat bieżącego stanu wiedzy w zakresie informatyki oraz podejmowania działań na rzecz rozwoju środowiska społecznego
I_2A_K05Jest gotów do pełnienia różnych ról zawodowych, ma świadomość odpowiedzialności za kierowany zespół oraz wspólnie realizowane zadania, świadomie stosuje przepisy prawa dotyczące własności intelektualnej i przestrzega zasad etyki zawodowej
Cel przedmiotuC-1Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych
C-3Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych
C-2Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych
Treści programoweT-W-1Wprowadzenie do dużych zbiorów danych: źródła dyskretne i ciągłe (streaming), wstępne przetwarzanie, czyszczenie
T-W-3Extract, Transform and Load (ETL)
T-L-4HDFS i YARN
T-L-8Apache HBase
T-L-9Apache Spark
T-L-1ETL
T-W-4Przechowywanie dużych danych: rozproszone bazy relacyjne (2h), Apache Hadoop: HDFS i YARN (4h), bazy grafowe (2h)
T-W-6Apache Hive
T-W-5Paradygmat Map-reduce
T-W-2Redukowanie i próbkowanie danych
T-L-5Bazy grafowe
T-W-7Apache HBase
T-L-2Redukowanie i próbkowanie danych
T-L-6Paradygmat Map-reduce
T-W-8Apache Spark
T-L-7Apache Hive
T-L-3Rozproszone bazy relacyjne
Metody nauczaniaM-2Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera
M-1Wykład z prezentacją
Sposób ocenyS-1Ocena formująca: Ocena zadań zrealizowanych na laboratoriach
S-2Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego
Kryteria ocenyOcenaKryterium oceny
2,0
3,0Student aktywnie rozwiązuje postawione problemy wykazując samodzielność w doborze odpowiednich środków technicznych i metod inżynierskich
3,5
4,0
4,5
5,0