Zachodniopomorski Uniwersytet Technologiczny w Szczecinie

Wydział Informatyki - Informatyka (S2)

Sylabus przedmiotu Duże zbiory danych:

Informacje podstawowe

Kierunek studiów Informatyka
Forma studiów studia stacjonarne Poziom drugiego stopnia
Tytuł zawodowy absolwenta magister inżynier
Obszary studiów charakterystyki PRK, kompetencje inżynierskie PRK
Profil ogólnoakademicki
Moduł
Przedmiot Duże zbiory danych
Specjalność przedmiot wspólny
Jednostka prowadząca Katedra Inżynierii Systemów Informacyjnych
Nauczyciel odpowiedzialny Jarosław Jankowski <Jaroslaw.Jankowski@zut.edu.pl>
Inni nauczyciele Przemysław Korytkowski <Przemyslaw.Korytkowski@zut.edu.pl>, Bartłomiej Małachowski <Bartlomiej.Malachowski@zut.edu.pl>
ECTS (planowane) 4,0 ECTS (formy) 4,0
Forma zaliczenia egzamin Język polski
Blok obieralny Grupa obieralna

Formy dydaktyczne

Forma dydaktycznaKODSemestrGodzinyECTSWagaZaliczenie
wykładyW1 30 2,00,50egzamin
laboratoriaL1 30 2,00,50zaliczenie

Wymagania wstępne

KODWymaganie wstępne
W-1Podstawy wykorzystywania, administrowania i projektowania baz danych
W-2Podstawy programowania

Cele przedmiotu

KODCel modułu/przedmiotu
C-1Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych
C-2Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych
C-3Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych

Treści programowe z podziałem na formy zajęć

KODTreść programowaGodziny
laboratoria
T-L-1ETL2
T-L-2Redukowanie i próbkowanie danych4
T-L-3Rozproszone bazy relacyjne2
T-L-4HDFS i YARN4
T-L-5Bazy grafowe2
T-L-6Paradygmat Map-reduce2
T-L-7Apache Hive4
T-L-8Apache HBase4
T-L-9Apache Spark6
30
wykłady
T-W-1Wprowadzenie do dużych zbiorów danych: źródła dyskretne i ciągłe (streaming), wstępne przetwarzanie, czyszczenie4
T-W-2Redukowanie i próbkowanie danych4
T-W-3Extract, Transform and Load (ETL)2
T-W-4Przechowywanie dużych danych: rozproszone bazy relacyjne (2h), Apache Hadoop: HDFS i YARN (4h), bazy grafowe (2h)8
T-W-5Paradygmat Map-reduce2
T-W-6Apache Hive2
T-W-7Apache HBase4
T-W-8Apache Spark4
30

Obciążenie pracą studenta - formy aktywności

KODForma aktywnościGodziny
laboratoria
A-L-1uczestnictwo w zajęciach30
A-L-2Przygotowanie do zajęć laboratoryjnych10
A-L-3Opracowanie wyników zadań laboratoryjnych, opracowanie sprawozdań10
50
wykłady
A-W-1Uczestnictwo w zajęciach30
A-W-2Uczestnictwo w egzaminie2
A-W-3Przygotowanie do egzaminu10
A-W-4Analiza literatury i materiałów z wykładów8
50

Metody nauczania / narzędzia dydaktyczne

KODMetoda nauczania / narzędzie dydaktyczne
M-1Wykład z prezentacją
M-2Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera

Sposoby oceny

KODSposób oceny
S-1Ocena formująca: Ocena zadań zrealizowanych na laboratoriach
S-2Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego

Zamierzone efekty uczenia się - wiedza

Zamierzone efekty uczenia sięOdniesienie do efektów kształcenia dla kierunku studiówOdniesienie do efektów zdefiniowanych dla obszaru kształceniaOdniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżynieraCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
I_2A_C02_W01
Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych
I_2A_W04C-3, C-2, C-1T-W-2, T-W-3, T-W-5, T-W-1, T-W-4M-1, M-2S-2

Zamierzone efekty uczenia się - umiejętności

Zamierzone efekty uczenia sięOdniesienie do efektów kształcenia dla kierunku studiówOdniesienie do efektów zdefiniowanych dla obszaru kształceniaOdniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżynieraCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
I_2A_C02_U01
Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych
I_2A_U04C-3, C-2, C-1T-L-9, T-L-1, T-L-7, T-L-8, T-W-6, T-W-8, T-L-5, T-L-6, T-L-4, T-W-5, T-L-3, T-L-2, T-W-7M-2, M-1S-2, S-1

Zamierzone efekty uczenia się - inne kompetencje społeczne i personalne

Zamierzone efekty uczenia sięOdniesienie do efektów kształcenia dla kierunku studiówOdniesienie do efektów zdefiniowanych dla obszaru kształceniaOdniesienie do efektów uczenia się prowadzących do uzyskania tytułu zawodowego inżynieraCel przedmiotuTreści programoweMetody nauczaniaSposób oceny
I_2A_C02_K01
Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego.
I_2A_K02, I_2A_K03C-3, C-2, C-1T-L-2, T-W-8, T-W-6, T-L-7, T-L-4, T-L-9, T-W-1, T-L-5, T-L-6, T-L-1, T-L-3, T-W-3, T-W-7, T-L-8, T-W-4, T-W-5, T-W-2M-2, M-1S-1, S-2

Kryterium oceny - wiedza

Efekt uczenia sięOcenaKryterium oceny
I_2A_C02_W01
Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych
2,0Student nie opanował materiału w stopniu dostatecznym.
3,0Student opanował materiał przedmiotu w stopniu podstawowym, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi.
3,5Student opanował materiał przedmiotu w stopniu ponad podstawowoym,rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi.
4,0Student opanował materiał przedmiotu w stopniu dobry, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi oraz rozumie używane w nich algorytmy
4,5Student opanował materiał przedmiotu w stopniu ponad dobry, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i wie jak je dobrać w zależności od zdefiniowanego problemu
5,0Student opanował materiał przedmiotu w stopniu bardzo dobrym, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i bardzo dobrze wie jak je dobrać w zależności od zdefiniowanego problemu

Kryterium oceny - umiejętności

Efekt uczenia sięOcenaKryterium oceny
I_2A_C02_U01
Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych
2,0Student nie opanował materiału w stopniu dostatecznym
3,0Student opanował materiał przedmiotu w stopniu dostatecznym, rozróżnia podstawowe zdania i umie je częsciowo rozwiązywać za pomocą dostęnych narzędzi.
3,5Student opanował materiał przedmiotu w stopniu więcej niż dostatecznym, rozróżnia podstawowe zdania i umie je rozwiązywać za pomocą dostęnych narzędzi.
4,0Student opanował materiał przedmiotu w stopniu dobrym, rozróżnia podstawowe zdania i umie je prawidłowo rozwiązywać za pomocą dostęnych narzędzi.
4,5Student opanował materiał przedmiotu w stopniu więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych i dobrać do niego metodę.
5,0Student opanował materiał przedmiotu w więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych oraz dobrać i uzasadnić metodę roziwiązania problemu.

Kryterium oceny - inne kompetencje społeczne i personalne

Efekt uczenia sięOcenaKryterium oceny
I_2A_C02_K01
Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego.
2,0
3,0Student aktywnie rozwiązuje postawione problemy wykazując samodzielność w doborze odpowiednich środków technicznych i metod inżynierskich
3,5
4,0
4,5
5,0

Literatura podstawowa

  1. White T., Hadoop. Komplety przewodnik. Analiza i przechowywanie danych, Halion, Gliwice, 2015, Wyd. 4

Treści programowe - laboratoria

KODTreść programowaGodziny
T-L-1ETL2
T-L-2Redukowanie i próbkowanie danych4
T-L-3Rozproszone bazy relacyjne2
T-L-4HDFS i YARN4
T-L-5Bazy grafowe2
T-L-6Paradygmat Map-reduce2
T-L-7Apache Hive4
T-L-8Apache HBase4
T-L-9Apache Spark6
30

Treści programowe - wykłady

KODTreść programowaGodziny
T-W-1Wprowadzenie do dużych zbiorów danych: źródła dyskretne i ciągłe (streaming), wstępne przetwarzanie, czyszczenie4
T-W-2Redukowanie i próbkowanie danych4
T-W-3Extract, Transform and Load (ETL)2
T-W-4Przechowywanie dużych danych: rozproszone bazy relacyjne (2h), Apache Hadoop: HDFS i YARN (4h), bazy grafowe (2h)8
T-W-5Paradygmat Map-reduce2
T-W-6Apache Hive2
T-W-7Apache HBase4
T-W-8Apache Spark4
30

Formy aktywności - laboratoria

KODForma aktywnościGodziny
A-L-1uczestnictwo w zajęciach30
A-L-2Przygotowanie do zajęć laboratoryjnych10
A-L-3Opracowanie wyników zadań laboratoryjnych, opracowanie sprawozdań10
50
(*) 1 punkt ECTS, odpowiada około 30 godzinom aktywności studenta

Formy aktywności - wykłady

KODForma aktywnościGodziny
A-W-1Uczestnictwo w zajęciach30
A-W-2Uczestnictwo w egzaminie2
A-W-3Przygotowanie do egzaminu10
A-W-4Analiza literatury i materiałów z wykładów8
50
(*) 1 punkt ECTS, odpowiada około 30 godzinom aktywności studenta
PoleKODZnaczenie kodu
Zamierzone efekty uczenia sięI_2A_C02_W01Posiada rozszerzoną wiedzę z zakresu przetwarzania i analizy dużych zbiorów danych
Odniesienie do efektów kształcenia dla kierunku studiówI_2A_W04Ma rozszerzoną wiedzę o problemach, zadaniach i algorytmach analizy, przetwarzania oraz eksploracji danych
Cel przedmiotuC-3Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych
C-2Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych
C-1Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych
Treści programoweT-W-2Redukowanie i próbkowanie danych
T-W-3Extract, Transform and Load (ETL)
T-W-5Paradygmat Map-reduce
T-W-1Wprowadzenie do dużych zbiorów danych: źródła dyskretne i ciągłe (streaming), wstępne przetwarzanie, czyszczenie
T-W-4Przechowywanie dużych danych: rozproszone bazy relacyjne (2h), Apache Hadoop: HDFS i YARN (4h), bazy grafowe (2h)
Metody nauczaniaM-1Wykład z prezentacją
M-2Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera
Sposób ocenyS-2Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego
Kryteria ocenyOcenaKryterium oceny
2,0Student nie opanował materiału w stopniu dostatecznym.
3,0Student opanował materiał przedmiotu w stopniu podstawowym, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi.
3,5Student opanował materiał przedmiotu w stopniu ponad podstawowoym,rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi.
4,0Student opanował materiał przedmiotu w stopniu dobry, rozróżnia podstawowe zdania i zna możliwości dostęnych narzędzi oraz rozumie używane w nich algorytmy
4,5Student opanował materiał przedmiotu w stopniu ponad dobry, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i wie jak je dobrać w zależności od zdefiniowanego problemu
5,0Student opanował materiał przedmiotu w stopniu bardzo dobrym, rozróżnia podstawowe zdania, zna możliwości dostęnych narzędzi, rozumie używane w nich algorytmy i bardzo dobrze wie jak je dobrać w zależności od zdefiniowanego problemu
PoleKODZnaczenie kodu
Zamierzone efekty uczenia sięI_2A_C02_U01Potrafi wykorzysać poznane metody, techniki i modele do rozwiązywania złożonych problemów z zakresy przetwarzania i analizy dużych zbiorów danych
Odniesienie do efektów kształcenia dla kierunku studiówI_2A_U04Potrafi wykorzystywać poznane metody, techniki i modele do rozwiązywania złożonych problemów
Cel przedmiotuC-3Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych
C-2Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych
C-1Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych
Treści programoweT-L-9Apache Spark
T-L-1ETL
T-L-7Apache Hive
T-L-8Apache HBase
T-W-6Apache Hive
T-W-8Apache Spark
T-L-5Bazy grafowe
T-L-6Paradygmat Map-reduce
T-L-4HDFS i YARN
T-W-5Paradygmat Map-reduce
T-L-3Rozproszone bazy relacyjne
T-L-2Redukowanie i próbkowanie danych
T-W-7Apache HBase
Metody nauczaniaM-2Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera
M-1Wykład z prezentacją
Sposób ocenyS-2Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego
S-1Ocena formująca: Ocena zadań zrealizowanych na laboratoriach
Kryteria ocenyOcenaKryterium oceny
2,0Student nie opanował materiału w stopniu dostatecznym
3,0Student opanował materiał przedmiotu w stopniu dostatecznym, rozróżnia podstawowe zdania i umie je częsciowo rozwiązywać za pomocą dostęnych narzędzi.
3,5Student opanował materiał przedmiotu w stopniu więcej niż dostatecznym, rozróżnia podstawowe zdania i umie je rozwiązywać za pomocą dostęnych narzędzi.
4,0Student opanował materiał przedmiotu w stopniu dobrym, rozróżnia podstawowe zdania i umie je prawidłowo rozwiązywać za pomocą dostęnych narzędzi.
4,5Student opanował materiał przedmiotu w stopniu więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych i dobrać do niego metodę.
5,0Student opanował materiał przedmiotu w więcej niż dobrym, rozróżnia podstawowe zdania i umie je skutecznie rozwiązywać za pomocą dostęnych narzędzi. Potrafi zidentyfikować problem z zakresu analizy dużych zbiorów danych oraz dobrać i uzasadnić metodę roziwiązania problemu.
PoleKODZnaczenie kodu
Zamierzone efekty uczenia sięI_2A_C02_K01Aktywna postawa poznawcza, umocnienie świadomości potrzeby pozyskiwania aktualnej wiedzy do rozwiązywania problemów i wzmocnienie chęci rozwoju zawodowego.
Odniesienie do efektów kształcenia dla kierunku studiówI_2A_K02Ma świadomość znaczenia aktualności wiedzy w rozwiązywaniu problemów, jest zdeterminowany do osiągania założonych celów, a w przypadku trudności w ich osiąganiu potrafi korzystać z pomocy ekspertów
I_2A_K03Jest gotów do aktywnego przekazywania społeczeństwu informacji na temat bieżącego stanu wiedzy w zakresie informatyki oraz podejmowania działań na rzecz rozwoju środowiska społecznego
Cel przedmiotuC-3Przygotowanie do samodzielnego rozwiązywania problemów z zakresu przetwarzania i analizy dużych zbiorów danych
C-2Poznanie standardowych narzędzi informatycznych stosowanych w przetwarzaniu i analizie dużych zbiorów danych
C-1Zapoznanie się z metodami przetwarzania i analizy dużych zbiorów danych
Treści programoweT-L-2Redukowanie i próbkowanie danych
T-W-8Apache Spark
T-W-6Apache Hive
T-L-7Apache Hive
T-L-4HDFS i YARN
T-L-9Apache Spark
T-W-1Wprowadzenie do dużych zbiorów danych: źródła dyskretne i ciągłe (streaming), wstępne przetwarzanie, czyszczenie
T-L-5Bazy grafowe
T-L-6Paradygmat Map-reduce
T-L-1ETL
T-L-3Rozproszone bazy relacyjne
T-W-3Extract, Transform and Load (ETL)
T-W-7Apache HBase
T-L-8Apache HBase
T-W-4Przechowywanie dużych danych: rozproszone bazy relacyjne (2h), Apache Hadoop: HDFS i YARN (4h), bazy grafowe (2h)
T-W-5Paradygmat Map-reduce
T-W-2Redukowanie i próbkowanie danych
Metody nauczaniaM-2Laboratoria - metoda przypadków, rozwiązywanie zadań z użyciem komputera
M-1Wykład z prezentacją
Sposób ocenyS-1Ocena formująca: Ocena zadań zrealizowanych na laboratoriach
S-2Ocena podsumowująca: Zaliczenie materiałów z wykładów w formie egzaminu pisemnego
Kryteria ocenyOcenaKryterium oceny
2,0
3,0Student aktywnie rozwiązuje postawione problemy wykazując samodzielność w doborze odpowiednich środków technicznych i metod inżynierskich
3,5
4,0
4,5
5,0