Metody zapewnienia jakości danych

Kierunek studiów Informatyka
Studia II stopnia
Przedmiot:
Rok:
Semestr:
Forma studiów:
Rodzaj zajęć i liczba godzin w semestrze:
Metody zapewnienia jakości danych
II
III
stacjonarne
Wykład
Ćwiczenia
Laboratorium
Projekt
15
15
3
Liczba punktów ECTS:
Cele przedmiotu
C1
C2
C3
Zapoznanie studentów z koniecznością monitorowania integralności i jakości danych
Zapoznanie studentów z technikami optymalizacji jakości danych w bazach danych
Zapoznanie studentów z metodami weryfikacji zgodności danych z założonymi regułami
Wymagania wstępne w zakresie wiedzy, umiejętności i innych kompetencji
1
Kompetencje uzyskiwane w zakresie przedmiotów Wprowadzenie do architektury SAS oraz Przetwarzanie
w środowisku SAS z pierwszego semestru studiów II stopnia kierunku Informatyka.
Efekty kształcenia
EK 1
EK 2
EK 3
EK 4
EK 5
EK 6
EK 7
EK 8
EK 9
W zakresie wiedzy:
Zna podstawowe zagadnienia związane z bazami danych i ich przetwarzaniem w środowisku SAS
Zna metody czyszczenia danych
Zna metody oceny i optymalizacji jakości danych
Posiada wiedzę odnośnie monitorowania zmian jakości danych w czasie, zna metody weryfikacji zgodności
danych ze zdefiniowanymi wcześniej regułami
W zakresie umiejętności:
Potrafi samodzielnie czyścić dane
Potrafi planować oraz konfigurować usługi optymalizacji jakości danych
Potrafi monitorować zmiany jakości w czasie przy wykorzystaniu SAS Data Management Platform
Potrafi organizować procesy czyszczenia danych w oparciu o platformy SAS Data Integration Studio i SAS
Data Management Server
W zakresie kompetencji społecznych:
Ma świadomość konieczności ciągłego zdobywania wiedzy w zakresie integracji i zapewnienia jakości
danych
Treści programowe przedmiotu
W1
W2
W3
W4
W5
W6
W7
W8
W9
W10
L1
Forma zajęć – wykłady
Treści programowe
Wprowadzenie do narzędzi programowych SAS
Proces poprawy jakości danych
Profilowanie danych
Standaryzacja, parsowanie
Deduplikacja
Grupowanie obserwacji
Tworzenie i wykorzystanie reguł biznesowych
Tworzenie zadań w SAS Management Platform
Wykorzystanie parametrów
Publikacja zadań na serwerze SAS Data
Management Server
Suma godzin:
Forma zajęć – laboratoria
Treści programowe
Wprowadzenie do SAS Data Management Platform
Liczba godzin
4
2
1
2
1
1
1
1
1
1
15
Liczba godzin
3
1
L2
L3
L4
L5
L6
L7
L8
L9
L10
Proces poprawy jakości danych
Profilowanie danych
Operacje standaryzacji i parsowania
Deduplikacja danych
Grupowanie obserwacji
Tworzenie i wykorzystanie reguł biznesowych
Tworzenie zadań w SAS Management Platform
Wykorzystanie parametrów
Publikacja zadań na serwerze SAS Data
Management Server
2
2
2
1
1
1
1
1
1
Metody/Narzędzia dydaktyczne
1
2
3
Wykład z prezentacjami multimedialnymi
Ćwiczenia laboratoryjne z wykorzystaniem oprogramowania SAS Data Management Platform
Analiza i interpretacja dokumentacji technicznej SAS Data Management Platform
Sposoby oceny
F1
F2
F3
P1
P2
P3
Ocena formująca
Pytania sprawdzające poziom zrozumienia podstawowych zagadnień podczas wykładu
Dyskusja ze studentami, podczas podsumowywania materiału wykładu
Rozwiązywanie zagadnień problemowych z zakresu integracji i jakości danych
Ocena podsumowująca
Kartkówki sprawdzające znajomość zagadnień przed wykonaniem ćwiczeń laboratoryjnego
Ocena wykonania przeprowadzonych praktycznych zajęć laboratoryjnych
Dwa pisemne sprawdziany w połowie oraz na końcu prowadzonych wykładów
Obciążenie pracą studenta
Forma aktywności
Godziny kontaktowe zajęć z wykładowcą, w tym:
Udział w wykładach
Udział w laboratoriach
Godziny kontaktowe z wykładowcą, realizowane w
formie np. konsultacji w odniesieniu – łączna liczba
godzin w semestrze
Przygotowanie się do laboratorium – łączna liczba
godzin w semestrze
Przygotowanie się do zaliczenia wykładu
Suma
Sumaryczna liczba punktów ECTS dla przedmiotu, w
tym:
Średnia liczba godzin na zrealizowanie aktywności
15
15
5
15
25
75
3
Liczba punktów ECTS uzyskiwana podczas zajęć
wymagających bezpośredniego udziału wykładowcy
0,2
Liczba punktów ECTS w ramach zajęć o charakterze
praktycznym (ćwiczenia, laboratoria, projekty)
0,2
Literatura podstawowa i uzupełniająca
1
2
3
4
5
SAS Data Quality Server 9.2: Reference, Second Edition, SAS Institute, 2012
Gerhard Svolba, Data Quality for Analytics Using SAS, SAS Institute
Sunil Gupta and Curt Edmonds, Sharpening Your SAS Skills, CRC Press
2
Macierz efektów kształcenia
Efekt
kształcenia
EK 1
EK 2
EK 3
EK 4
EK 5
EK 6
EK 7
EK 8
EK 9
Odniesienie danego
efektu kształcenia
do efektów
zdefiniowanych dla
całego programu
(PEK)
[I2A_W03,
I2A_W04, I2A_W05,
I2A_U05, I2A_U12]
[I2A_W03,
I2A_W04, I2A_U08,
I2A_U17]
[I2A_W03,
I2A_W04, I2A_W07,
I2A_U11, I2A_U12,
I2A_U15]
[I2A_W03,
I2A_W04, I2A_W07,
I2A_U16, I2A_U19]
[I2A_U08, I2A_U10,
I2A_U11, I2A_U16]
[I2A_U11, I2A_U12,
I2A_U19]
[I2A_U15, I2A_U16,
I2A_U19]
[I2A_U15, I2A_U16,
I2A_U19]
[I2A_K01]
Cele
przedmiotu
Treści programowe
Metody/Narz
ędzia
dydaktyczne
Sposób oceny
[C1, C2]
[W1- -W10, L1- L10]
[1-3]
[F1,F2, P1,P2]
[C1, C2]
[W2-W6, L2-L6]
[1-3]
[F1,F2, P1,P2]
[C1, C2]
[W2-W5,L2-L5]
[1-3]
[F1-F3, P1-P3]
[C1, C2]
[W6-W10, L6-L9]
[1-3]
[F1-F3, P1-P3]
[C2, C3]
[W7-W10, L2-L9]
[1-3]
[F1, P1, P3]
[C1, C3]
[W1-W10, L2-L9]
[1-3]
[F1, P1, P3]
[C1, C2, C3]
[W2-W10,L2-L9]
[1-3]
[F2, P2]
[C2, C3]
[W7-W10, L7-L10]
[1-3]
[F2, P2]
[C2, C3]
[W9-W10, L10]
[1-3]
[F2, P1-P3]
Formy oceny – szczegóły
Na ocenę 2 (ndst)
Na ocenę 3 (dst)
Na ocenę 4 (db)
EK 1
[Nie orientuje się w
zakresie baz danych]
[Potrafi wymienić
podstawowe cechy baz
danych]
[Potrafi wymienić i
scharakteryzować
bazy danych]
EK 2
[Nie potrafi wymienić
metod czyszczenia
danych]
[Potrafi wymienić
podstawowe metody
czyszczenia danych]
[Zna wiele metod
czyszczenia danych]
[Nie ma wiedzy w
zakresie oceny i
optymalizacji jakości
danych]
[Potrafi wymienić
podstawowe metody
oceny i optymalizacji
jakości danych]
[Zna szerokie
spektrum metod oceny
i optymalizacji jakości
danych]
[Nie ma wiedzy w
zakresie monitorowania
zmian jakości danych]
[Zna podstawowe
sposoby monitorowania
zmian jakości danych]
[Zna wybrane sposoby
monitorowania zmian
jakości danych]
[Nie potrafi samodzielnie
podjąć operacji
czyszczenia danych]
[Potrafi wykonać
podstawowe, wybrane
operacje z zakresu
czyszczenia danych]
[Potrafi zaplanować i
przeprowadzić
kompleksową usługę
czyszczenia danych]
EK 3
EK 4
EK 5
Na ocenę 5 (bdb)
[Potrafi wymienić i
wyczerpująco
scharakteryzować różne
typy baz danych, widzi
możliwość ich
optymalizacji]
[Zna metody
czyszczenia danych i
potrafi wartościować ich
cechy pod kątem
własności]
[Posiada dobrą
znajomość metod oceny
i optymalizacji jakości
danych, rozwiązuje
samodzielnie problemy
doboru odpowiednich
narzędzi ]
[Posiada dobrą
znajomość sposobów
monitorowania zmian
jakości danych, zna
metody weryfikacji
zgodności danych ze
zdefiniowanymi
wcześniej regułami]
Potrafi zaplanować i
przeprowadzić
kompleksową usługę
czyszczenia danych,
potrafi ocenić
zagrożenia wynikające z
3
[Nie potrafi zaplanować i
skonfigurować usług
optymalizacji jakości
danych]
[Potrafi zaplanować i
skonfigurować
podstawowe usługi
optymalizacji jakości
danych]
[Potrafi zaplanować i
skonfigurować usługi
optymalizacji jakości
danych]
[Nie potrafi monitorować
zmian jakości danych]
[Potrafi monitorować
wybrane parametry
identyfikujące zmiany
jakości danych]
[Potrafi monitorować
kilka parametrów
identyfikujących
zmiany jakości
danych]
[Nie umie organizować
procesów czyszczenia
baz danych]
[Potrafi przeprowadzić
wybrane procesy
czyszczenia baz
danych]
[Potrafi przeprowadzić
wielopłaszczyznowe
procesy czyszczenia
baz danych]
[Nie przygotowuje się do
zajęć, nie wykorzystuje
dodatkowych źródeł
informacji]
[Przygotowuje się do
zajęć w stopniu
umożliwiającym
wykonanie
podstawowych zadań]
[Przygotowuje się do
zajęć w stopniu
umożliwiającym
wykonania zadań
podstawowych i
dodatkowych]
EK 6
EK 7
EK 8
EK 9
Autor programu:
Adres e-mail:
Jednostka
organizacyjna:
zaniedbań w tym
obszarze i podjąć
działania
zapobiegawcze]
[Potrafi zaplanować i
skonfigurować usługi
oceny i optymalizacji
jakości danych, z
uwzględnieniem
przypadków
wymagających
samodzielnego
oprogramowania
zadania]
[Potrafi kompleksowo
monitorować parametry
identyfikujące zmiany
jakości danych,
samodzielnie pogłębia
wiedzę z zasobów
zewnętrznych]
[Potrafi przeprowadzić
kompleksowo procesy
czyszczenia baz
danych, potrafi
reagować na zmienne
parametry wejściowe
analizowanych
przypadków]
[Bardzo dobrze
przygotowuje się do
zajęć, wyszukuje i
korzysta z zasobów
dodatkowych, odnośnie
poruszanej tematyki]
dr inż. Wojciech Surtel
[email protected]
Instytut Elektroniki i Technik Informacyjnych, Politechnika Lubelska
4