Metodologia testowania aplikacji

Metodologia testowania
aplikacji
ćwiczenia 2
Raportowanie błędów
Czym jest raport błędu ?
●
●
●
awaria – odchyłka modułu lub systemu od oczekiwanego zachowania lub
rezultatu działania
błąd – działanie człowieka powodujące powstanie nieprawidłowego rezultatu
defekt – wada modułu lub systemu, która może spowodować , że moduł lub
system nie wykona zakładanej czynności.
Inne określenia:
awaria - anomalia
błąd - pomyłka
defekt - pluskwa, problem, usterka
Czym jest raport błędu ?
Jedną z najczęściej wykonywanych czynności przez testerów oprogramowania
jest raportowanie zgłoszeń błędów w ramach sprawdzania danej aplikacji lub
systemu. Czynność ta polega na sporządzeniu dokumentu opisującego różnicę
pomiędzy oczekiwanym rezultatem a aktualnym stanem np. funkcji systemu.
... w przypadku podania
nieprawidłowych danych na
stronie logowania
pojawiają się walidatory ...
Co powinno zawierać poprawne zgłoszenie błędu ?
Każdy błąd zgłoszony przez testera powinien być zrozumiały, jasny i czytelny dla odbiorcy zgłoszenia.
Odbiorcami zgłoszenia są najczęściej inni programiści lub testerzy. Problem powinien być opisany w taki
sposób aby programista pracujący nad jego poprawką nie miał żadnych problemów z powtórzeniem akcji
powodującej błąd w testowanym systemie.
...wpisałem jakieś dane...
...tutaj coś nie działa...
Co powinno zawierać poprawne zgłoszenie błędu ?
●
●
●
●
●
●
●
●
Treściwy tytuł zgłoszenia
Środowisko testowe
Warunki wstępne
Szczegółowy opis sytuacji
Rezultat wykonanych kroków
Oczekiwany efekt
Priorytet / istotność / klasyfikacja
Załączniki
Co powinno zawierać poprawne zgłoszenie błędu ?
●
Treściwy tytuł zgłoszenia
Tytuł zgłoszenia powinien w jednym zdaniu opisywać błąd oraz pozwalać
zorientować się której części aplikacji dotyczy zgłoszenie, niekiedy warto również
wskazać powagę błędu.
Co powinno zawierać poprawne zgłoszenie błędu ?
●
Środowisko testowe
Nie podanie w treści zgłoszenia środowiska testowego lub wersji danego systemu może powodować
wydłużenie czasu na odtworzenie danego błędu lub jego odrzucenie.
Środowiskiem testowym jest:
●
●
●
●
wersja systemu operacyjnego
nazwa oraz wersja przeglądarki na której wystąpił problem
dane dotyczące sprzętu
model urządzenia oraz wersja systemu (urządzenia mobilne)
Co powinno zawierać poprawne zgłoszenie błędu ?
●
Warunki wstępne
W tej sekcji powinny zostać zawarte wszystkie istotne informacje mające wpływ na działanie aplikacji lub
wszelkie inne wykonywane wcześniej operacje na danej aplikacji które mogą mieć znaczenie.
●
●
●
●
●
Uruchomiona aplikacja X
Uruchomiona aplikacja X, zalogowany user Y
Uruchomiona aplikacja X, włączony firewall systemowy
Użytkownik znajduje się na stronie …
Zalogowany jako użytkownik X na stronie … w module Y
Co powinno zawierać poprawne zgłoszenie błędu ?
●
Szczegółowy opis wykonanej akcji
Dokładny opis co zostało wykonane aby wystąpił błąd
1.
2.
3.
4.
Loguję się jako użytkownik tester
Podaję hasło “tester1234”
Po zalogowaniu do systemu klikam w opcję ustawienia użytkownika
Na oknie z ustawieniami użytkownika klikam w przycisk “zmień zdjęcie”
Co powinno zawierać poprawne zgłoszenie błędu ?
●
Rezultat wykonanych kroków
●
●
●
Pojawia się komunikat “wystąpił błąd przy przetwarzaniu danych”
System nie reaguje na akcje użytkownika
Aplikacja zawiesza się
Jeżeli błąd nie występuje za każdym razem warto ocenić szansę na jego ponowne wystąpienie.
W tym celu najlepiej wykonać kilka lub więcej prób oraz zamieścić informacją w ilu na ile prób udało się
zreprodukować dany problem.
●
Problem pojawia się często - 4/10 prób użycia kontrolki
Co powinno zawierać poprawne zgłoszenie błędu ?
●
Oczekiwany efekt
Punkt ten nie jest wymagany, jednak jego opis zwykle pomaga osobie zajmującej się danym zgłoszeniem
zrozumieć co poszło nie tak, która część aplikacji/systemu nie zachowała się tak jak powinna.
●
●
oczekiwane zachowanie: wyświetla się okno umożliwiające wybór pliku ze zdjęciem
spodziewany efekt: użytkownik zostaje wylogowany z aplikacji
Co powinno zawierać poprawne zgłoszenie błędu ?
●
Priorytet, istotność, klasyfikacja
W zależności gdzie raportowane są nasze błędy oraz samego sposobu pracy przy projekcie często
bardzo ważnym czynnikiem decydującym o tym który z błędów zostanie poprawiony w pierwszej
kolejności jest jego priorytet, istotność lub klasyfikacja.
Błędy o najwyższym priorytecie zazwyczaj powinny być wykonywane zawsze w pierwszej kolejności,
część z nich to najczęściej błędy blokujące korzystanie z danego systemu lub aplikacji.
-
aplikacja po zalogowaniu wiesza się
Błędy o niższym priorytecie nie muszą być poprawione natychmiast, zdarza się również że koszt
naprawy takiego błędu jest zwyczajnie nieopłacalny a skutek wystąpienia danego błędu nie ma żadnego
wpływu na działanie aplikacji.
-
komunikat informujący o wylogowaniu się użytkownika nie jest odpowiednio wycentrowany
Co powinno zawierać poprawne zgłoszenie błędu ?
●
Priorytet, istotność, klasyfikacja
Priorytet / istotność
●
●
●
●
critical
important
normal
fix if time
Klasyfikacja
●
●
●
●
●
security
functional
performance
usability
other
Czego nie powinno zawierać zgłoszenie błędu ?
●
●
●
●
●
●
Zgłoszenie błędów zbyt ogólnych typu - system nie działa, priorytet: krytyczny
Błędów dotyczących starej wersji systemu, która jest już dawno wycofana
Własnych sugestii dotyczących naprawy błędu
Niepotrzebnie wysoki priorytet - literówka w treści komunikatu, priorytet: krytyczny
Jedno zgłoszenie zawierające kilka błędów jednocześnie
Duplikat innego nadal otwartego zgłoszenia
Cykl życia błędu
Ponownie
otwarty
Nowy
Przełożony
Przypisany
Odrzucony
Otwarty
Duplikat
Do testów
Zamknięty
Przykładowy raport
Tytuł zgłoszenia
Brak obsługi polskich znaków diakrytycznych w formularzu rejestracji
Warunki wstępne
Użytkownik znajduje się na stronie www.rejestracja-testowa.pl
Opis problemu
1.
2.
3.
4.
5.
Będąc na stronie głównej serwisu klikam w “zarejestruj”
W polu imię wprowadzam “Jędrzej”
W polu nazwisko wprowadzam “Kowalski”
Wypełniam kolejne dane formularza wprowadzając dowolne dane
Klikam w przycisk “Dalej”
Rezultat wykonania
Przy polu imię pojawia się walidator informujący o użyciu nieprawidłowych
znaków
Oczekiwany efekt
Wyświetlona zostaje kolejna strona potwierdzająca rejestrację w systemie
Środowisko testowe:
Priorytet:
Załączniki:
Windows 7 (64bit),
przeglądarka Firefox 42.0.2
ważny
-
W ramach pracy domowej proszę o przetestowanie dowolnie wybranej aplikacji lub aplikacji
internetowej oraz znalezienie w niej przynajmniej 5 błędów. Do każdego ze znalezionych błędów
należy utworzyć raport zawierający wcześniej wskazane w prezentacji charakterystyki włącznie z
załącznikami (np. zrzuty ekranu prezentujące wystąpienie błędu). Przy tworzeniu raportu można
wzorować się szablonem z prezentacji.
Proszę o wysłanie raportu w formacie pliku tekstowego, zrzuty ekranu mogą być wstawione
bezpośrednio w dokument lub jako załączniki przy wiadomości.
adres na który można przesyłać zadania:
[email protected]