Analiza i prognozowanie szeregów czasowych w R

Transkrypt

Wprowadzenie
Reprezentacja szeregów w R
Klasyczne modele i metody
Wybrane niestandardowe metody
Referencje
Analiza i prognozowanie
szeregów czasowych w R
Adam Zagdański
Instytut Matematyki i Informatyki, Politechnika Wrocławska
QuantUp (quantup.pl), Wrocław
Polski Akademicki Zlot Użytkowników R
16-17 X 2014, Poznań
1/36
Wprowadzenie
Referencje
Plan prezentacji
1
Wprowadzenie
2
3
4
5
Referencje
2/36
Wprowadzenie
Referencje
Czym jest szereg czasowy?
Szereg czasowy to obserwacje interesującej nas wielkości,
zarejestrowane w kolejnych odstępach czasu (np. dniach,
miesiącach lub kwartałach).
Możliwe obszary zastosowań
Demografia
Socjologia
Ekonomia
Medycyna
Przemysł
Z szeregami czasowymi często spotykamy się także wtedy, gdy
zachodzi konieczność podejmowania ważnych decyzji
biznesowych, np. dotyczących kupna/sprzedaży, produkcji,
zatrudnienia czy logistyki
3/36
Wprowadzenie
Referencje
1990
2000
5.0
3.5
2010
2006
Time
kwartalne
PKB
104
100
PKB
Time
kurs EUR/PLN
4.10 4.25
cena.benzyny
20
10
2014
cena benzyny
2000
2010
2010
Time
populacja
Polski
38100000
2008
populacja
2002
stopa bezrobocia
0
bezrobocie
liczba pasazerów
45000
70000
Przykłady szeregów
1995
2005
sty 02 2013 lip 01 2013
Rysunek : Przykłady szeregów
4/36
Wprowadzenie
Referencje
Przykłady analiz
Prognozowanie cen akcji danej spółki w kolejnym roku
Przewidywanie zmian cen paliw w kolejnych miesiącach
Analiza sytuacji na rynku pracy (np. przewidujemy wzrost
konkurencji w danej branży, który spowoduje istotną redukcję
zatrudnienia)
Analiza zmian demograficznych, socjologicznych,
klimatycznych i ich wpływu na koniunkturę w określonej
gałęzi przemysłu
5/36
Wprowadzenie
Referencje
Typowe cele analizy szeregów czasowych
Badanie występujących w danych: regularnych cykli, wzorców,
trendów
Prognozowanie wartości szeregów dla przyszłych okresów, na
podstawie obserwacji historycznych
Znalezienie modelu dobrze opisującego przebieg danego
zjawiska w czasie
6/36
Wprowadzenie
Referencje
Dlaczego warto analizować szeregi czasowe w R?
Podstawowe modele i metody dostępne w wersji bazowej R’a.
Rosnąca liczba pakietów, w tym najnowsze warianty metod!
Rosnąca liczba publikacji:
Introductory Time Series with R (Use R!) by Paul S.P.
Cowpertwait and Andrew V. Metcalfe (Jun 9, 2009).
Time Series Analysis: With Applications in R by Jonathan D.
Cryer and Kung-Sik Chan (Oct 14, 2009)
Forecasting: principles and practice, Rob J Hyndman, George
Athanasopoulos, 2013
Time Series Analysis and Its Applications: With R Examples by
Robert H. Shumway and David S. Stoffer (Nov 25, 2010)
Basic Data Analysis for Time Series with R by DeWayne R.
Derryberry (Jul 8, 2014)
Time Series: Applications to Finance with R and S-Plus by
Ngai Hang Chan (Oct 5, 2010)
Multivariate Time Series Analysis: With R and Financial
Applications by Ruey S. Tsay (Dec 9,2013)
7/36
Wprowadzenie
Referencje
Reprezentacja szeregów w R: klasa ts
Przykład: stopa bezrobocia w Polsce w latach 1990-2013,
dane miesięczne.
> print ( bezrobocie )
##
Jan Feb Mar Apr May Jun Jul Aug Sep Oct
Nov Dec
# # 1990 0 .3 0 .8 1 .5 1 .9 2 .4 3 .1 3 .8 4 .5 5 .0 5 .5 5
.9 6 .5
# # 1991 6 .6 6 .8 7 .1 7 .3 7 .7 8 .4 9 .4 9 .8 10 .5 10 .8 11
.1 12 .2
# # 1992 12 .1 12 .4 12 .1 12 .2 12 .3 12 .6 13 .1 13 .4 13 .6 13 .5 13
.5 14 .3
> class ( bezrobocie )
# # [1] " ts "
8/36
Wprowadzenie
Referencje
Reprezentacja szeregów w R: klasa ts
> # data pierwszej i ostatniej obserwacji
> start ( bezrobocie )
# # [1] 1990
1
> end ( bezrobocie )
# # [1] 2013
6
> # liczba obserwacji na jednostke czasu
> frequency ( bezrobocie )
# # [1] 12
9/36
Wprowadzenie
Referencje
Reprezentacja szeregów w R: pozostałe klasy
xts – extensible time series,
mts – multiple time series,
msts – multi-seasonal time series,
its – irregularly spaced time series,
...
10/36
Wprowadzenie
Referencje
Klasyczne modele i metody analizy szeregów
Pakiet stats
wykresy i podstawowe narzędzia: window, plot.ts, monthplot,
acf, pacf, ccf,. . .
wygładzanie i dekompozycja: filter, decompose, stl,. . .
modele i algorytmy: ar, arima, arima.sim, HoltWinters,. . .
Pakiet forecast
wykresy i podstawowe narzędzia: tsdisplay, seasonplot,
BoxCox, nsdiffs, monthdays, bizdays, seasadj,. . .
prognozowanie: meanf, snaive, rwf, tslm, ses, holt, hw,
auto.arima, arfima, ets, splinef, forecast, nnetar, tbats,
accuracy,. . .
11/36
Wprowadzenie
Referencje
Klasyczne modele i metody: wykres szeregu
> plot ( bezrobocie , main = " stopa bezrobocia w Polsce " )
10
5
0
bezrobocie
15
20
stopa bezrobocia w Polsce
1990
1995
2000
2005
2010
Time
Rysunek : Wykres szeregu
12/36
Wprowadzenie
Referencje
Klasyczne modele i metody: wykres sezonowy
> seasonplot ( bezrobocie , col = rainbow (23) , year . labels = TRUE )
10
15
20
Seasonal plot: bezrobocie
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
●
5
●
2002
2003
2004
2005
2001
●
● 1993
1994
●
● 2000
1995
● 2006
1992
●
● 2012
1996
1999
● 2010
2011
●
1991
2009
● 2007
● 1997
1998
● 2008
●
●
●
●
●
●
●
1990
●
●
0
●
●
Jan
●
●
●
Feb
Mar
Apr
May
Jun
Jul
Aug
Sep
Oct
Nov
Dec
Month
Rysunek : Wykres sezonowy
13/36
Wprowadzenie
Referencje
Klasyczne modele i metody: ACF (funkcja autokorelacji)
> acf ( bezrobocie , main = " Stopa bezrobocia " )
0.0
0.2
ACF
0.4
0.6
0.8
1.0
Stopa bezrobocia
0.0
0.5
1.0
1.5
2.0
Lag
Rysunek : Funkcja autokorelacji (ACF)
14/36
Wprowadzenie
Referencje
Klasyczne modele i metody: Dekompozycja i wygładzanie
> bezrobocie . dekomp <- decompose ( bezrobocie )
> plot ( bezrobocie . dekomp )
20
5 10
15
10
0.4
0.0
−0.4
0.5
random
−0.5
seasonal
5
trend
200
observed
Decomposition of additive time series
1990
1995
2000
2005
2010
Time
Rysunek : Dekompozycja klasyczna
15/36
Wprowadzenie
Referencje
Prognozowanie: Narzędzia dostępne w pakiecie forecast
Pakiet forecast pozwala na automatyczne prognozowanie z
wykorzystaniem dwóch najbardziej popularnych metod:
modele ARIMA
modele ETS (ExponenTialSmoothing lub ErrorTrendSeason)
Optymalne modele dla poszczególnych szeregów wybierane są
całkowicie automatycznie, z wykorzystaniem kryteriów
statystycznych oceniających dokładność dopasowania.
Oprócz prognoz punktowych otrzymujemy także przedziały
predykcyjne (domyślnie, dla dwóch poziomów ufności: 80% i
95%).
Case study: Adam Zagdański, Jak zautomatyzować
prognozowanie szeregów wykorzystując R?,
http://quantup.pl/wpcontent/uploads/2014/03/AutomatyzacjaKonstrukcjiPrognoz.pdf
16/36
Wprowadzenie
Referencje
Prognozowanie: ARIMA
> library ( forecast )
> bezrobocie . arima <- auto . arima ( bezrobocie . learn )
> bezrobocie . arima . forecast <- forecast ( bezrobocie . arima , h =
length ( bezrobocie . test ) )
10
5
0
bezrobocie
15
20
Forecasts from ARIMA(1,2,2)(2,0,1)[12]
1990
1995
2000
2005
2010
17/36
Wprowadzenie
Referencje
Prognozowanie: ETS
> bezrobocie . ets <- ets ( bezrobocie . learn )
> bezrobocie . ets . forecast <- forecast ( bezrobocie . ets , h =
length ( bezrobocie . test ) )
10
5
0
bezrobocie
15
20
Forecasts from ETS(A,Ad,A)
1990
1995
2000
2005
2010
18/36
Wprowadzenie
Referencje
Prognozowanie: ARIMA vs ETS
> accuracy ( bezrobocie . arima . forecast , bezrobocie . test ) [ ,2:6]
##
RMSE
MAE
MPE MAPE
MASE
# # Training set 0 .2267 0 .1416 0 .07223 1 .123 0 .06979
# # Test set
0 .6721 0 .5569 4 .14115 4 .141 0 .27447
> accuracy ( bezrobocie . ets . forecast , bezrobocie . test ) [ ,2:6]
##
RMSE
MAE
MPE MAPE
MASE
# # Training set 0 .2450 0 .1606 -0 .1228 1 .949 0 .07915
# # Test set
0 .6769 0 .5444 3 .9909 4 .002 0 .26829
19/36
Wprowadzenie
Referencje
Wybrane zaawansowane i niestandardowe metody
Modelowanie szeregów o złożonej sezonowości
Narzędzia dla traderów
Analiza eksploracyjna szeregów
Pozostałe zagadnienia
20/36
Wprowadzenie
Referencje
Wiele szeregów cechuje występowanie niestandardowych
zachowań sezonowych.
Przykłady: szeregi o ułamkowym (niecałkowitym) okresie,
szeregi o dużej częstotliwości i wielookresowej sezonowości.
Większość standardowych metod opracowano z myślą o
prostych wzorcach wahań sezonowych (np.: s=12, s=4).
Istnieją również specjalistyczne modele i metody dedykowane
szeregom o skomplikowanych wzorcach sezonowości.
Kilka najnowszych propozycji: De Livera, A.M., Hyndman,
R.J., Snyder, R. D. (2011), Forecasting time series with
complex seasonal patterns using exponential smoothing,
JASA, 106(496), 1513-1527.
Implementacja w R: algorytmy bats i tbats (pakiet forecast)
21/36
Wprowadzenie
Referencje
Rysunek : Zapotrzebowanie mocy KSE
Case study: Adam Zagdański, Prognozowanie
zapotrzebowania mocy Krajowego Systemu Energetycznego
(KSE). http://quantup.pl/wpcontent/uploads/2014/03/CaseStudyZapotrzebowanieMocyKSE.pdf
22/36
Wprowadzenie
Referencje
Funkcja autokorelacji (ACF)
Rysunek : ACF dla szeregu KSE. Widoczna sezonowość dobowa (s=24)
oraz tygodniowa (s=168).
23/36
Wprowadzenie
Referencje
> # konwersja na obiekt msts ( Multi - Seasonal Time Series )
> moc .1 h <- msts ( moc .1 h , seasonal . periods = c (24 , 168) , ts .
frequency =24 )
>
> # podzial danych na czesc uczaca i testowa
> # ......................
>
> # dopasowanie modelu TBATS
> moc .1 h . tbats . fit <- tbats ( moc .1 h . train , seasonal . periods = c
(24 ,168) )
> # parametry algorytmu TBATS ( Trigonometric Exponential
smoothing state space model with Box - Cox transformation ,
ARMA errors , Trend and Seasonal components )
> #
> # tbats (y , use . box . cox = NULL , use . trend = NULL ,
> #
use . damped . trend = NULL , seasonal . periods = NULL ,
> #
use . arma . errors = TRUE , use . parallel = TRUE ,
> #
num . cores = NULL , bc . lower =0 , bc . upper =1 ,...)
24/36
Wprowadzenie
Referencje
Rysunek : Dekompozycja szeregu KSE
25/36
Wprowadzenie
Referencje
> # prognozy
> moc .1 h . tbats . forecast <- forecast ( moc .1 h . tbats . fit , h = n . test
)
Rysunek : Prognozy dla danych KSE
26/36
Wprowadzenie
Referencje
Narzędzia dla traderów
Pakiet quantmod (Quantitative Financial Modelling
Framework)
>
>
>
>
>
>
>
library ( quantmod )
# pobranie notowan z ustalonego okresu
getSymbols ( Symbols = " FB " , from = " 2014 -05 -01 " , src = " yahoo " )
# wykres swiecowy
chartSeries ( FB , type = " candlesticks " , up . col = ’ green ’ , dn .
col = ’ red ’)
27/36
Wprowadzenie
Referencje
Narzędzia dla traderów (pakiet quantmod)
FB
[2014−06−02/2014−10−14]
80
Last 73.59
75
70
65
120
100
80
60
40
20
Volume (millions):
50,255,300
cze 02 2014
cze 30 2014
lip 28 2014 sie 18 2014
wrz 15 2014
paz 13 2014
Rysunek : Notowania giełdowe
28/36
Wprowadzenie
Referencje
>
>
>
>
>
>
>
>
>
>
>
# wykres liniowy
chartSeries ( FB , type = " line " )
# Bollinger Bands
addBBands ()
# MACD == Moving Average Convergence Divergence
addMACD ()
# STS == Stochastic Oscillator / Stochastic Momentum Index
addSMI ()
29/36
Wprowadzenie
Referencje
FB
[2014−06−02/2014−10−14]
80
Last 73.59
Bollinger Bands (20,2) [Upper/Lower]: 79.962/73.755
75
70
65
4
2
0
Moving Average Convergence Divergence (12,26,9):
MACD: −0.608
Signal: 0.263
−2
−4
60
40
20
0
−20
−40
−60
Stochastic Momentum Index (13,2,25,9):
SMI: 2.664
Signal: 27.237
cze 02 2014 cze 16 2014 cze 30 2014
lip 21 2014
sie 04 2014
sie 18 2014
wrz 02 2014
wrz 22 2014 paz 06 2014
Rysunek : Analiza techniczna
30/36
Wprowadzenie
Referencje
Przykład: grupowanie kart kontrolnych
Mamy 6 różnych klas (typów) kart kontrolnych, związanych z
różnymi sytuacjami, jakie mogą wystąpić w pracy maszyn:
A - zachowanie normalne,
B - zmiany cykliczne,
C - rosnący trend,
D - malejący trend,
E - przesunięcie w górę,
F - przesunięcie w dół.
Źródło: Alcock R.J. and Manolopoulos Y. Time-Series
Similarity Queries Employing a Feature-Based Approach. 7th
Hellenic Conference on Informatics. August 27-29.
Ioannina,Greece 1999.
31/36
Wprowadzenie
Referencje
45
klasa B
116
24
15
28
25
32
35
36
klasa A
0
10
20
30
40
50
60
0
10
20
30
40
50
60
40
50
60
40
50
60
klasa
D
Time
380
30
5
40
15
25
50
klasa
C
Time
0
10
20
30
40
50
60
0
10
20
30
klasa
F
Time
25
20
5 10
35
522
45
30
klasa
E
Time
0
10
20
30
40
50
60
0
10
20
30
Rysunek : Przykładowe karty kontrolne
32/36
Wprowadzenie
Referencje
Odległości na bazie DTW (Dynamic Time Warping)
> library ( TSclust )
> karty . odl . DTW <- proxy :: dist ( karty , method = " DTW " , by _ rows =
TRUE )
macierz odleglosci DTW
0
Count
Color Key
and Histogram
0.2
0.6
1
Value
A (normalna)
B (zmiany cykliczne)
C (rosnacy trend)
D (malejacy trend)
E (przesuniecie w góre)
F (przesuniecie w dól)
16
31
44
48
67
73
75
86
87
91
101
104
116
117
137
138
144
173
187
196
221
233
238
245
246
251
262
266
269
295
301
313
319
335
336
357
367
380
382
385
405
406
425
431
443
457
476
479
491
494
508
521
522
531
541
548
569
571
582
597
16
31
44
48
67
73
75
86
87
91
101
104
116
117
137
138
144
173
187
196
221
233
238
245
246
251
262
266
269
295
301
313
319
335
336
357
367
380
382
385
405
406
425
431
443
457
476
479
491
494
508
521
522
531
541
548
569
571
582
597
0
33/36
Wprowadzenie
Referencje
Klastrowanie hierarchiczne na bazie odległości DTW
> hc . DTW <- hclust ( karty . odl . DTW , method = linkage . method )
10000 15000 20000
5000
C
C
C
C
C
C
C
C
C
C
E
E
E
E
E
E
E
E
E
E
D
D
D
D
D
D
D
D
D
D
F
F
F
F
F
F
F
F
F
F
A
A
A
A
A
A
A
A
A
A
B
B
B
B
B
B
B
B
B
B
0
Height
Klasteryzacja hierarchiczna −− odleglosc DTW
karty.odl.DTW
hclust (*, "ward.D")
Rysunek : Dendrogram
34/36
Wprowadzenie
Referencje
Pozostałe zagadnienia
Modele wektorowe szeregów czasowych
Dynamiczne modele regresyjne (transfer function models)
Nieliniowe szeregi czasowe
Prognozowanie szeregów na bazie sieci neuronowych
Identyfikacja obserwacji odstających (ang. outliers)
Wykrywanie punktów zmiany i segmentacja szeregów
Analiza finansowych szeregów czasowych
Testy pierwiastków jednostkowych (unit roots) i testy
kointegracji
Analiza w dziedzinie częstotliwości (analiza spektralna)
...
CRAN Task View: Time Series Analysis
http://cran.r-project.org/web/views/TimeSeries.html
McLeod, Yu, Mahdi, Time Series Analysis with R, Handbook
of Statistics, Volume 30, 2012, 661-712.
35/36
Wprowadzenie
Referencje
Referencje
[1] Rob J. Hyndman & Yeasmin Khandakar (2008),
Automatic Time Series Forecasting: The forecast Package for
R, Journal of Statistical Software, American Statistical
Association, vol.27(i03).
[2] CRAN Task View: Time Series Analysis http:
//cran.r-project.org/web/views/TimeSeries.html
[3] Adam Zagdański, Jak zautomatyzować prognozowanie
szeregów wykorzystując R?
http://quantup.pl/wp-content/uploads/2014/03/
AutomatyzacjaKonstrukcjiPrognoz.pdf
[4] Adam Zagdański, Case study: Prognozowanie
zapotrzebowania mocy Krajowego Systemu Energetycznego
(KSE). http://quantup.pl/wp-content/uploads/2014/
03/CaseStudyZapotrzebowanieMocyKSE.pdf
36/36

Analiza i prognozowanie szeregów czasowych w R

Transkrypt

Podobne dokumenty

Ramowy program szkolenia Zarządzanie finansami dla każdego

Regulamin konkursu i karta zgłoszeniowa

egulamin konkursu

Karta informacyjna AB 12