t - Krzysztof Piontek

1
Krzysztof Piontek
Akademia Ekonomiczna
im. Oskara Langego we Wrocławiu
Katedra Inwestycji Finansowych i Ubezpieczeń
Przegląd i porównanie metod oceny modeli VaR
Wstęp - Miara VaR
Wartość zagrożona (wartość narażona na ryzyko, Value at Risk, VaR)
w chwili t jest to taka strata wartości rynkowej portfela, że prawdopodobieństwo
osiągnięcia jej lub przekroczenia w rozpatrywanym okresie (t, t+1) równe jest
zadanemu poziomowi tolerancji (por. [6],[9]).
Powyższą definicję można zapisać w następujący sposób:
P (Wt +1 ≤ Wt − VaRt ) = q ,
(1)
gdzie: Wt - obecna wartość portfela instrumentów, Wt +1 - wartość portfela na
końcu analizowanego okresu, q - tak zwany poziom tolerancji VaR.
Nie zakładając wartości portfela Wt , powyższą zależność można zapisać
wykorzystując pojęcie stopy zwrotu (por. [9]) ( rt +1 ):
P ( rt +1 ≤ Fr−,t1 ( q ) ) = q ,
(2)
co oznacza, że prawdopodobieństwo, że stopa zwrotu z portfela w danym
horyzoncie czasu nie przekroczy wartości równej odpowiedniemu
kwantylowi rozkładu stóp zwrotu Fr−,t1 ( q ) , wynosi q .
W dalszej części pracy miara VaR analizowana będzie w kontekście stóp zwrotu
jako odpowiedni kwantyl rozkładu, co oznaczane jest jako:
VaRr ,t ( q ) = − Fr−,t1 ( q ) .
(3)
Definicja zapisana wzorem (1) czy (2) w żaden sposób nie precyzuje jak
należy ową wartość zagrożoną wyznaczyć. Prowadzi to mnogości możliwych
podejść. Do najbardziej popularnych zalicza się: metodę historyczną, metodę
symulacji, metodę wariancji-kowariancji (w tym metodę RiskMetrics) oraz
metodę opartą na wektorach warunkowych wartości oczekiwanych
i warunkowych macierzach kowariancji (modele klasy VARMA-MGARCH),
a także metody bazujące na teorii wartości ekstremalnych (por.
[1],[6],[7],[9],[11]). W każdym przypadku prowadzi to do konieczności
2
testowania metody. Testowanie wsteczne (backtesting) wyników pomiaru
wartości zagrożonej jest więc niezbędną procedurą mającą odpowiedzieć na
pytanie, czy dane podejście można stosować, lub które z większej ilości
konkurencyjnych rozwiązań powinno zostać wybrane.
Celem pracy jest skrótowa prezentacja wybranych metod oceny wyników
VaR. Zaprezentowane zostaną zarówno proste popularne testy wykorzystujące
ideę analizy szeregu przekroczeń, jak i nowsze propozycje pozbawione
przynajmniej niektórych wad podejścia klasycznego.
1. Klasyczne testy modeli VaR
Modele VaR można analizować zarówno poprzez jakość modeli
ekonometrycznych leżących u podstaw modelu VaR (np. modeli VARMAMGARCH), jak i wprost poprzez porównanie wyników VaR z faktycznie
zaobserwowanymi stratami. Obszarem zainteresowania niniejszej pracy
pozostaje jedynie to drugie podejście.
W praktyce, najpopularniejsze, gdyż najłatwiejsze do wykorzystania, testy
jakości wyników VaR opierają się na analizie tzw. szeregu przekroczeń (failure
process, hit function)  I t ( q )  tt ==1T zdefiniowanego w sposób następujący:
1; rt +1 ≤ −VaRr ,t ( q )
It ( q ) = 
(4)
0; rt +1 > −VaRr ,t ( q )
Najczęściej wykorzystywanym testem jest test liczby przekroczeń
(Proportion of Failures Test - POF). Dla danej próby liczba przekroczeń ma
rozkład dwumianowy. Odpowiednią statystykę testową zaproponował Kupiec
(por. np. [6][5][9]). Ma ona postać:
 (1 − q )T0 qT1 
(5)
LRPOF = −2ln 
 ~ χ12 ,
 (1 − qˆ )T0 qˆ T1 


gdzie:
T
T1
, T1 = ∑ I t ( q ) oraz T0 = T − T1 ,
(6)
qˆ =
T0 + T1
i =1
gdzie: T – liczba wszystkich obserwacji, T1 – liczba przekroczeń, T0 – liczba
obserwacji, dla których przekroczenie nie wystąpiło.
Statystyka LRPOF ma rozkład χ 2 z jednym stopniem swobody.
3
Test liczby przekroczeń nie jest jedynym testem, któremu należy poddać
weryfikowany model. Trudno zgodzić się, że technika pomiaru VaR jest
poprawna jeśli rzeczywiście w ciągu 1000 testowanych dni, liczba przekroczeń
wynosi co prawda 501, ale 15 przekroczeń wystąpiło w ciągu ostatniego
miesiąca. Do testu na liczbę przekroczeń należy dołączyć test, czy przekroczenia
są niezależne w czasie. Występujące blisko po sobie przekroczenia są
groźniejsze dla instytucji niż równomiernie rozłożone w czasie przekroczenia,
które występują nieznacznie częściej niż wynikałoby to z teorii.
Największą popularność, w zakresie testowania niezależności
przekroczeń, zdobył test niezależności (Independence Test-IND) Christoffersena
LRIND wykorzystujący idee łańcuchów Markowa (por. [4],[5],[6],[9]):
T +T


1 − q ) 00 10 q T01 +T11
(
LRIND = −2ln 
~ χ12

 (1 − qˆ )T00 qˆ T01 (1 − qˆ )T10 qˆ T11 
01
01
11
11


Tij
T01 + T11
qˆij =
q=
Ti 0 + Ti1 ,
T00 + T01 + T10 + T11
gdzie :
oraz Tij to liczba okresów, w których I t = j , jeśli I t −1 = i .
(7)
(8)
Statystyka LRIND ma również rozkład χ 2 z 1 stopniem swobody.
Rzadziej wykorzystywaną alternatywą jest test czasu pomiędzy przekroczeniami
(Time Between Failures Test - TBF) (por. np. [4][6]):
 q ( q − q )ν1 −1  T1 
 q (1 − q )ν i −1  
 +  −2ln 
  ~ χT21 (9)
LRTBF = −2ln 
ν i −1 
 qˆ (1 − qˆ )ν1 −1  ∑



ˆ
ˆ
q
1
q
−
1
i)
 1
 i =2 
 i(

gdzie:
ν i - czas pomiedzy (i -1)-tym oraz i -tym przekroczeniem ,
1
.
νi
Ponieważ statystyki liczby przekroczeń oraz ich niezależności w czasie są
niezależne, zaproponowano testy mieszane LRMIX uwzględniające zarówno
liczbę przekroczeń oraz czas pomiędzy przekroczeniami (por. [4],[5],[6],[9]):
q̂i =
T

(1 − q ) 0 qT1
(1)
LRMIX
= LRPOF + LRIND = −2ln 
 (1 − qˆ )T00 qˆ T01 (1 − qˆ )T10 qˆ T11
01
01
11
11


 ~ χ 22


(10)
lub:
(2)
LRMIX
= LRPOF + LRTBF ~ χT21 +1 .
1
Dla poziomu tolerancji VaR wynoszącego 0,05.
(11)
4
W praktyce jednak rzadko stosuje się testy mieszane na rzecz osobno
wyznaczanych testów liczby i niezależności przekroczeń, które mają większą
moc (por. [4]).
Rozpatrując jedynie szereg przekroczeń  I t ( q )  tt ==1T , możliwa do analizy
informacja ulega znaczniej redukcji, co skutkuje tym, że prezentowane testy
charakteryzują się niską mocą dla krótkich szeregów i/lub niskich poziomów
tolerancji VaR. Dodatkowo warto zauważyć, iż „miara” VaR zdefiniowana jako:
z prawdopodobieństwem 1 - q
X
(12)
VaRt ( q ) = 
 − X z prawdopodobieństwem q
spełnia warunki liczby i niezależności przekroczeń dla wystarczająco wysokiej
wartości X. Jest to podstawowy, obok niskiej mocy testów, zarzut wobec
klasycznych testów modeli VaR.
Kolejne, prezentowane w sposób skrótowy, testy uwzględniają pełną
informację o wielkościach wartości zagrożonej oraz wartościach zrealizowanych
stóp zwrotu.
2. Testy szeregów przekroczeń i wielkości VaR
Podstawowym testem wykorzystującym zarówno wartości VaR, jak
i szereg przekroczeń jest tzw. Dynamic Quantile Test – DQ zaproponowany
przez Engle’a oraz Manganelli’ego w 2002 roku (por. np. 7)). Ideą testu jest
fakt, że przekroczenia w chwili t nie powinny zależeć od przekroczeń
w chwilach wcześniejszych, a także od wartości VaR oraz dowolnie
przetworzonej informacji dostępnej w chwili t-1 ( ωt −1, j ∈ ℑt −1 ). Analizie podlega
więc równanie regresji:
p
n
i =1
j =1
I ( q )t = qo + ∑ β i I t −i ( q ) + β p+1VaRt ( q ) + ∑ β p+ j +1 f (ωt −1, j ) + ε t .
(13)
Model VaR jest poprawny, jeśli brak jest podstaw do odrzucenia hipotezy:
H 0 : qo = q,
βi = 0, i = 1, 2,K , p + n + 1 .
Powyższy test umożliwia zidentyfikowanie nieprawidłowego „pomiaru”
przedstawionego wzorem (12), którego nie odrzucają klasyczne testy liczby
i niezależności przekroczeń. Test powyższy jest uogólnioną wersją testu:
H o : ∀s corr ( I t , I t − s ) = 0
H1 : ∃s
corr ( I t , I t − s ) ≠ 0
(14)
Dla dziennych wartości zagrożonych, maksymalny rząd testowanych opóźnień
wybiera się zazwyczaj jako 5, co odpowiada liczbie dni sesyjnych w tygodniu.
5
Podejście dane wzorem (13) umożliwia wykrycie odstępstw od niezależności
przekroczeń opisywanych przez łańcuchy Markowa rzędów wyższych niż 1.
Warto też zaznaczyć, iż w ogólności testy oparte na podejściu Christoffersena
(por. wzór (7)) oraz uproszczonej postaci testu danego wzorem (13) mogą
prowadzić do sprzecznych wniosków (por. [10]).
3. Testy wykorzystujące funkcje strat
Odmienny w swej istocie test oparty na funkcji straty zaproponował Lopez
(por. [8]). Podejście to doczekało się później szeregu uogólnień (por. [10],[11]).
Dla każdego analizowanego okresu, na podstawie historycznych informacji
o zrealizowanej stopie zwrotu i korespondującej wartości zagrożonej
wyznaczana jest odpowiednia wartość tzw. funkcji strat:
 f (VaRr ,t ( q ) ,rt +1 ) rt +1 ≤ −VaRr ,t ( q )
(15)
L (VaRr ,t ( q ) ,rt +1 ) = 
 g (VaRr ,t ( q ) ,rt +1 ) rt +1 > −VaRr ,t ( q ) .
Podejście to analizowane jest zazwyczaj z punktu widzenia regulatora rynku
(nadzorcy), który dba o zwiększenie bezpieczeństwa. Z tego też powodu
przyjmuje się iż:
f (VaRr ,t ( q ) ,rt +1 ) ≥ g (VaRr ,t ( q ) ,rt +1 ) .
(16)
Ostateczna wartość funkcji strat dla całego okresu, w którym testowany jest
model, wyznaczana jest ze wzoru:
1 T −1
L=
(17)
∑ L (VaRr ,t (q), rt +1 ) .
T − 1 t =1
Pierwotna propozycja Lopeza polegała na uwzględnieniu informacji nie tylko
o występującym przekroczeniu, lecz również o wielkości tego przekroczenia:
2
1 + ( rt +1 + VaRr ,t ) rt +1 ≤ −VaRr ,t ( q )
Lt +1 (VaRr ,t ( q ) , rt +1 ) = 
(18)
0
rt +1 > −VaRr ,t ( q ) .

Na podstawie analizy informacji wynikającej z wartości funkcji strat możliwe są
dwa podejścia:
1) wybór techniki pomiary VaR, dla której wartość funkcji strat przyjmuje
minimum,
2) przyjęcie lub odrzucenie modelu VaR poprzez porównanie wartości funkcji
strat dla danych historycznych z wartością krytyczną testu uzyskiwaną
poprzez symulację Monte Carlo szeregów stóp zwrotu z założonego modelu
(tego samego, który leży u podstaw modelu VaR – np. modele VARMAMGARCH).
6
W niektórych technikach wyznaczania VaR (np. w metodzie historycznej)
podejście 2 nie jest możliwe (bez szeregu silnych założeń) i stosuje się
kryterium 1 – minimalizację funkcji strat.
Funkcja strat zaproponowana przez Lopeza, jakkolwiek najbardziej popularna,
nie jest w żadnym wypadku jedynym możliwym rozwiązaniem.
Wykorzystywane bywają również funkcje o następującej postaci (por. [1],[11]):
f (VaRt ( q ) ,rt +1 )
(r
=
t +1
− VaRr ,t
VaRr ,t
)
2
lub f (VaRt ( q ) ,rt +1 ) = 1 −
rt +1
. (19)
VaRr ,t
W powyższych rozwiązaniach (por. wzory (15)-(19)) zakłada się zazwyczaj iż
g (VaRr ,t ( q ) ,rt +1 ) = 0 .
Sarma, Thomas, Shah (por. [10]) zaproponowali jednak następującą postać
funkcji strat, tzw. Firm’s Loss Function. Podejście to stanowi próbę rozwiązania
oczywistego konfliktu pomiędzy bezpieczeństwem oraz maksymalizacją wyniku
finansowego:
2
 ( rt +1 + VaRr ,t ) rt +1 ≤ −VaRr ,t ( q )
(20).
Lt +1 (VaRr ,t ( q ) , rt +1 ) = 
rt +1 > −VaRr ,t ( q )
 ϕVaRr ,t
W podejściu takim „karze” podlega zbyt wysoki poziom VaR skutkujący
przesadnie wysokim kapitałem zabezpieczającym. Kryterium decyzyjne wyboru
optymalnej metody pomiaru VaR jest analogiczne jak w przypadku klasycznej
funkcji zaproponowanej przez Lopeza.
Pojawiają się też propozycje, aby rozdzielić w funkcji strat aspekt ilości
przekroczeń oraz wielkości przekroczeń. Rozwiązanie takie przedstawili Blanco,
Ihle (por. [10]):
(21)
1; rt +1 ≤ −VaRr ,t ( q )
Ltfreq
+1 ( q ) = 
0; rt +1 > −VaRr ,t ( q )
magn
t +1
L
 rt +1 + VaRr ,t
 VaR
=
r ,t

0

rt +1 ≤ −VaRr ,t ( q )
(22)
rt +1 > −VaRr ,t ( q )
freq
Lt +1 (VaRt ( q ) , rt +1 ) = λ Lmagn
t +1 + (1 − λ ) Lt +1
(23)
Wartość parametru λ wybierana jest w sposób subiektywny, w zależności od
wagi przyznawanej liczbie i wielkości przekroczeń.
4. Testy kwantyli rozkładów stóp zwrotu
7
Ponieważ wartości VaR wyrażane są poprzez bezwarunkowe lub
warunkowe kwantyle rozkładów stóp zwrotu, sugeruje się testy oparte
bezpośrednio na tych rozkładach i kwantylach. Konieczne jest założenie
o postaci warunkowego lub bezwarunkowego rozkładu stóp zwrotu2 f ( rt ) .
Analizie podlega szereg prawdopodobieństw odpowiadających odpowiednim
kwantylom (wartości funkcji dystrybuanty założonego rozkładu dla
zrealizowanych stóp zwrotu).
Kolejne testy opierają się na tzw. transformacji Rosenblatta (por. wzór
(24), por. [1],[3]).
Pierwsze prezentowane podejście wykorzystuje modyfikacje tzw. testu
Crnkovica i Drachmana. (por. [1],[4],[1]). Dla obserwowanych ex post stóp
zwrotu wyznacza się szereg:
rt
zt = F ( rt ) = ∫ f (u )du
(24)
−∞
Jeśli model VaR jest prawidłowy, to:
zt ~ iid U ( 0,1) ,
(25)
gdzie U(0,1) – rozkład jednostkowy na przedziale [0,1].
Dalsza procedura sprowadza się zazwyczaj do wykorzystania odpowiedniej
statystyki testu postaci rozkładu (por. [2]). Zazwyczaj wykorzystuje się
klasyczne statystyki:
K = max Fz (v) − Fu (v) ,
(26)
v
Fz (v) − Fu (v)
AD = max
Fu (v) (1 − Fu (v) )
v
,
(27)
Kuiper = max ( Fz ( v ) − Fu ( v ) ) + max ( Fu ( v ) − Fz ( v ) ) ,
v
v
w1Kuiper = max
v
Fz (v) − Fu (v)
Fu (v) (1 − Fu (v) )
+ max
v
Fu ( v ) − Fz (v)
Fu (v) (1 − Fu (v) )
Fz (v) − Fu (v)
 1

w2 Kuiper = max  −
+ ...

v
 2 ln ( Fu (v) (1 − Fu (v) ) ) 
 1

Fu (v) − Fz (v)
... + max  −
,
v
2 ln ( Fu (v) (1 − Fu (v) ) ) 


2
(28)
(29)
(30)
Podejście to możliwe jest również w metodzie historycznej, w której konieczne jest jednak wyznaczenie
rozkładu empirycznego, co jest jedynie pewną niedogodnością.
8
gdzie: Fz ( v ) oraz Fu ( v ) to odpowiednio wartość dystrybuanty dla zmiennej
zt oraz wartość dystrybuanty rozkładu jednostkowego dla argumentu v.
Statystyki dane wzorami (27), (29) i (30) silniej uwypuklają niezgodności
w ogonach rozkładów, co jest ważne w przypadku miar zagrożenia.
Rozszerzenie powyższej metody pozwalające w prosty sposób testować
nie tylko zgodność rozkładów, ale także niezależność (por. wzór (25))
zaproponował Berkowitz (por. [2][1]).
Zmienna zt ulega kolejnej transformacji według wzoru:
 rt

yt = Φ −1 ( zt ) = Φ −1  ∫ f (u )du  ,
(31)
 −∞



gdzie Φ −1 ( ) to funkcja odwrotna do dystrybuanty standaryzowanego rozkładu
normalnego.
Jeśli model VaR jest prawidłowy, to:
yt ~ iid N ( 0,1) .
(32)
Powyższy warunek sprawdza się zazwyczaj poprzez równanie regresji:
yt − µ = ρ1 ( yt −1 − µ ) + ρ 2 rt 2−1 + ε t
(33)
gdzie var ( ε t ) = σ 2 .
Model jest prawidłowy, jeśli brak jest podstaw do odrzucenia hipotezy
zerowej:
H 0 : ( µ , ρ1 , ρ 2 ,σ 2 ) = ( 0,0,0,1) .
(34)
Zaprezentowane podejście staje się coraz popularniejsze, choć niewątpliwym
utrudnieniem w jego stosowaniu jest konieczność przyjęcia lub wyznaczenia
z danych empirycznych warunkowego lub bezwarunkowego rozkładu stóp
zwrotu.
Dla wszystkich powyższych testów możliwe jest stworzenie miar oceny
VaR łączących w sobie oceny modeli wartości zagrożonej dla różnych
poziomów tolerancji VaR, np. 0,01, 0,025 oraz 0,05. Rozwiązanie to jest jednak
stosunkowo rzadko wykorzystywane.
Podsumowanie
Nauka oraz praktyka wypracowały cały szereg metod oceny pomiaru
wartości zagrożonej. Prezentowane w tej pracy rozwiązania są metodami
najbardziej popularnymi oraz reprezentatywnymi dla większych grup metod.
9
Żadne z rozwiązań nie jest wolne od wad oraz każde posiada też pewne zalety.
Testy klasyczne cechuje niska moc, lecz są bardzo proste oraz intuicyjne, gdyż
korespondują wprost z definicją miary VaR i występującymi przekroczeniami.
Testy oparte o funkcję strat ujmują aspekt bezpieczeństwa instytucji oraz/lub
ekonomiki związanej z wielkością kapitału wymaganego. Ich wadą pozostaje
subiektywny wybór postaci funkcji strat oraz fakt, że pojedyncze duże
przekroczenie może prowadzić do odrzucenia w ogólności prawidłowego
modelu. Najciekawszymi i uzyskującymi coraz większą popularność, wydają się
być testy oparte na transformacji Rosenblatta. Pozwalają one skuteczniej
identyfikować modele nieprawidłowe. Niedogodnością w ich stosowaniu
pozostaje jednak konieczność określenia postaci rozkładu stóp zwrotu
(warunkowego lub bezwarunkowego) w wykorzystywanym modelu VaR.
Warto wyraźnie podkreślić, iż w sposób formalny przydatność
powyższych testów oceniona być powinna poprzez analizę błędów I i II rodzaju.
Obszarem dalszej pracy autora w tym zakresie będzie empiryczna analiza mocy
poszczególnych testów w zależności od wielkości symulowanego odstępstwa
(nieprawidłowa częstość przekroczeń, brak niezależności przekroczeń) oraz od
długości próby. Celem będzie odpowiedź na pytanie, który z prezentowanych
testów jakości pomiaru VaR powinien być stosowany w celu minimalizacji
błędu II rodzaju (przyjęcia modelu niepoprawnego jako model poprawny). W
przypadku pomiaru ryzyka, błąd II rodzaju jest bowiem błędem w oczywisty
sposób znacznie bardziej niebezpiecznym, z punktu widzenia instytucji
finansowych, niż błąd I rodzaju (odrzucenia prawidłowego modelu). Analiza
mocy odpowiednich testów jest jednak w wielu przypadkach całkowicie
pomijana a testy stosowane są w sposób bezkrytyczny.
Literatura:
1. Abdelazim Reffat Mohamed, Would Student's t-GARCH Improve VaR
Estimates, University of Jyvaskyla, 2005, www.gloriamundi.org
2.
Barbachan J., Farias A., Ornelas J., Goodness-of-fit Tests focus on
VaR Estimation, Finance Lab Working Papers, Finance Lab, Ibmec
São Paulo, 2003, www.ibmec.br/sub/SP/download.php?recid=2664
3. Berkowitz J., Testing Density Forecasts with Applications to Risk
Management, University of California, Irvine, 2000,
www.uh.edu/~jberkowi/back.pdf
4. Campbell S., A Review of Backtesting and Backtesting Procedures, Federal
Reserve Board, Washington, 2005,
www.federalreserve.gov/Pubs/Feds/2005/
10
5. Hass M., New Methods in Backtesting,. CAESAR, 2001,
www.caesar.de/uploads/media/ cae_pp_0010_haas_2002-02-05_01.pdf
6. Jorion P., Value at Risk 2nd edition, McGraw-Hill, 2001
7. Kuester K., Mittnik S., Paolella M., Value–at–Risk Prediction: A
Comparison of Alternative Strategies, 2005,
www.isb.unizh.ch/institut/staff/paolella.marc/cv_paolella_marc_2005-12.pdf
8. Lopez J., Methods for Evaluating Value-at-Risk. Estimates. Federal Reserve
Bank of Nwe York, www.ny.frb.org/research/epr/98v04n3/9810lope.pdf
9. Piontek K., Papla D., Wykorzystanie wielorównaniowych modeli AR-
GARCH w pomiarze ryzyka metodą VaR. PN 1088 Akademii
Ekonomicznej we Wrocławiu, Wrocław, 2005, www.kpiontek.prv.pl
10. Sarma M., Thomas S., Shah A., Selection of Value-at-Risk Models, 2003,
ideas.repec.org/s/jof/jforec.html
11. Yan Liu, Value-at-Risk Models Combination, Emory University, 2005,
www.gloriamundi.org/detailpopup.asp?ID=453057617
Streszczenie
Przegląd i porównanie metod oceny modeli VaR
Testowanie wsteczne wyników pomiaru wartości zagrożonej jest
procedurą mającą odpowiedzieć na pytanie czy dane podejście można
stosować, lub które z większej ilości konkurencyjnych rozwiązań
powinno zostać wybrane. W pracy zaprezentowane zostały klasyczne
testy wykorzystujące szereg przekroczeń oraz nowsze testy
uwzględniające pełną informację – testy oparte na wartości odpowiednio
zdefiniowanej funkcji strat oraz testy bazujące na analizie własności
szeregu uzyskanego za pomocą tzw. transformacji Rosenblatta.
Zaprezentowane zostały zalety i wady poszczególnych rozwiązań.
Abstrakt
A Survey and a Comparison of Backtesting Procedures
Backtesting is the necessary procedure to choose and to evaluate the
goodness of a VaR models, however, the selection is usually controversial. This
articles presents and summarizes some typical, statistical methods based on the
11
hit function as well as newer procedures using some kind of loss functions and
some quantile measures. Advantages and disadvantages of those methods are
discussed.