Page 1 Metody optymalizacji Dr inŜ. Ewa Szlachcic Wydział

Transkrypt

Nieliniowe zadanie optymalizacji bez ograniczeń
– numeryczne metody iteracyjne optymalizacji
I. Techniki optymalizacji lokalnej
Ad.I Iteracyjne algorytmy optymalizacji
∧
f (x ) = f  x 
 
min
x∈R n
Algorytmy optymalizacji w kierunku
Algorytmy optymalizacji bez ograniczeń
Algorytmy optymalizacji z ograniczeniami
Algorytmy poszukiwania minimum lokalnego dla:
• zadania programowania nieliniowego bez ograniczeń
• zadania programowania nieliniowego z ograniczeniami
Algorytmy zbieŜne do minimum lokalnego x*, jeŜeli taki punkt istnieje.
Metody optymalizacji
Dr inŜ. Ewa Szlachcic
Wydział Elektroniki studia magisterskie II stopnia
kier. Telekomunikacja
ZbieŜność ciągu punktów
Algorytmy zbieŜne do minimum lokalnego x*, jeŜeli taki punkt istnieje.
Algorytm optymalizacji lokalnej - przemierzanie obszaru rozwiązań
dopuszczalnych w poszukiwaniu ekstremum funkcji celu według
iteracyjnego schematu.
Kryteria zbieŜności:
Definicja. Mówimy, Ŝe ciąg punktów
∧
{x }k ∞= 1
k
jest zbieŜny do
1. Test teoretyczny
f ( x k ) − f ( xˆ ) ≤ ε 1 , x k − xˆ ≤ ε 2
punktu x jeŜeli ciąg róŜnic k-tych przybliŜeń i punktu
∧
optymalnego (punktu minimum) h k = x k − x
zbiega do zera, co w
2. PrzybliŜona stacjonarność rozwiązania
n
przestrzeni R oznacza, Ŝe
∇f ( x k ) = g k
hk → 0
⇒ gk ≤ ε
3. Testy praktyczne:
xik − xik +1 ≤ ε i , ∀i = 1,..., n
lub
f ( x k ) − f ( x k +1 ) ≤ ε 1
Schemat algorytmu optymalizacji lokalnej bez ograniczeń
(1) Wybierz punkt startowy xo = xk.
(2) Oblicz wartość funkcji f(xk) oraz jeŜeli jest to wymagane to jej gradient
∇ f(xk)
Algorytmy optymalizacji lokalnej
Algorytmy bezgradientowe
Algorytm Hooke’a-Jeeves’a
Algorytm Nelder’-Meade’a
Algorytm Gauss’a-Seidla
Algorytm Powella
Algorytmy gradientowe
Algorytm największego spadku
Zmodyfikowany algorytm Newtona
Algorytm Zangwilla
Algorytm Fletchera-Reeves’a
Algorytm Polaka-Ribiery
Algorytm Fletchera-Powella-Davidona
Algorytm Wolf’a-Broydena-Davidona
(3) Zbadaj przyjęte kryterium zbieŜności.
•Jeśli kryterium jest spełnione to koniec algorytmu – uzyskano
rozwiązanie optymalne xk i optymalną wartość funkcji celu f(xk)
•JeŜeli nie, to przejdź do (4)
(4) Wyznacz ustalony kierunek poszukiwań :
dk
(5) Wykonaj minimalizację kierunkową wybraną metodą:
x k +1 ∈ T ( x k , d k )
(6) Podstaw
x ⇐x
k
k +1
oraz
k ⇐ k +1
i przejdź do (2)
Wydział Elektroniki
Politechniki Wrocławskiej
Studia II stopnia magisterskie
Metody podstawowe kierunków poprawy
d ( k ) = ei ( k )
1. Metoda Gaussa-Seidla (bezgradientowa).
Metoda Gaussa-Seidla
(bardzo wolna zbieŜność
liniowa)
2. Metoda największego spadku (gradientowa).
( )
3. Metoda Newtona (gradient i hesjan).
d ( k ) = −∇f x ( k )
Metoda największego spadku
(zbieŜność liniowa)
x2
( )
d ( k ) = −H x ( k )
−1
( )
∇f x ( k )
Metoda Newtona (zbieŜna
kwadratowo ale kosztowna i
nie zawsze stabilna)
 ∂ f 
H = hij = 

 ∂xi ∂x j i , j∈{1, 2,..., n}
2
{ }
Ilustracja metody Gaussa-Seidla
x1
Najefektywniejsze są tzw. metody quasi-newtonowskie, w których w
kolejnych iteracjach konstruuje się przybliŜenie odwrotności hesjanu.
Iteracja metody poszukiwania minimum w kierunku
Do minimalizacji w kierunku moŜna uŜyć kilku algorytmów takich
jak np.:
Algorytmy bez-gradientowe:
złotego podziału,
aproksymacji kwadratowej,
Przebieg typowej k-tej iteracji dowolnej metody realizującej
ideę poszukiwania wzdłuŜ kierunku:
1. Określ kierunek poszukiwań
Algorytmy gradientowe:
ekspansji i kontrakcji geometrycznej z testem
jednoskośnym,
logarytmiczny złoty podział odcinka ze wstępną ekspansją
i kontrakcją geometryczną,
aproksymacji parabolicznej z testem jednoskośnym,
bisekcji z testem dwuskośnym Goldstein’a,
Algorytm Gauss’a-Seidela
~
2. Znajdź α minimalizujące f (α ) = f ( x k + αd k )
3. Podstaw
x
k +1
ze względu na α .
= x +α d .
k
k
Algorytm obliczeń – metoda Gauss’a-Seidla
Istotą metody jest minimalizacja funkcji f(x) wzdłuŜ kolejnych kierunków
ortogonalnej bazy , która utworzona jest z wersorów układu współrzędnych
kartezjańskich.
Algorytm Gaussa-Seidela polega na cyklicznym stosowaniu odwzorowania T
do kolejnych kierunków ortogonalnej bazy.
Wykonanie jednego takiego cyklu nazywa się k-tą iterację.
Odwzorowanie T:
{
dk.
T ( x, d i ) = xik +1 : f ( xik +1 = min f ( xik + τ i d i ), xik +1 = xik + τ i d i
τ ∈σ
}
(1) Wybierz punkt startowy xo=xk. Oblicz wartość
funkcji f(xk)
(2) Zbadaj kryterium zbieŜności:
xik − xik +1 ≤ ε i , ∀i = 1,..., n
oraz
f k − f k +1 ≤ ε 1
gdzie ε ∈[0, δ ] np. : ε = 10−6
Jeśli tak, to koniec, jeśli nie, to przejdź do (3)
Przebieg algorytmu optymalizacji lokalnej Gauss’a-Seidla
(3) Wyznacz kierunek poszukiwań : są to kolejne kierunki ortogonalnej bazy
d k = ek
e1 = [1,0,...,0]
Np.
(4) Wykonaj minimalizację kierunkową wybraną metodą:
x k +1 ∈ T ( x k , d k )
x k ⇐ x k +1
(5) Podstaw
oraz
k ⇐ k +1 i
powtórz
(1)
Metoda Gauss’a-Seidel’a
2
x1**2+x1*x2+0.5*x2**2-x1-x2
1
1 2
2
1
2
1
-1
-2
-3
-4
0.5
1
1.5
2
2.5
3
3.5
4
Ta metoda jest stosowana dla funkcji, których poziomice mają kształt
wąskich dolin.
MoŜna dzięki niej uzyskać znaczną poprawę szybkości zbieŜności w
stosunku do metody Gaussa-Seidela.
0
0
Metoda Powella
"punkty.dat"
f(x)= x +x x +0.5x ^2-x -x
0.5
18
16
14
12
10
-2
-1
8
6
4
2
0
1
Wykres warstwic-0.5
funkcji f(x)
Wariant pierwszy metody Powella
Modyfikacja kierunku poszukiwań następuje tu w wyniku wprowadzania
do bazy ortogonalnej kierunków sprzęŜonych do juŜ istniejących.
Stosuje się dwa warianty metody Powella.
W pierwszym do istniejącej bazy wprowadza się kierunki sprzęŜone co
obieg (czyli po minimalizacji wzdłuŜ n kierunków obowiązującej bazy),
zaś w drugim wariancie następuje to po spełnieniu określonego
warunku.
PoniewaŜ kierunki wzajemnie sprzęŜone są liniowo niezaleŜne, w obu
wariantach metody Powella zachowany pozostaje warunek
jednoznaczności przekształcenia bazy kierunków poszukiwań. Dzięki
temu mamy pewność, iŜ nie nastąpi redukcja wymiarowości bazy, co
prowadziłoby do niezbieŜności metody.
Kryterium stopu
1) Dla j = 1 ..n obliczamy λj minimalizujące f(xj) oraz współrzędne nowego
punktu
xj = xj-1 + λjSj
2) Wyznaczamy składowe kierunku sprzęŜonego zgodnie ze wzorem :
W celu ustalenia warunków zakończenia działania procedury iteracyjnej Powell zastosował następujący algorytm:
1)Wykonywanie standardowej procedury aŜ do momentu, gdy w kolejnej iteracji przesunięcie punktu wzdłuŜ poszczególnych
kierunków poszukiwań będzie mniejsze niŜ 0,1 wymaganej dokładności obliczeń eps. Znaleziony punkt oznaczony jest jako Pa.
2)Obliczenie nowego punktu startowego przez pomnoŜenie współrzędnych punktu Pa przez 10eps.
3) Określamy λ minimalizujące f(xn+1) wzdłuŜ nowego
oraz wyznaczamy współrzędne nowego punktu startowego
xn+1 = xn + λSn+1
kierunku
Sn+1
1) Dokonujemy modyfikacji kierunków poszukiwań zgodnie z zasadą
Sr = Sr+1 dla r = 1 .. n
Czynności od kroku 1) do 4) powtarzamy aŜ spełnione zostanie kryterium na
minimum.
3)Powtórzenie czynności z punktu 1). Znaleziony punkt oznaczony jest jako Pb.
4)Znalezienie minimum funkcji wzdłuŜ linii przechodzącej przez oba wyznaczone punkty (Pa i Pb).
Znaleziony punkt oznaczony jest jako Pc.
5)Zakończenie działania procedury jeŜeli |Pa - Pc| oraz |Pb - Pc| są mniejsze od 0,1eps.
6)W przeciwnym przypadku wyznaczenie nowego kierunku poszukiwań Sk zgodnie ze wzorem
i włączenie go do bazy na miejsce S1, a następnie ponowne przejście do punktu 1).
Ze względu na to, iż w pewnych przypadkach procedura nie charakteryzuje się zbieżnością II
rzędu, należy przed jej rozpoczęciem dokonać minimalizacji funkcji wzdłuż wszystkich
kierunków ortogonalnej bazy początkowej.
Metoda Powella
Algorytm Nelder’a- Meade’a – metoda sympleksu NM dla zadań bez
ograniczeń
Algorytm Compleks dla zadań z ograniczeniami
"punkty.dat"
2
f(x)= xx1**2+x1*x2+0.5*x2**2-x1-x2
1 +x 1x 2+0.5x 2^2-x 1-x 2
1
0
-1
-2
Utworzyć simpleks o n+1 lub 2n wierzchołkach
Obliczyć środek symetrii sympleksu
Zastosować operacje:
Operacja odbicia
Operacja ekspansji
Operacja kontrakcji
-3
-4
-0.5
0.5
20
18
16
14
12
10
-2
-1
8
6
4
2
0
1
Wykres warstwic
funkcji f(x)
0
0.5
1
1.5
2
2.5
3
3.5
4
Metoda największego spadku NS
Algorytm obliczeń – metoda NS
jest to metoda gradientowa, która pozwala szukać minimum róŜniczkowalnej funkcji
nieliniowej f(x).
funkcji f(xk) oraz jej gradient ∇ f(xk)
Koncepcja metody wynika z lematu, w którym wykazano, Ŝe jeśli istnieje kierunek d w
przestrzeni
R
n
taki, Ŝe
∇f ( x), d < 0
to
f ( x + τd ) < f ( x )
∇f ( x k ), ∇f ( x k ) = 0 czyli
∇f ( x k ), ∇f ( x k ) ≤ ε
gdzie ε ∈[0, δ ] np. : ε = 10−6
(3) Wyznacz kierunek poszukiwań :
d k = −∇f ( x k )
Do minimalizacji w kierunku zastosowano
gradientowy algorytm bisekcji z testem dwuskośnym
Goldstein’a :
(4) Wykonaj minimalizację kierunkową
wybraną metodą:
x k +1 ∈ T ( x k , d k )
(5) Podstaw x k ⇐ x k +1
oraz
k ⇐ k +1 i
powtórz
(1)
Działanie algorytmu bisekcji z testem dwuskośnym Goldstein'a
dla funkcji:
Algorytm bisekcji z testem dwuskośnym Golstein’a – algorytm
gradientowy
Praktycznie do wyszukania punktów spełniających test dwuskośny
Goldsteina stosuje się następujący algorytm bisekcji:
(1) Oblicz pochodną w kierunku
τR > 0
kroku
taki , Ŝe
p = ∇f ( x o ) T d
f ( x 0 + τd ).
(3) Jeśli f ( x + τd ) < f ( x ) + (1 − β ) pτ to podstaw τ L ⇒ τ
i przejdź do kroku (2), w przeciwnym razie przejdź do kroku (4)
0
(4) Jeśli
punkt początkowy x0 = [0, 0]T
kierunek d = [1, 0]T
2
współczynnik testu β = 5
początkowa wartość współczynnika kroku τR = 9
dokładność dla testu
1
2
τ = (τ L + τ R ). Oblicz
(2) Wyznacz
oraz współczynnik
f (x0 + τ Rd ) < f (x0)
f(x1, x2) = (x1)2 + 2(x2)2 – 6x1 + x1x2
0
f ( x 0 + τd ) > f ( x 0 ) + βpτ to podstaw
ε ′ =10−5
τR ⇒τ
i przejdź do kroku (2), w przeciwnym przypadku koniec.
p = ∇f ( x o )T d
Pochodna w kierunku
zatem mamy:


(2) Obliczamy
1
2
∇f ( x ) = [− 6,0]
0
Otrzymujemy wartość pochodnej p:
1
2
τ = (τ R ) = (9) = 4,5


∇f ( x) = ∂f (x) , ∂f (x)  = 2x − 6 + x ,4x + x 
2 2 1
∂x   1
 ∂x
1
2 

0
T
dla x = x = [0, 0]
1
2
τ = (τ L + τ R ) oraz f ( x 0 + τd ).


f ( x 0 + τd ) = f (0,0) + ( 4,5 ,0)  = 20,25 - 27 = - 6,75


Przechodzimy do kroku (3)
1
p = ∇f ( x o ) T d = [− 6 0] ⋅   = −6
0
f ( x + τd ) > f ( x ) + βpτ
(4) JeŜeli
to podstaw τ R ⇒ τ
i przejdź do kroku (2). W przeciwnym wypadku KONIEC
0
(3) JeŜeli f ( x 0 + τd ) < f ( x 0 ) + (1 − β ) pτ
to podstaw τ ⇒ τ
i przejdź do kroku (2). W przeciwnym wypadku przejdź do
kroku (4)
L
sprawdzamy:
-6,75 <? 0 + ( −6) ⋅ (0,6 ) ⋅ ( 4,5) = −16,2
NIE
-6,75 >? 0 + ( −6) ⋅ (0,4 ) ⋅ ( 4,5) = −10,8
TAK
i przechodzimy do kroku (2)
DRUGA ITERACJA
(...)
Po trzeciej iteracji otrzymujemy wynik
sprawdzamy:
τ =3,375
Przechodzimy do kroku (4)
0
Obliczamy
d0 = −∇f (x0) =[−2,−2]T
PoniewaŜ pierwsza stosowana wartość współczynnika kroku
τR = 1 spełnia test dwuskośny Goldsteina, więc:
d 1 = −∇f ( x1) = [ 2 − 2]T
x1 = x0 + τ0 d0 = [0 1]T
W drugiej iteracji mamy:
Otrzymujemy:
Działanie algorytmu najszybszego spadku dla funkcji:
f(x1, x2) = 2(x1)2 + (x2)2 – 2 x1x2
punkt
początkowy
x0
= [2,
3]T
1
współczynnik testu β =
4
początkowa
f ( x1 + τd 1 ) = 20τ 2 − 8τ + 1
− 2
p = ∇f ( x 1 ) T d 1 =   ⋅ [ 2 − 2] = −8
2
wartość współczynnika kroku τR = 1
Zatem test dwuskośny ma postać
-6 ≤ 20τ2 - 8τ ≤ -2
Kolejno podane są punkty wyznaczone za pomocą algorytmu
najszybszego spadku dla funkcji:
f(x1, x2) = 2(x1)2 + (x2)2 – 2 x1x2
x0 = [2 3]
x1 = [0 1]
Za pomocą algorytmu bisekcji (test dwuskośny Goldsteina) w
trzeciej próbie znajdujemy wartość współczynnika τ1 = 0,25
Stąd
1 1 T
x2 = x1 + τ1 d1 = [
]
2 2
Postępując zgodnie z algorytmem otrzymujemy kolejne
wartości punktów optymalizowanej funkcji.
x2 = [ 1 1 ]
2 2
x3 = [ 1 1 ]
4 2
x4 = [ 1 1 ] itd....
4 4
I
tak kolejno, aŜ do momentu gdy zostanie spełniony warunek
^
^
∇ f ( x ), ∇ f ( x ) < ε = 10 − 3
Tak uzyskano rozwiązanie optymalne xk=[0,0] i f(xk)=0.
Kolejne iteracje metody największego spadku NS
Funkcja celu f(x)
x0
x1
x3
x2
x5
x4
x^
M
M
Algorytm obliczeń – metoda Newtona
(3) Wyznacz kierunek poszukiwań :
d k = − H −1 ∇f ( x k )
funkcji f(xk) oraz jej gradient ∇ f(xk)
(4) Wykonaj minimalizację kierunkową
wybraną metodą:
x k +1 ∈ T ( x k , d k )
∇f ( x k ), ∇f ( x k ) ≤ ε
∇f ( x k ), ∇f ( x k ) = 0 czyli
(5) Podstaw x k ⇐ x k +1
k ⇐ k +1 i
oraz
powtórz
(1)
gdzie ε ∈[0, δ ] np. : ε = 10−6
1. Metoda Polak’a-Ribier’y:
k +1
k +1
k
Wyznacz kierunek sprzęŜony d = −∇f ( x ) + β k d
βk =
(∇f ( x k +1 ) − ∇f ( x k )), ∇f ( x k +1 )
gdzie:
∇f ( x k ), ∇f ( x k )
2. Metoda Fletcher’a-Reeves’a
Wyznacz kierunek sprzęŜony
d k +1 = −∇f ( x k +1 ) + β k d k
βk =
∇f ( x k +1 ), ∇f ( x k +1 )
∇f ( x ), ∇f ( x )
k
k
2. Metoda Davidon’a-Fletcher’a-Powell’a (DFP)
gdzie:
Algorytm Nelder’a- Meade’a – metoda sympleksu NM dla zadań bez
ograniczeń
Algorytm Compleks dla zadań z ograniczeniami
Kierunki poszukiwań dla metod gradientowych
Utworzyć simpleks o n+1 lub 2n wierzchołkach
Obliczyć środek symetrii sympleksu
Zastosować operacje:
Operacja odbicia
Operacja ekspansji
Operacja kontrakcji
d k = −Vk ∇f ( x k )
DFP – modyfikacja macierzy Vk ,polegająca na
dodawaniu w kaŜdej kolejnej iteracji do
aktualnej macierzy Vk czynnika powodującego
dąŜenie macierzy Vk do macierzy H-1.
x k +1 = x k + β k d k
Vk +1 = Vk +
d k >< d k
d k , Ad k
Algorytmy optymalizacji z ograniczeniami cd.
Algorytmy optymalizacji z ograniczeniami
W celu uwzględnienia ograniczeń moŜna postąpić w poniŜszy sposób:
• dokonać transformacji zmiennych decyzyjnych
• dokonać transformacji funkcji celu wprowadzając funkcje kary.
Przykłady transformacji zmiennych dla
typowych ograniczeń:
1.
xi ≥ 0
xi = ui2
xi = exp(u i )
xi = ui
2.
0 ≤ xi ≤ 1
xi = sin 2 u i
xi =
3.
ai ≤ xi ≤ bi
exp(ui )
exp(ui ) + exp(−ui )
xi = ai + (bi − ai ) sin 2 (ui )
Transformacja funkcji kryterialnej:
m
P ( x, σ , θ ) = f ( x ) + ∑ σ iϕ ( g i ( x ) + θ i ) H ( g i ( x ) + θ i )
i =1
Funkcja kary charakteryzuje się tym, Ŝe w zbiorze rozwiązań dopuszczalnych
X przyjmuje wartość równą zeru lub bliską zeru, a poza tym obszarem
przyjmuje bardzo duŜe wartości.
Gdzie:
σ i > 0, σ = [σ 1 , σ 2 ,..., σ m ]
θ i > 0, θ = [θ1 ,θ 2 ,...,θ m ]
φ( )
jest wektorem współczynników kary
jest wektorem przesunięć kary
funkcja kary
ϕ ( g i ( x) + θ i ) : np. ( g i ( x) + θ i ) 2 lub ( − g i −1 ( x) + θ i )
Algorytmy optymalizacji z ograniczeniami cd.
Funkcja H ma poniŜszą własność:
1 dla g i ( x) + θ i > 0
H ( g i ( x) + θ i ) = 
0 dla g i ( x) + θ i ≤ 0
1.
Metody zewnętrznej funkcji kary (metoda Couranta, metoda
Schmita i Foxa)
2.
Metody wewnętrznej funkcji kary (metoda Rosenbrocka,
metoda Carolla)
3.
Metody przesuwanej funkcji kary (metoda Powella).

Page 1 Metody optymalizacji Dr inŜ. Ewa Szlachcic Wydział

Transkrypt

Podobne dokumenty

Przykłady

1 strona - Ubyszów altana

komputer PC Klawiatura komputera Klawiatura z joystickiem do

Rys 32.dwg - Zespół Szkół w Smolnicy

Poznań, 25 maja 2009 roku DOP – 013/66/2009 Zarządzenie nr 66

Chłopcy z IVe Mistrzem SP12 w Dwa Ognie

I MM-ZI, gr. 2 oraz gr. 4 GRAFIKA INŻYNIERSKA

Zagadnienia egzaminacyjne sp_II_st IG