Lekcja 6: Sieci Hopfielda i sieci BAM

Lekcja 6: Sieci Hopfielda i sieci BAM
S. Hoa Nguyen
1
Materiał
Sieci Hopfielda (Pamięć auto-asosjacyjna)
Rysunek 1: Sieć Hopfielda
Charakterystyka sieci:
a) Sieć rekurencyjna, jednawarstwowa
b) Sygnały wejściowe/ wyjściowe: {1, −1}

net > 0
 1
c) Funkcja aktywacji :yt+1 (net) = yt (net) net = 0

−1
net < 0
Algorytm uczenia
a) inicjalizacja wag sieci,
b) pobranie przykładu uczącego xp ,
c) korygowanie wag wszystkich neuronów: wij = wij + xpi xpj dla i 6= j
1
d) powtórzenie kroków 2-4 dla wszystkich przykładów uczących.
Reguła korekty wag - postać macierzowa (Reguła Hebb’a)
W = [wij =
p
X
xp xTp − pI]
p=1
Sieci BAM (Bidirectional Associative Memeory)(Pamięć asosjacyjna)
Rysunek 2: Sieć BAM
Charakterystyka sieci:
a) Sieć rekurencyjna, dwu-warstwowa
b) Sygnały wejściowe/ wyjściowe: {1, −1}

net > 0
 1
c) Funkcja aktywacji : yt+1 (net) = yt (net) net = 0

−1
net < 0
Algorytm uczenia
a) inicjalizacja wag sieci,
b) pobranie przykładu uczącego: (ap , bp ),
c) korygowanie wag wszystkich neuronów: wij = wij + api bpj
d) powtórzenie kroków 2-4 dla wszystkich przykładów uczących.
2
Reguła korekty wag - postać macierzowa
W = [wij =
P
X
ap bTp ]
p=1
2
Zadania
Zadanie 1 Zaprojektować sieć Hopfielda do zapamiętania następujących wzorców {(−1, 1, 1), (1, −1, 1)}
• Wyznaczyć wagi neronów używając reguły uczenia Hebb’a
• Sprawdzić, czy sieć zapamięta dobrze wzorce treningowe? Rozpatrywać dwa tryby odwarzania: synchroniczna i asynchroniczna
• Z którym wzorcem jest skojarzony wzorzec (1, 1, −1)?
Zadanie 2 (Implementacja sieci Hofielda) Zaprojektować sieć Hopfielda,
która zapamięta poniższe trzy wzorców monochromatyczne.
• Podać charakterystyki neuronów w warstwie wyjściowej sieci.
• Podać przyjętą reprezentację wymienionych wzorców.
• Wyznaczyć wagi neronów sieci, zakładając, że początkowe wagi mają
wartość 0.
• Sprawdzić, jakie obrazy w rzeczywistości pamiętane są przez zaprojektowaną sieć?
• Czy sieć pamięta również wzorce, których nie chcieliśmy zapamiętać?
Jak można to wytłumaczyć?
Rysunek 3: Wzorce do zadania 4
Zadanie 3 (Implementacja sieci BAM) Zaprojektować i zaimplementować
sieć BAM (Kosko), która pamięta pary przedstawione poniżej. Eksperymentalnie sprawdzić ile (procentowo) obrazu można ”zaszumić” zachowując wciąż dobre wyniki asocjacji.
3
Rysunek 4: Wzorce do zadania 3.
4