Metody sztucznej inteligencji - Instytut Sterowania i Systemów

Transkrypt

Metody sztucznej inteligencji
sztuczne sieci neuronowe - wstęp
dr hab. inż. Andrzej Obuchowicz, prof. UZ
Instytut Sterowania i Systemów Informatycznych
Uniwersytet Zielonogórski
A. Obuchowicz
1/ 18
Literatura
1
R. Tadeusiewicz: Sieci neuronowe, Akademicka Oficyna
Wydawnicza, Warszawa 1993.
2
J. Korbicz, A. Obuchowicz, D. Uciński: Sztuczne sieci neuronowe.
Podstawy i zastosowania, Akademicka Oficyna Wydawnicza PLJ,
Warszawa 1994.
3
J. Hertz, A. Krogh, R.G. Palmer: Wstęp do obliczeń neuronowych,
WNT, Warszawa 1993.
J. Żurada, M. Barski, W. Jędruch: Sztuczne sieci neuronowe,
Wydawnictwo naukowe PWN, Warszawa 1996.
4
5
S. Osowski: Sieci neuronowe w ujęciu algorytmicznym, WNT,
Warszawa 1996.
6
W. Duch, J. Korbicz, L. Rutkowski, R. Tadeusiewicz (Red.):
Biocybernetyka i inżynieria biomedyczna 2000. Sieci neuronowe,
Akademicka Oficyna Wydawnicza EXIT, Warszawa 2000.
A. Obuchowicz
2/ 18
Plan wykładu
trochę historii
systemy biologiczne vs. systemy sztuczne
elementy neurobiologii
własności systemów neuronowych
klasy problemów rozwiązywanych za pomocą sieci neuronowych
obszary zastosowań
podsumowanie
A. Obuchowicz
3/ 18
Trochę historii
Krótki zarys
1943 McCulloch i Pitts — model neuronu
1949 Hebb — reguła uczenia samoorganizującego
1958 Rosenblatt — perceptron prosty
1962 Widrow i Hoff — reguła LMS dla ADALINE (reguła delty)
1969 Minsky i Pappert — krytyka perceptronu prostego
1969–1986 „chude” lata badań nad SSN
1986 Rummelhart i McCelland (wcześniej Werbos 1974) — algorytm
wstecznej propagacji
1986–do dziś — eksplozja zaiteresowania i implementacji i
zastosowań SSN
A. Obuchowicz
4/ 18
Systemy biologiczne vs. systemy sztuczne
System biologiczny
1
mózg (w szczególności ludzki) jest wysoce złożonym, nieliniowym i równoległym
systemem przetwarzania informacji;
2
prędkość przesyłania informacji w mózgu jest stosunkowo niska;
3
proces obliczeniowy jest powolny i o niskiej precyzji;
4
ludzki mózg jest bardziej efektywny od dowolnego komputera na polu
rozpoznawania obrazów, przetwarzania sygnałów czy podejmowania decyzji;
System elektroniczny
1
elementy elektroniczne (tranzystory) działają tysiące razy szybciej od
biologicznych komórek nerwowych;
2
konwencjonalne komputery wykonują obliczenia szybciej i precyzyjniej niż ludzki
mózg;
3
rozpoznawanie obrazów, przetwarzania sygnałów czy podejmowania decyzji
wymaga od klasycznego komputera niezwykle skomplikowanych algorytmów o
dużej złożoności czasowej i przestrzennej.
A. Obuchowicz
5/ 18
Systemy biologiczne vs. systemy sztuczne
Idea i cel
Połączyć szybkość działania elementów elektronicznych z
właściwościami ludzkiego mózgu – bardzo efektywne narzędzie do
rozwiązywania szerokiej gamy problemów.
Sztuczna sieć neuronowa jest maszyną, która jest tak
zaprojektowana, aby modelowała sposób w jaki mózg rozwiązuje
postawiony przed nim problem.
A. Obuchowicz
6/ 18
Elementy neurobiologii
System informacyjny człowieka
System informacyjny człowieka składa sie głównie z systemu nerwowego i
hormonalnego. Również znaczącą rolę informacyjną ma system immunologiczny
Schemat ogólny systemu nerwowego
A. Obuchowicz
7/ 18
Centralny (ośrodkowy) system nerwowy
obejmuje mózg i rdzeń kręgowy,
jest to skupisko gęsto upakowanych komórek nerwowych tworzących złożone
sieci,
zadanie systemu – analiza i przetwarzanie informacji.
Obwodowy system nerwowy
system komunikacyjny,
przesyła sygnały pobierane z receptorów do systemu centralnego,
przekazuje sygnały sterujące od systemu centralnego do efektorów (odbiorników
rozkazów) umieszczonych w różnych częściach ciała.
Autonomiczny system nerwowy
Regulator procesów wegetatywnych, zachodzących w narządach wewnętrznych
decydujących o funkcjonowaniu organizmu.
A. Obuchowicz
8/ 18
Mózg i system nerwowy
Mózg i system nerwowy nie tworzą struktury ciągłej.
Podstawowym elementem systemu nerwowego jest komórka nerwowa
– neuron.
System nerwowy zawiera ok. 1018 , z których ok. 1011 stanowią
komórki połączone w sieć.
Dzięki temu realizowane są funkcje emocji, pamięci, inteligencji i
zdolności twórczych.
Średnio na jeden neuron przypada kilka tysięcy połączeń, ale dla
poszczególnych komórek te wartości mogą się znacznie różnić.
A. Obuchowicz
9/ 18
Schemat budowy komórki nerwowej
A. Obuchowicz
10/ 18
Własności systemów neuronowych
Uczenie się i adaptacja
proces uczenia sieci neuronowej to wyznaczenie wartości wag połączeń pomiędzy
neuronami
uczenie nadzorowane
uczenie z krytykiem
uczenie nienadzorowane
Przetwarzanie równoległe
sieci neuronowe przetwarzają informację równolegle
typowy impuls neuronowy trwa kilka ms
układy półprzewodnikowe są kilka milionów razy szybsze
realizacja sieci neuronowej w postaci półprzewodnikowej
A. Obuchowicz
11/ 18
Odporność na uszkodzenia
z przetwarzania równoległego płynie odporność sieci neuronowych na uszkodzenia
w mózgu człowieka komórki umierają nieustannie co nie wpływa ujemnie na jego
funkcjonowanie
przy dużej liczbie powiązań neuronowych sieć staje się odporna na błędy
występujące w niektórych połączeniach
funkcje uszkodzonych połączeń przejmują inne
pojedyncza waga niesie tylko jedynie niewielką informację o problemie
Zdolność uogólniania (generalizacja)
sieć wytrenowana na pewnej liczbie wzorców potrafi skojarzyć nabytą wiedzę i
wykazać poprawne działanie na danych, które nie uczestniczyły w uczeniu
dostępne dane dzieli się na zbiór uczący L i testujący T . W zbiorze uczącym
wydziela się podzbiór V , służący do weryfikacji postępów uczenia
ilościowa miara uogólniania – trudna do zdefiniowania
A. Obuchowicz
12/ 18
Realizacja sprzętowa
możliwość realizacji w technice o wielkim stopniu integracji
perspektywa zbudowania uniwersalnego procesora
realizacja sprzętowa – daleko w tyle za realizacjami programowymi
pojawiają ciekawe rozwiązania sprzętowe
⋄ układy w postaci komponentów mogących współpracować z
klasycznymi komputerami
⋄ predykcja wykonywania zadań w procesorze Intel Pentium
⋄ komputery neuronowe, np. TRW MARK III i TRW MARK IV.
Ostatni składa się z 250000 neuronów i 5.5 miliona połączeń
synaptycznych
A. Obuchowicz
13/ 18
Aproksymacja dowolnych nieliniowości
ta właściwość odnosi się do określonej klasy sieci neuronowych
(wielowarstwowych jednokierunkowych i radialnych)
przy doborze odpowiedniej liczby warstw i neuronów możliwe jest zrealizowanie
aproksymacji dowolnej nieliniowej funkcji z żądaną dokładnością
sieci wielowarstwowe i radialne najczęściej stosowane w wielu dziedzinach
Wielowymiarowość)
budowanie systemów o wielu wejściach i wielu wyjściach (MIMO)
z technicznego punktu widzenia uczenia nie ma różnicy czy system jest typu
SISO, MISO czy MIMO
dla systemów o wielu wyjściach uczenie może sprawiać kłopoty – sieć musi
nauczyć się kilku zadań jednocześnie
A. Obuchowicz
14/ 18
Klasy problemów rozwiązywalne przez SNN
Autoasocjacja
Obraz jest rekonstruowany przez sieć neuronową z obrazu niekompletnego i/lub
zaszumionego
przykład: sieć Hopfielda, rozpoznawanie i odtwarzanie znaków alfanumerycznych
Heteroasocjacja)
sieć realizuje odwzorowanie wejście-wyjście, dla obrazu 1 podawanego na wejście
siec generowany jest obraz 2 na jej wyjściu
przykłady: problem aproksymacji, problem modelowania obiektów dynamicznych,
kompresja danych
A. Obuchowicz
15/ 18
Klasy problemów rozwiązywalne przez SNN
Klasyfikacja
sieć przypisuje do odpowiednich klas (zbiorów) różne obrazy wejściowe
w zadaniu rozpoznawania cyfr i liter, po podaniu litery sieć generuje 1 po
podaniu cyfry 0
przykłady: problem parzystości, detekcja uszkodzeń w urządzeniach
przemysłowych
Detekcja regularności)
wykrywanie statystycznie istotnych cech w obrazie wejściowym
nie ma zadanego a priori zbioru kategorii, według których klasyfikuje się obrazy
wejściowe
system samodzielnie tworzy swoją własną reprezentację obrazów wejściowych
przykłady: analiza czynników głównych, kompresja obrazów, wykrywanie
uszkodzeń
A. Obuchowicz
16/ 18
Obszary zastosowań SNN
Przestrzeń powietrzna: systemy autopilotażu, symulacja lotu,
systemy kontroli lotu, systemy detekcji uszkodzeń komponentów
samolotu
Motoryzacja: systemy nawigacji
Bankowość: systemy czytające czeki i inne dokumenty bankowe
Obronność: systemy sterowania pociskami, śledzenie obiektów,
przetwarzanie sygnałów radarowych i sonarowych, przetwarzanie
obrazów
Elektronika: syntezery głosu, systemy analizy błędów podczas
procesu projektowania układów elektronicznych
Rozrywka: animacja, efekty specjalne
Finanse: analiza linii kredytowych, predykcja kursu walut,
przewidywanie cen akcji spółek giełdowych, przeszukiwanie zastawów
hipotecznych
A. Obuchowicz
17/ 18
Obszary zastosowań SNN
Ubezpieczenia: ocena wniosków, optymalizacja produktu,
Medycyna: diagnostyka raka piersi, analiza sygnałów EEG i EKG,
systemy szacujące możliwości zredukowania wydatków szpitala
Przemysł: projektowanie i analiza produktu, diagnostyka procesu
przemysłowego i maszyn, wizualne systemy inspekcji jakości
produktu, ocena jakości papieru, analiza jakości chipów
komputerowych, modelowanie procesów przemysłowych,
Robotyka: sterowniki, sterowanie robotem po określonej trajektorii
Mowa: systemy rozpoznawania mowy, kompresja mowy
Telekomunikacja: kompresja danych, systemy tłumaczenia języka
Transport: systemy diagnostyki układu hamulcowego ciężarówek,
planowanie ruchu
A. Obuchowicz
18/ 18
Podsumowanie
Sieci neuronowe są bardzo wyrafinowaną techniką modelowania
Szczególnie atrakcyjne są możliwości zastosowań do rozwiązywania
problemów o charakterze nieliniowym
O popularności sieci neuronowych może świadczyć fakt ilości
sprzedaży oprogramowania
A. Obuchowicz
19/ 18

Metody sztucznej inteligencji - Instytut Sterowania i Systemów

Transkrypt

Podobne dokumenty

Inteligencja Maszynowa

Sztuczna Inteligencja i Systemy Ekspertowe

Biostatystyka - lista zadań nr 2 Zadanie 1. W IV klasie szkoły

Prorektor ds. Studiów Krzysztof Lewenstein urodził się w 1951 roku

Nowa tragedia

Czy jesteśmy gotowi na sztuczną inteligencję?

czytaj cały artykuł