Rzutowanie Słowosieci na pojecia ontologii SUMO i inne

Transkrypt

Rzutowanie Słowosieci na pojęcia ontologii SUMO
i inne zasoby semantyczne
Paweł Kędzia, Maciej Piasecki, Michał Marcińczuk, Marek
Maziarz, Jan Wieczorek, Marcin Oleksy
Grupa Naukowa G4.19
Katedra Inteligencji Obliczeniowej
Politechnika Wrocławska
————
CLARIN-PL
27 IV 2016
Plan
Słowosieć a ontologia
Słowosieć a baza wiedzy
System zasobów wiedzy
Ontologia SUMO i związki z wordnetami
Rzutowanie na SUMO
Powiązania pomiędzy Słowosiecią a NELexicon 2.0
Odniesienia do Wikipedii
Paweł Kędzia, Maciej Piasecki, Michał Marcińczuk, Marek Maziarz,
27 IV Jan
2016Wieczorek, Marcin Oleksy (II,PWr)
2 / 33
Słowosieć a ontologia
Słowosieć, ani żaden wordnet nie są ontologiami
ontologia: wymóg rozłącznych kategorii
sieć: nakładanie się znaczeń jednostek o wspólnym hiperonimie
ontologia: precyzja definiowania
sieć: język potoczny a język naukowy, np. lew jako synonim
lwa afrykańskiego
ontologia: kompletność opisu
sieć: struktura zależna od leksykalizacji
ontologia: hiperonimia jako drzewo
sieć: luki na poziomie pojęć ogólnych
ontologia: intencjonalny opis rzeczywistości
sieć: warunkowana użyciem języka
27 IV Jan
3 / 33
Słowosieć a baza wiedzy
Słowosieć opisuje znaczenia leksykalne
Nie zawiera opisu bytów, faktów, ogólnej wiedzy o świecie
Nazwy własne z zasady nie były objęte opisem w ramach
Słowosieci
nazwy stanowią otwartą klasę i mocno zależną od kontekstu
Wyjątki
nazwy będące podstawą słowotwórczą do lematów, które są
częste w korpusie
Polska –charakteryzowanie– polski
Polska Agencja Prasowa, PAP –synonimia
międzyparadygmatyczna dla relacyjnych– papowski
27 IV Jan
4 / 33
Słowosieć jako interfejs pomiędzy tekstem a zasobami
wiedzy
27 IV Jan
5 / 33
SUMO – Suggested Upper Merged Ontology
Darmowa, otwarta, rozszerzenia na licencji GNU GPL
Formalna: ≈ 25 000 termów, ≈ 80 000 aksjomatów
27 IV Jan
6 / 33
SUMO – Suggested Upper Merged Ontology
Strona domowa: http://www.adampease.org/OP/
Cała zrzutowana na Princeton WordNet
Otwarte biomedyczne ontologie (OBO) częściowo zrzutowane
na SUMO (http://www.adampease.org/OP/OBO.html)
FarsNet (WN języka perskiego) posiada rzutowanie na SUMO
Powiązana w MCR z WordNet Domains, Base Concepts, Top
Ontology oraz AdimenSUMO
27 IV Jan
7 / 33
Rzutowanie na SUMO
Co nam daje rzutowanie Słowosieci na SUMO?
1
Przejście na poziom pojęć ontologicznych
2
Ogólniejszy opis słów z tekstu – m.in. cechy klasyfikatora (role
semantyczne – selekcja cech)
3
Powiązanie z innymi zasobami połączonymi z SUMO
27 IV Jan
8 / 33
Cechy stanowiące podstawę reguł przenoszenia relacji
Cel: przeniesienie relacji z PWN–SUMO na Słowosieć–SUMO
Relacje międzyjęzykowe (rzutowania) pomiędzy Słowosiecią i
WordNetem:
i-synonymy, i-hyponymy, i-part-of-meronymy, . . .
Relacje rzutowania pomiędzy WordNetem i SUMO:
equivalent, instance of and subsumed,
Dziedziny synsetów Słowosieci i WordNetu:
body, grp, food, loc, . . .
Wielka litera w pierwszym lemacie synsetu Słowosieci
Odwołałanie do konkretnych pojęć SUMO:
Currency, GroupOfPeople, FieldOfStudy, Human, . . .
27 IV Jan
9 / 33
Proces rzutowania
27 IV Jan
10 / 33
Relacje rzutowania: PWN-SUMO oraz plWN-SUMO
1
equivalent (ekwiwalencja) – synset odpowiada pojęciu SUMO
ze względu na znaczenie synsetu, ze szczególnym wagą
przykładaną do denotacji synsetu,
np. plant 2 –equivalent– Plant.
2
instance of (instancja) – denotacja synsetu jest instancją
pojęcia SUMO,
np. Aristotle 1 –instance of– Man,
lub jest elementem kolekcji denotowanej przez pojęcie SUMO,
np. {Eden 2} –instance of– Region
3
subsumed (podklasa) – denotacja synsetu zawiera się w
denotacji pojęcia SUMO
np. {town 1} –subsumed– City.
4
R – inna relacja (tylko w rzutowaniu plWN–SUMO)
27 IV Jan
11 / 33
Reguły rzutowania (1)
Typy
1
Proste – przenoszące relację
oparte na relacji i-synonymy synonimii międzyjęzykowej,
relacja: synset WordNetu – pojęcie SUMO jest kopiowana na
relację synset Słowosieci – pojęcie SUMO.
2
Złożone – przenoszące bądź zmieniające relację
na podstawie szeregu cech jest rozpoznawany typ relacji
pomiędzy Słowosiecią i SUMO
relacja wynikowa może się różnić od analogicznej relacji
pomiędzy WordNetem i SUMO
27 IV Jan
12 / 33
Reguła prosta zapisana w pseudokodzie
Algorithm 1 Przykłady prostych reguł rzutowania.
1:
2:
3:
4:
5:
6:
7:
8:
9:
if R(PLWN PWN) = I-synonymy and R(PWN SUMO) = equivalent then
R(PLWN SUMO) = equivalent
end if
if R(PLWN PWN) = I-synonymy and R(PWN SUMO) = instance of then
R(PLWN SUMO) = instance of
end if
if R(PLWN PWN) = I-synonymy and R(PWN SUMO) = subsumed then
R(PLWN SUMO) = subsumed
end if
27 IV Jan
13 / 33
Przykłady prostych reguł
Efekt zastosowania prostych reguł z Algorytmu 1
Relacja subsumed:
1 {kark 1 (body)} – subsumed – BodyPart →
{kark 1 (body)} jest
i-synonym {nape 1 (body)}
2
{mieczyk 1 (plant)} – subsumed – FloweringPlant →
{mieczyk 1 (plant)} jest i-synonym {genus Gladiolus 1 (plant)}
Relacja instance of:
1 {geometria rzutowa 1 (cogn)} – instance of – FieldOfStudy →
{geometria rzutowa 1 (cogn)} jest i-synonym dla {projective geometry 1 (cogn)}
2
{Ateny 1 (loc)} – instance of – City →
{Ateny 1 (cogn)} jest
i-synonym {Athens 1 (cogn)}
Relacja equivalent:
1 {czekolada 1 (food)} – equivalent – Chocolate →
{czekolada 1 (food)} jest i-synonym {chocolate 2 (food)}
2
{wał rozrządu 1 (arte)} – equivalent – Camshaft →
{wał rozrządu 1 (arte)} jest i-synonym {camshaft 1 (arte)}
27 IV Jan
14 / 33
Reguła złożona zapisana w pseudokodzie
Algorithm 2 Przykłady reguł rzutowania, które odwołują się do dziedzin
synsetów Słowosieci i WordNetu
1:
2:
3:
4:
5:
6:
7:
8:
9:
10:
if R(PLWN PWN) = I-part-of-meronymy and R(PWN SUMO)
= equivalent then
if PLWN SYNSET zaczyna się wielką literą then
if D(PLWN) ∈ {loc} and D(PWN) ∈ {natobj} then
end if
if D(PLWN) ∈ {rel} and D(PWN) ∈ {loc} then
end if
end if
end if
27 IV Jan
15 / 33
Przykłady reguł rzutowania
Złożone reguły
Efekty zastosowania złożonych reguł z Algorytmu 2:
1 {Europa Wschodnia 1 (loc)} – instance of – Europe →
{Europa Wschodnia 1 (loc)} – I-part-of-meronymy – {Europe 1 (natobj)} –
instance of – Europe
2
{Europa Zachodnia 1 (loc)} – instance of – Europe →
{Europa Zachodnia 1 (loc)} – I-part-of-meronymy – {Europe 1 (natobj)} –
instance of – Europe
3
{Europa Południowo-Wschodnia 1 (loc)} – instance of –
Europe → {Europa Południowo-Wschodnia 1 (loc)} – I-part-of-meronymy –
{Europe 1 (natobj)} – instance of – Europe
4
{Amazonia 1 (loc)} – instance of – SouthAmerica →
{Amazonia 1 (loc)} – I-part-of-meronymy – {South America 1 (natobj)} –
instance of – SouthAmerica
5
{Hetmańszczyzna 1 (rel)} – instance of – Ukraine →
{Hetmańszczyzna 1 (rel)} – I-part-of-meronymy – {Ukraine 1 (natobj)} –
instance of – Ukraine
27 IV Jan
16 / 33
Reguła złożona zapisana w pseudokodzie
Algorithm 3 Przykłady reguł wykorzystujących dziedziny synsetów Słowosieci i WordNetu oraz pojęcia SUMO
1:
2:
3:
4:
5:
6:
7:
if R(PLWN PWN) = I-part-of-holonymy and R(PWN SUMO)
= subsumed then
if D(PLWN) ∈ {natphen} and D(PWN) ∈ {st} then
if SUMO CONCEPT=DiseaseOrSyndrome then
R(PLWN SUMO) = subsumed
end if
end if
end if
27 IV Jan
17 / 33
Złożone reguły
1 {dysplazja śmiertelna 1 (natphen)} – subsumed –
DiseaseOrSyndrome → {dysplazja śmiertelna 1 (natphen)} –
I-part-of-holonymy – {birth defect 1 (st)} – subsumed – DiseaseOrSyndrome
2
{zespół delecji 13q 1 (natphen)} – subsumed –
DiseaseOrSyndrome → {zespół delecji 13q 1 (natphen)} –
3
{fetopatia cukrzycowa 1 (natphen)} – subsumed –
DiseaseOrSyndrome → {fetopatia cukrzycowa 1 (natphen)} –
4
{ślepota z Rodrigue 1 (natphen)} – subsumed –
DiseaseOrSyndrome → {ślepota z Rodrigue 1 (natphen)} –
5
{pentalogia Cantrella 1 (natphen)} – subsumed –
DiseaseOrSyndrome → {pentalogia Cantrella 1 (natphen)} –
27 IV Jan
18 / 33
Przykłady przypadków kiedy typ relacji nie może być rozstrzygnięty automatycznie
Algorithm 4 Przykład przypadku kiedy typ relacji nie może być rozstrzygnięty automatycznie
1:
2:
3:
4:
5:
if R(PLWN PWN) = I-part-of-meronymy and R(PWN SUMO)
= subsumed then
if D(PLWN) ∈ {loc, body , arte, grp, . . . , class} then
R(PLWN SUMO) = manually
end if
end if
27 IV Jan
19 / 33
Złożone reguły
1 {okno 7 (arte)} – manually – Region → {okno 7 (arte)} –
I-part-of-meronymy – {hotbed 2 (arte)} – subsumed – Region
2
{skrzydło 9 (arte)} – manually – Door →
3
{strzelnica 2 (loc)} – manually – Corporation →
{skrzydło 9 (arte)} –
I-part-of-meronymy – {door 1 (arte)} – subsumed – Door
{strzelnica 2 (loc)} – I-part-of-meronymy – {amusement park 1 (loc)} –
subsumed – Corporation
4
{biblioteka szkolna 1 (loc)} – manually – School →
{biblioteka szkolna 1 (loc)} – I-part-of-meronymy – {school 2 (arte)} –
subsumed – School
5
{oliwka 5 (body)} – manually – BodyPart →
6
{węzina 1 (body)} – manually – ThyroidGland →
{oliwka 5 (body)} –
I-part-of-meronymy – {medulla oblongata 1 (arte)} – subsumed – BodyPart
{węzina 1 (body)} – I-part-of-meronymy – {thyroid gland 1 (arte)} – subsumed
– ThyroidGland
27 IV Jan
20 / 33
Uaktualnianie rzutowania - Krok 1
Redukcja relacji niedookreślonych R
RReduktor – redukuje niedookreślone relacje wynikające z wielu
rzutowań plWN-PWN
Przykład:
abnegat.1(os) – hiper pa – slob.1 – Human – R
abnegat.1(os) – hipo pa – person.1 – Human – subsumed
agnegat.1(os) - subsumed - Human
27 IV Jan
21 / 33
Poprawa typu relacji rzutującej
Bulbulator – propaguje wynik prostych reguł na pozostałe
rzutowania dla danej pary {znaczenie, pojęcie SUMO}
Przykład:
krzesło.1(wytw)
krzesło.1(wytw)
krzesło.1(wytw)
krzesło.1(wytw)
krzesło.1(wytw)
krzesło.1(wytw)
subsumed
–
–
–
–
–
–
syn pa – chair.1(wytw) – Chair – equivalent
hipo pa – fighting chair.1(wytw) – Chair – subsumed
hiper pa – Eames chair.1(wytw) – Chair – subsumed
hiper pa – ladder-back.1(wytw) – Chair – subsumed
hiper pa – straight chair.1(wytw) – Chair – subsumed
hiper pa – tablet-armed chair.1(wytw) – Chair –
krzesło.1(wytw) - equivalent - Chair
27 IV Jan
22 / 33
Poprawa typu relacji rzutującej
Oknak – dla danej pary {znaczenie, pojęcie SUMO} wyszukuje
różne kombinacje wystąpień relacji m.językowych i ustala typ
relacji rzutującej.
mero:el pa oraz hipo pa → subsumed
mero:cz pa oraz hipo pa → subsumed
mero:cz pa oraz hiper pa → subsumed
synmr pa oraz syncz pa → subsumed
synmr pa oraz hipo pa → subsumed
syn pa oraz hiper pa → equivalent
hipo pa oraz hiper pa → instance of
lasek.1 – hipo pa – forest.1 – Forest – subsumed
lasek.1 – synmr pa – forest.2 – Forest – equivalent
lasek.1 - subsumed - Forest
27 IV Jan
23 / 33
Redukcja nadmiarowych rzutowań
Corec – Redukuje niepotrzebne rzutowania na podstawie
szczegółowości pojęć
Znaczenie z1 posiada rzutowania na pojęcia A, B, C , D
Znamy strukturę SUMO – wiemy, które pojęcie z którym jest
połączone
Jeżeli pomiędzy A, B, C , D zachodzi relacja isA: wybieramy
pojęcie najbardziej szczegółowe
Relacje zachowujemy takie, jakie były przy konkretnych
rzutowaniach
27 IV Jan
24 / 33
Redukcja nadmiarowych rzutowań
Serdel – Dla zadanego znaczenia usuwa rzutowania na
SubjectiveAssessmentAttribute – przy założeniu, że istnieją inne
dla niego
Przykład:
matnia.1(st) – subsumed – TrapOrCage
matnia.1(st) – subsumed – SubjectiveAssessmentAttribute
matnia.1(st) -- subsumed -- TrapOrCage
27 IV Jan
25 / 33
Generowanie nowych rzutowań
Rubin – Wykorzystując relacje międzyjęzykowe oraz strukturę
hiperonimiczną WordNetów generuje nowe rzutowania
Rysunek: Rzutowanie plWN - PWN - SUMO
27 IV Jan
26 / 33
Ocena wyników algorytmu
Krok 1: Automatyczna ocena wyników algorytmu rzutowania:
Różne relacje wygenerowane dla tej samej pary {synset
Słowosieci, pojęcie SUMO}
Zaobserwowany błąd: 0,06%
Krok 2: Ocena ręczna przez lingwistów:
Próbka 160 rezultatów rzutowania
Schemat oceny: 2+1
Trzy klasy: poprawne, niepoprawne, podłączony do hiperonimu
Zgodność pomiędzy anotatorami: 81%
Zmierzona dokładność rzutowania: 0,831 %
Co zrobić z synsetami zrzutowanymi za pomocą relacji R?
27 IV Jan
27 / 33
Statystyki rzutowania (1)
Ogólne statystyki zrzutowanych i niezrzutowanych synsetów
Liczba rzutowań Kwiecień 2014: 87 550
Liczba rzutowań Maj 2014: 92 810
Liczba rzutowań Luty 2016: 175 635
Liczba zrzutowanych synsetów: 175 635, tj. 89.2% wszystkich
Tablica: Liczba synsetów Słowosieci zrzutowanych na SUMO i
pozostawionych do decyzji (ręcznie)
POS
Rzeczownik
Czasownik
Przymiotnik
Ręcznie
Maj
Luty
2014 2016
4 316 5 810
1
25
356
955
Zrzutowane
Maj
Luty
2014
2016
84 607 147 783
17
498
3 691
20 564
Ręcznie [%]
Maj Luty
2014 2016
4,8
3,8
5,5
5,0
8,8
4,4
27 IV Jan
28 / 33
Statystyki rzutowania (5)
Pięć najczęstszych pojęć SUMO w rezultatach rzutowania dla każdej relacji.
Relacja
Equivalent
Instance of
Subsumed
Znaczenie
Human
SocialRole
Position
Bird
Female
City
FieldOfStudy
Human
SocialRole
Position
SubjectiveAssessmentAttribute
Human
Position
FloweringPlant
SocialRole
Liczba synsetów
405
274
270
198
76
1 689
1 262
1 164
421
339
7 779
7 740
4 871
4 442
4 281
27 IV Jan
29 / 33
Powiązania pomiędzy Słowosiecią a NELexicon 2.0
Hierarchia kategorii nazw w NELexicon 2.0 (2,4 mln nazw
własnych): 102 kategoria, 3 poziomy
Ręczne rzutowanie kategorii najniższego poziomu na wybrane
synsety
np. nam liv plant → roślina 1
w niektórych przypadkach więcej niż jeden synset
np. nam eve human aniversary→rocznica 2, rocznica 1
Ręczne rzutowanie na pojęcia SUMO
80 ze 102 kategorii zrzutowanych
np. nam pro model car → SelfPoweredRoadVehicle
Automatyczne rzutowanie nazw
w oparciu o miarę powiązania znaczeniowego wydobytą z
korpusu, pary wydobyte przez wzorce z tekstu oraz struktury
Wikipedii
za pomocą WordnetWeaver
27 IV Jan
30 / 33
Odniesienia do Wikipedii
Ręcznie dodane powiązania do haseł Wikipedii
synset ←→ hasło Wikipedii
np. Polska 1
{##L http://pl.wikipedia.org/wiki/Polska}
Dodawane tylko wtedy, gdy jednostka leksykalna ze Słowosieci
oznacza ten sam byt (np. zwierzę/roślinę etc.), które opisane
jest w haśle Wikipedii,
Wszystkie elementy synsetu mają te samo powiązanie
jeżeli Wikipedia omawia jakiś takson, który określony jest
liczbą mnogą (np. kręgowce), to nie można takiego hasła
łączyć z jednostką, która jest wyrażona w liczbie pojedynczej
(np. kręgowiec)
Synsety połączone bliskoznacznością opatrujemy tym samym
powiązaniem
Łączna liczba powiązań: około 54 tys.
27 IV Jan
31 / 33
Podsumowanie
Reguły wykorzystujące wyniki ręcznego rzutowania WordNet
na SUMO oraz ręcznego rzutownania międzyjęzykowego
pozwoliły na zbudowania efektywnych reguł rzutowania na
SUMO
Słowosieć stała się interfejsem pomiędzy zasobami wiedzy a
językiem
Powiązania pomiędzy NELexicon a Słowosiecią wymagają
pogłębienia z poziomu kategorii do indywidualnych nazw
System zasobów jest dalej rozszerzony przez powiązania do
struktur walencyjnych (Walenty) oraz słownika
wielowyrazowych jednostek leksykalnych
27 IV Jan
32 / 33
27 IV Jan
33 / 33

Rzutowanie Słowosieci na pojecia ontologii SUMO i inne

Transkrypt

Podobne dokumenty

tutaj - Polski Związek Karate Fudokan

PORSCHE APPROVED SOPOT - CENTRUM SAMOCHODÓW

VII Memoriał Helio Gracie (seniorzy)

bieszczady - Prima Tour

Uchwała Nr 246 - VIII/2016 - NSZZ Funkcjonariuszy i Pracowników

Szanowni Państwo - htrse-2016

sumo pokazx - Urząd Miasta w Sulejówku