docMPEG-7 - Politechnika Wrocławska
download 
Reklamacja Transkrypt
MPEG-7 - Politechnika Wrocławska
MPEGMPEG-7 Oficjalna nazwa: 1. Wstę Wstęp Multimedia Content Description Interface - 2001 Język opisu zawartoś zawartości obiektó obiektów multimedialnych MPEGMPEG-1, MPEGMPEG-2, MPEGMPEG- 4 - normował normowały reprezentację reprezentację (zwarty zapis) obiektó obiektów multimedialnych. MPEGMPEG-7 - normuje opisy zawartoś zawartości obiektó obiektów multimedialnych. Obszar zainteresowania normy MPEGMPEG-7 Jacek Jarnicki Politechnika Wrocł Wrocławska 1 Jacek Jarnicki Politechnika Wrocł Wrocławska 2 Opisy materiał materiału multimedialnego mogą mogą być być tworzone „ręcznie” cznie”, na przykł przykład przez podanie pewnych typowych informacji przez twó twórcó rców materiał materiału (tytuł (tytuł utworu, data produkcji, kró krótki opis treś treści), lub automatycznie przez komputer. Wytworzone w ten sposó sposób opisy są są nastę następnie w odpowiedni, okreś określony standardem MPEGMPEG-7 sposó sposób porzą porządkowane i kodowane . Opis materiał przy pomocy materiału multimedialnego standaryzowanych deskryptoró deskryptorów moż może sł służyć dalej ró różnych celó celów np. do tworzenia indeksó indeksów w archiwach materiał materiałów multimedialnych, wyszukiwania materiał materiałów w bazach danych itp. Jacek Jarnicki Politechnika Wrocł Wrocławska 3 Podstawowe elementy opisu przy pomocy standardu MPEGMPEG-7 Jacek Jarnicki Politechnika Wrocł Wrocławska 4 1 Gdzie moż może być być pomocny standard MPEGMPEG-7? Częś ci normy MPEGCzęści MPEG-7 Systems – the tools needed to prepare MPEGMPEG-7 descriptions for efficient transport and storage and the terminal architecture. Description Definition Language - the language for defining the syntax of the MPEGMPEG7 Description Tools and for defining new Description Schemes. Architektura, rynek nieruchomoś nieruchomości, projektowanie wnę wnętrz (szukanie okreś okreś lonych rozwią rozwiązań zań projektowych) TV, radio (inteligentne przeszukiwanie kanał kanałó w) Usł Usługi kulturalne (muzea, galerie sztuki itp.) Biblioteki cyfrowe (katalogi zdjęć zdjęć i filmó filmó w, katalogi muzyki, itp.) Visual – the Description Tools dealing with (only) Visual descriptions. E-Comerce (katalogi onon-line) line) Audio – the Description Tools dealing with (only) Audio descriptions. Edukacja (poszukiwanie materiał materiału multimedialnego) Rozrywka domowa (przeszukiwanie prywatnych archiwó archiwó w multimedialnych, manipulowane ich zawartoś zawartością cią, edycja materiał materiałó w video, poszukiwanie gier, karaoke) karaoke) Multimedia Description Schemes - the Description Tools dealing with generic features and multimedia descriptions. Usł Usługi detektywistyczne (rozpoznawanie osó osób na podstawie wybranych cech) Reference Software - a software implementation of relevant parts of the MPEGMPEG-7 Standard with normative status. Dziennikarstwo (poszukiwanie materiał materiału multimedialnego) Conformance Testing - guidelines and procedures for testing conformance of MPEGMPEG7 implementations MPEGMPEG-7 Extraction and use of descriptions Edycja materiał materiału multimedialnego ( personalizacja treś treści) Jacek Jarnicki Politechnika Wrocł Wrocławska Katalogi firm, Sł Słowniki, Informatory (przeszukiwanie) Jacek Jarnicki Politechnika Wrocł Wrocławska 5 Inne standardy stosowane do opisu materiał materiału multimedialnego EBU P/META – model normalizują normalizujący dane sł służące żące do opisu materiał materiałów multimedialnych, przyję przyjęto tu tzw. model transakcyjny przydatny w procesie obiegu materiał materiałów: Dublin Core – standard definiuje zestaw atrybutó atrybutów służących żących do opisu materiał materiału, dla przykł przykładu: EBU – European Brodcastning Union • Title (tytuł (tytuł) Przyję Przyjęto nastę następują pujące rodzaje transakcji: • Creator (osoba odpowiedzialna za cał całość materiał materiału) • Producer to Distributor (opis tekstowy, lista wystę występują pujących postaci, skrypt, zdję zdjęcia promocyjne) • Subject (temat) • • • • • Description (opis podsumowują podsumowujący treść treść materiał materiału) • Publisher (wydawca) • 6 … • Coverege (kwalifikacja treś treści) Producer to Archive (…) Archive to Producer (…) Dystributor to Archive (…) Archive to Dystributor (…) • Rights (okreś (określenie praw autorskich) Jacek Jarnicki Politechnika Wrocł Wrocławska 7 Jacek Jarnicki Politechnika Wrocł Wrocławska 8 2 2. Dane podlegają podlegające normalizacji w standardzie MPEGMPEG-7, deskryptory Deskryptory wizualne wedł według standardu MPEGMPEG-7 Podstawowe – Grid Layout, ayout, Time series, Multiple view, Spatial 2D coordinates,Temporal interpolation. interpolation. Jakie dane podlegają podlegają normalizacji? Koloru – Color space, Color Quantization, Dominant Colors, Scalable Color, Color, Color Layout, ColorColor-Structure, GoF/GoP Color. Dane dotyczą dotyczące produktu multimedialnego - autor, tytuł tytuł, producent, format w jakim zapisano produkt itp. Dane dotyczą dotyczące treś treści – opisy zawartoś zawartości treś treścowej. cowej. Tekstury – Homogeneous Texture, Edge Histogram, Texture Browsing. Browsing. Dane dotyczą dotyczące semantyki – zdarzenia, obiekty, postacie. Kształ Kształtu – Region Shape, Contour Shape, and Shape 3D. 3D. Dane dotyczą dotyczące sygnał sygnału – kolor, tekstura, ruch, linia melodyczna muzyki itp. Jacek Jarnicki Politechnika Wrocł Wrocławska Ruchu – Camera Motion, Motion, Motion Trajectory, Trajectory, Parametric Motion, Motion, and Motion Activity. Activity. 9 Jacek Jarnicki Politechnika Wrocł Wrocławska 10 3. Przykł Przykłady deskryptoró deskryptorów video i audio Poł Położenia – Region locator, locator, SpatioSpatio-temporal locator. locator. Rozpoznawanie twarzy – FaceRecognition Jak okreś określone są są niektó niektóre wymienione wcześ wcześniej deskryptory? Jakich modeli matematycznych uż używa się się do ich opisywania? Deskryptory audio wedł według standardu MPEGMPEG-7 Deskryptory video Deskryptory podstawowe – Audio Signature Description Scheme Grid Layout - Definiuje sposó sposób podział podziału obrazu na takie same obszary prostoką prostokątne. Każ Każdy obszar bę będzie dalej traktowany niezależ Każ obszarowi bę niezależnie. Każdemu będą przypisywane dalej niezależ niezależnie wyznaczane dla niego deskryptory takie jak: kolor tekstura itp. – Musical Instrument Timbre Description – Melody Description – Sound Recognition and Indexing Description – Spoken Content Description Jacek Jarnicki Politechnika Wrocł Wrocławska Moż Można powiedzieć powiedzieć, że deskryptor Grid Layout okreś określa sposó sposób „pró próbkowania obrazu” obrazu” innymi deskryptorami. 11 Jacek Jarnicki Politechnika Wrocł Wrocławska 12 3 Time Series - Definiuje szereg czasowy pozwalają pozwalający okreś określić lić zmiany innego deskryptora opisują opisującego obiekt w czasie. Dopuszcza się się wystę występowanie dwó dwóch rodzajó rodzajów deskryptora szeregu czasowego. RegularTimeSeries w tym przypadku pró próbkowanie w dziedzinie czasu nastę następuje w ró równych odstę odstępach i IrregularTimeSeries dla odstę odstępów nieró nierównych. Zastosowanie drugiego sposobu pozwala w niektó niektórych przypadkach na poprawienie zwartoś zwartości opisu. Temporal Interpolation Definiuje sposó sposób interpolacji czasowej wykorzystują wykorzystującej wielomiany. Deskryptor ten moż może być użyty do aproksymacji wartoś zmiennej być wartości wielowymiarowej, dla przykł przykładu poł położenia obiektu na obrazie w sekwencji video. Jacek Jarnicki Politechnika Wrocł Wrocławska 13 Deskryptory koloru Color Space - Definiuje bieżą co uż bieżąco używany model barw. Model ten jest dalej waż ważny dla wszystkich deskryptoró deskryptorów dotyczą dotyczących barwy. Aktualnie norma dopuszcza uż użycie nastę następują pujących modeli barw: – R,G,B – Y,Cr,Cb – H,S,V – HMMD (Hue, Min, Max, Difference) Difference) – Liniowej transformacji z modelu R,G,B – Monochromatycznego Jacek Jarnicki Politechnika Wrocł Wrocławska 15 Temporal Interpolation - Na rysunku powyż powyżej pokazano „prawdziwy” prawdziwy” przebieg wspó współrzę rzędnej x jakiegoś jakiegoś obiektu w czasie oraz jego aproksymację aproksymację pię pięcioma odcinkami prostej i dwoma segmentami paraboli. Jacek Jarnicki Politechnika Wrocł Wrocławska 14 Dominant Color(s) - Charakterystyka pozwalają Color(s) pozwalająca na przypisywanie obiektowi (ramce, obszarowi ramki, sekwencji ramek, obszarowi temporalnemu) informacji o dominują dominującym kolorze (kolorach) : Scalable Color - Histogram barw w modelu HSV zakodowany przy pomocy transformaty Haara. Haara. Przypisywany jest podobnie jak poprzedni deskryptor obiektowi. Reprezentacja falkowa histogramu koloró kolorów pozwala na skalowalność skalowalność deskryptora. Color Layout - Informacja o wspó współczynnikach DCT obliczonych dla poszczegó poszczególnych podobszaró podobszarów Wspó Współczynniki wyznacza się się dla modelu barw Y, i odpowiednio koduje. Jacek Jarnicki Politechnika Wrocł Wrocławska obrazu ramki. Cb, Cr 16 4 Color Structure - Informacja o tzw. strukturalnym histogramie koloró kolorów. Charakterystyka wyliczana jest w przestrzeni barw HMMD. Opis ten pozwala rozró rozróżnić nić przypadki, gdy normalne histogramy są są takie, czyli w dwó dwóch obrazach jest taka sama liczba punktó punktów o danych kolorach. Jeś Jeśli punkty są są rozmieszczone inaczej to histogramy strukturalne dla dwó dwóch takich obrazó obrazów bę będą różne. Deskryptory tekstury Texture Browsing – Charakterystyka okreś określają lająca pewne cechy percepcyjne tekstury, jak na przykł przykład regularność regularność czy kierunkowość kierunkowość.. Dla wyliczenia deskryptora stosuje się się metodę metodę polegają polegającą na analizie kierunkó kierunków na obrazach spektralnych tekstury. Podobnie jak w poprzednim przypadku się się transformację transformację Radona i filtry Gabora. Gabora. Edge Histogram – Histogram rozkł rozkładu przestrzennego elementarnych (jest ich pięć pięć)) typó typów krawę krawędzi. Homogenous Texture – Charakterystyka wyraż wyrażają ająca jednorodność jednorodność tekstury obiektu. Przykł Przykładem tekstury jednorodnej moż może być być widok duż dużego parkingu z samolotu. Dla wyliczenia deskryptora stosuje się się transformację transformację Radona i filtry Gabora. Gabora. Jacek Jarnicki Politechnika Wrocł Wrocławska Jacek Jarnicki Politechnika Wrocł Wrocławska 17 Deskryptory kształ kształtu Region Shape – Charakterystyka kształ kształtu obszaru liczona za pomocą pomocą momentó momentów Zernicke . 18 Contour Shape – Charakterystyka kształ kształtu konturu obszaru. Obliczenia charakterystyki przeprowadza się się na podstawie analizy tzw. Curvature Scalerepresentation Scale-Space (skalowalnej przestrzeni krzywizny). Pozwala to na wył wyłowienie percepcyjnych wł właściwoś ciwości kształ kształtu konturu. Deskryptory ruchu Camera Motion Opis parametró parametrów ruchomej kamery. Kształ Kształty „różne” ne” Kształ Kształty „dość dość podobne” podobne” Jacek Jarnicki Politechnika Wrocł Wrocławska 19 Jacek Jarnicki Politechnika Wrocł Wrocławska 20 5 Deskryptory audio Audio Signature Opis statystycznych wł właściwoś ciwości lokalnych widma sygnał sygnału dźwieku. wieku. Musical Instrument Timbre Zestaw deskryptoró deskryptorów charakteryzują charakteryzujących liczbowo brzmienie poszczegó poszczególnych instrumentó instrumentów muzycznych wyraż wyrażonych w kategoriach analizy widmowej. Motion Trajectory Opis ruchu obiektu (trajektoria) interpolowana przy pomocy krzywej zbudowanej z segmentó segmentów wielomianowych pierwszego lub drugiego stopnia. Musical Instrument Timbre Skomplikowany deskryptor opisują opisujący zależ zależnoś ności czasowe i linie melodyczną melodyczną utworu. General Sound Recognition and Indexing Deskryptor pozwalają pozwalający na odró odróżnienie muzyki od szumu, gł głosu m ężczyzny ężczyzny od kobiety itp. Wykorzystano elementy teorii procesó procesów Markowa Jacek Jarnicki Politechnika Wrocł Wrocławska Jacek Jarnicki Politechnika Wrocł Wrocławska 21 22 AAudioSpectrumProjection Przykł Przykład: AudioSpectrumBasis Charakterystyki zredukowane – AudioSpectrum Basis AudioSpectrumBasis i AudioSpectrum Projection AudioSpectrumProjection Spektrogram – AudioSpectrumEnvelope Jacek Jarnicki Politechnika Wrocł Wrocławska 23 Jacek Jarnicki Politechnika Wrocł Wrocławska 24 6 4. Koncepcja poró porównywania obiektó obiektów Obiekt 1 [D1,D2, …,Dn] Poró Porównanie wektoró wektorów deskryptoró deskryptorów Obiekt 2 [D1,D2, …,Dn] Jacek Jarnicki Politechnika Wrocł Wrocławska 25 7
