Czarnecka, Grochala projekt streograficznego systemu video

Czarnecka, Grochala projekt streograficznego systemu video

Autor: Paulina Czarnecka, Aleksandra Grochala
Opiekun naukowy: dr inż. Anna Fryśkowska
PROJEKT STREOGRAFICZNEGO SYSTEMU VIDEO
NA POTRZEBY INWENTARYZACJI OBIEKTÓW DROGOWYCH
Streszczenie: Projekt ma na celu zbadanie możliwości wykorzystania aparatów niemetrycznych Canon
PowerShot 710 IS, tworzących system video, do zastosowań fotogrametrycznych. Zakres prac obejmował
kalibrację kamer oraz projekt osnowy fotogrametrycznej. Punkty osnowy zaprojektowano tak, by ich
centry były identyfikowalne z różnych odległości, przy różnym ustawieniu aparatu z dokładnością 3-5
pikseli. Punkty rozmieszczono tak, by na każdym stereogramie była odpowiednia liczba równomiernie
rozmieszczonych punktów. Dotyczy to zarówno zdjęć normalnych, jak i zwróconych oraz zbieżnych.
Założona osnowa stanowi podstawę orientacji systemu. Zakres zastosowania tak przygotowanego
systemu jest problemem aktualnym i odpowiada na szerokie potrzeby rynku, np. inwentaryzacja dróg
wojewódzkich.
Słowa kluczowe: fotogrametria bliskiego zasięgu, kalibracja, system video, orientacja
1. Wstęp
Niemetryczne aparaty cyfrowe coraz częściej znajdują zastosowanie w fotogrametrii
bliskiego zasięgu. Przede wszystkim są one tanie i łatwo dostępne na rynku.
Dla pewnych zastosowań okazuje się być wystarczające stosowanie tego typu narzędzi
pomiarowych. Aby mówić o przydatności kamer cyfrowych (aparatów cyfrowych
z funkcją video) na potrzeby fotogrametryczne należy przeprowadzić kalibrację
systemu. W tym celu wyznacza się elementy orientacji wewnętrznej aparatu, wykonując
jego kalibrację. Stanowi to jeden z etapów wykonanych prac.
Analiza literatury poruszająca tą tematykę zarówno krajową jak i zagraniczną,
pokazała
szereg
licznych
zastosowań
fotogrametrii
naziemnej.
Jest
ona
wykorzystywana do tworzenia ortofotomap, ortofotoplanów, opracowywania elewacji i
inwentaryzacji obiektów. Znajduje również zastosowanie przy modelowaniu 3D wnętrz
oraz zewnętrz budynków.
Opisu sytemu video na potrzeby inwentaryzacji nie spotkamy w istniejącej
literaturze. Zaproponowana metoda jest próbą zbudowania systemu do opracowania
pomiaru z wykorzystaniem dwóch kamer video w ruchu.
Zakres prac obejmował kalibrację kamer oraz projekt osnowy fotogrametrycznej.
Sygnalizowane punkty osnowy zaprojektowano uwzględniając terenową wielkość
piksela przy różnych odległościach aparatu od obiektu, na którym rozmieszczono
fotopunkty. Pod uwagę wzięte zostało zmienne usytuowanie aparatu względem punktu
(zdjęcia normalne, zwrócone i zbieżne). Pozwoliło to na dobranie odpowiedniego
rozmiaru i kształtu znaków pomiarowych tak, aby centr znaku był identyfikowalny
na obrazie z dokładnością 3-5 pikseli. Zostały wyliczone odpowiednie wielkości
znaków, grubości linii, średnice centrów. Punkty były rozmieszczone równomiernie,
uwzględniając założenie, aby liczba punktów na każdej klatce mieściła się w przedziale
od 10 do 18, zarówno dla video normalnych, jak i skośnych oraz zwróconych.
Wykonana kalibracja umożliwiła wykorzystanie aparatów niemetrycznych do celów
fotogrametrycznych. Natomiast założona osnowa stanowi podstawę orientacji systemu.
Badania prowadzą do ustalenia odpowiednich warunków budowy systemu video,
z uwzględnieniem m. in.: wielkości pokrycia,
typu zdjęć (normalne, zwrócone,
zbieżne), prędkości pozyskiwania filmu.
2. Kalibracja aparatów cyfrowych
Do badań nie wykorzystano typowych kamer, ale aparaty niemetryczne Canon
PowerShot A710 IS z funkcją video, co pozwoli na zbadanie ich przydatności w
fotogrametrii. W tabeli zamieszczono wykorzystane do obliczeń parametry aparatów
miedzy innymi: rozdzielczość trybu video, wymiary matrycy, zakres ogniskowych.
Podczas wykorzystania nagrań zablokowano funkcję autofokus i wybrano najkrótszą
ogniskową, co zapewniało szerokie pole widzenia.
Tabela
2.1.
Podstawowe
parametry
aparatów
Canon
PowerShot
[www.optyczne.pl]
Liczba pikseli
7 Mpix
Rozdzielczość trybu video
480 x 640
Wymiar matrycy w pionie [mm]
43
Wymiar matrycy z poziomie [mm]
58
Ogniskowa obiektywu [mm]
5,8 - 34,8
Liczba klatek na sekundę w trybie video
30
A710
IS
Rys. 2.1. Aparat kompaktowy Canon PowerShot A710 IS [www.optyczne.pl]
Kalibrację aparatów przeprowadzono w oprogramowaniu Image Master Calib.
Wykorzystano test 2D, dostarczony przez producenta oprogramowania.
Rys. 2.2. Test kalibracyjny 2D [Image Master Manual]
Test składa się ze 145 czarnych kropek i 5 kwadratów. Wskazanie środków czterech
zewnętrznych kwadratów w odpowiedniej kolejności pozwoliło na automatyczny
pomiar pozostałych punktów.
Aby mówić o poprawnie przeprowadzonej kalibracji należy wykonać zdjęcia dla
różnych kątów wychylenia aparatu.
Rys. 2.3. Przykładowe zdjęcia testu wykonane dla różnych kątów wychylenia aparatu
cyfrowego
Zdjęcia były wykonane w trybie manualnym, aby w całości zapanowac nad
usyawieniami ekspozycji. Zdjecia wykonane zostały tak, aby środkowy kwadrat był
zawsze w centrum zdjęcia.
Wyznaczone elementy orientacji wewnętrznej dla oby aparatów zamieszczono
w tabelach poniżej:
Tabela 2.2. Parametry orientacji wewnętrzej dla lewego aparatu
Aparat lewy
Ogniskowa [mm]
Współrzędne punktu głównego
[mm]
Dystorsja radialna [mm]
Dystorsja tangencjalna [mm]
5,67
Xp
2,734
Yp
2,098
K1
0,00693
K2
-0,00021
P1
0,000056
P2
-0,000140
Tabela 2.3. Parametry orientacji wewnętrzej dla prawego aparatu
Aparat prawy
Ogniskowa [mm]
Współrzędne punktu głównego
[mm]
Dystorsja radialna [mm]
Dystorsja tangencjalna [mm]
5,70
Xp
2,820
Yp
2,122
K1
0,00649
K2
-0,00020
P1
0,000730
P2
-0,000305
Wykonane zostało 10 serii pomiarowych dla każdego aparatu. Ich wyniki były
uśrednione, z wyjątkiem dystrorsji tangencjalnej. Jej wartości zanacznie różniły się
między sobą. W związku z tym uśrednione zostały wyniki 3 najbardziej stabilnych serii
pomiarowych,
3. Pole testowe 3D
Dla poprawnej orientacji systemu należało zaprojektować pole testowe 3D.
Przy projekcie pola zostały wzięte pod uwagę: przestrzenne rozmieszczenie punktów,
liczbę punktów przypadających na stereogram, terenową wielkość pixela oraz zmienne
usytuowania aparatów.
Punkty pomiarowe rozmieszczono przestrzennie w pomieszczeniu testowym.
Zostały one rozmieszczone równomiernie. Współrzędne 95 pkt. pomierzono
geodezyjnie z dokładnością ( plus minus ) 5mm.
Rys. 3.4. Rozmieszczenie znaków pomiarowych w pomieszczeniu testowym
Dodatkowo pomieszczenie zostało zeskanowane skanerem laserowym Leica
ScanStation 2. Chmura punktów pozwoli na pozyskanie współrzędnych zarówno
znaków pomiarowych jak i wszystkich szczegółów pomieszczenia. Pomiar dokonano z
2 stanowisk, na 5 tarcz celowniczych. Gęstość skanowania całego pomieszczenia
ustawiono na 20 mm, natomiast gęstość, z jaką skaner dokonał pomiaru na tarcze
celownicze oraz punkty pomiarowe zastała ustawiona na 1mm.
4. Projekt systemu video
Wyliczona baza do projektu systemu wynosiła 35 cm. Pozwoliło to na zachowanie
pokrycia około 70-80%. Przy tak ustalonych warunkach dokonano przejazdu systemu
na trasie o długości około 3 m. System składał się z dwóch aparatów Canon PowerShot
A710IS. Zostały one stabilnie przymocowane na wózku poruszającym się na kółkach.
Pozwoliło to na uzyskanie płynnego nagrania. Wyeliminowano rozmazanie obrazu.
Jednocześnie drgania wózka symulowały ruch pojazdu po drodze.
Rys. 4.1. Projekt systemu video
Wykonano próbne przejazdy z różną prędkością, aby wybrać optymalną. Przez
pojęcie prędkości optymalnej rozumiana jest taka, która pozwoli uzyskać obraz dobrej
jakości (bez rozmazania), przy stosunkowo krótkim czasie rejestracji. Każda seria
nagrań obejmowała zdjęcia normalne, zbieżne oraz zwrócone. W przypadku zdjęć
zbieżnych aparaty zwrócono pod kątem 7°. Natomiast dla zdjęć zwróconych kąt
wyniósł 30°. Wartości te ustalono na podstawie wcześniejszych obliczeń i nagrań
próbnych. Bazę wyznaczono z błędem na poziomie 2%,co przy długości 35 cm daje
wartość błędu 7 mm. Błąd pomiaru kątów oszacowano na 5% tj. 1,5° dla kąta 30°.
Analiza uzyskanych video pozwoli wybrać typ zdjęć, pozyskuje najwięcej danych
istotnych w inwentaryzacji obiektów drogowych.
5. Kalibracja systemu video
Dalszy etap prac obejmuje opracowanie programu realizującego kalibrację systemu
video przy wyznaczonych wcześniej elementach orientacji wzajemnej i bezwzględnej.
Wybór odpowiednich klatek z filmu pozwoli na wygenerowanie stereogramów.
Korelacja będzie przebiegała automatycznie z wykorzystaniem metody najmniejszych
kwadratów LSM (ang. Least Square Metod). Jest to metoda, która pozwala oszacować
parametry transformacji pomiędzy obrazami zachowując minimalną odległość
euklidesową pomiędzy nimi [Oude i Vosselman, 2011]. Funkcje f (x, y) oraz g (x, y)
reprezentują kolejno okno pierwotne i poszukiwawcze. Głównym, zadanym problemem
jest oszacowanie parametrów ostatecznej transformacji, spełniającej dopasowanie
funkcji szukanej do funkcji szablonowej. Przypadek wzorcowy opisuje równanie (5.1) :
𝑓 (𝑥, 𝑦) = 𝑔(𝑥, 𝑦)
(5.1)
W powyższym równaniu należy uwzględnić błędy przypadkowe, które są
reprezentowane przez wektor błędów e (x, y).
𝑓 (𝑥, 𝑦) − 𝑒(𝑥, 𝑦) = 𝑔(𝑥, 𝑦)
(5.2)
Równanie (5.2) jest równaniem obserwacyjnym. Wiąże ono obserwacje funkcji f
(x, y) z parametrami g (x, y).
𝑒 = 𝐴𝑥 − 𝑙, 𝑃
P – macierz wag;.
A – macierz skonstruowana;
x - wektor parametrów;
l = f (x, y, z) – g0 (x, y, z) – odległość euklidesowa;
(5.3)
Parametry nieznane traktowane są jako wielkości stochastyczne.
−𝑒𝑏 = 𝐼𝑥 − 𝑙𝑏 , 𝑃𝑏
(5.4)
gdzie:
I – macierz skalarna;
lb – wektor obserwacji dla układu parametrów;
Pb − powiązana macierz wagowanych współczynników.
Rozwiązanie najmniejszych kwadratów dla układu równań −𝑒 = 𝐴𝑥 − 𝑙, 𝑃 oraz
−𝑒𝑏 = 𝐼𝑥 − 𝑙𝑏 , 𝑃𝑏 daje uogólniony model Gaussa- Markova:
wektor rozwiązania
𝑥̂ = (𝐴𝑇 𝑃𝐴 + 𝑃𝑏 )−1 (𝐴𝑇 𝑃𝑙 + 𝑃𝑏 𝑙𝑏 )
współczynnik wariancji
𝜎̂02 =
𝑣 𝑇 𝑃𝑣+𝑣𝑏𝑇 𝑃𝑏 𝑣𝑏
𝑟
(5.5)
(5.6)
wektor odchyłek
𝑣 = 𝐴𝑥̂ − 𝑙
parametrów obserwacji
(5.7)
wektor odchyłek
𝑣𝑏 = 𝐼𝑥̂ − 𝑙𝑏
parametrów obserwacji
(5.8)
Podane powyżej rozwiązanie jest rozwiązanie iteracyjnym. Prowadzi do
wyznaczenia parametrów transformacji, umożliwiających korelację obrazów. Algorytm
oparty na powyższych formułach obliczeniowych pozwoli na automatyczne wykonanie
korelacji.
W wyniku kalibracji systemu zostaną obliczone współrzędne przestrzenne X, Y, Z.
W przypadku zdjęć normalnych są one obliczane na podstawie zależności:
𝑋𝐴
𝑥′
=
𝑌𝐴
𝑐𝑘
=
𝐵
𝑝
𝑍
i
𝑧′
=
𝑌𝐴
𝑐𝑘
=
𝐵
𝑝
(5.9),(5.10)
Z tego wynika, że:
𝑋𝐴 =
𝐵
∙ 𝑥′
(5.11)
𝑌𝐴 = 𝑝 ∙ 𝑐𝑘
(5.12)
𝑝
𝐵
𝐵
𝑍𝐴 = 𝑝 ∙ 𝑧′
(5.13)
𝑋𝐴 , 𝑌𝐴 , 𝑍𝐴 – współrzędne terenowe punktu A
𝑥 ′ , 𝑧′ - współrzędne obrazowe punktu A na lewym zdjęciu
𝑐𝑘 - stała kamery (ogniskowa)
p – paralaksa podłużna,
B – baza [Butowtt, Kaczyński, 2010].
Przypadek zdjęć zwróconych wymaga uwzględnienia kąta zwrócenia zdjęć.
Wykorzystując wcześniejsze oznaczenia można zapisać następujące zależności:
𝑌𝐴 =
𝐵
𝑝
(𝑐 ∙ cos 𝜑 + 𝑥 ′′ sin 𝜑)
(5.14)
𝑥′
𝑋𝐴 = 𝑐 ∙ 𝑌𝐴
(5.15)
𝑘
𝑧′
𝑍𝐴 = 𝑐 ∙ 𝑌𝐴
(5.16)
𝑘
𝑥 ′′ - odcięta tłowa na prawym zdjęciu, 𝑥 ′′ = 𝑥 ′ − 𝑝
𝜑 − kąt zwrócenia zdjęć [Linsenbarth, 1974].
Najbardziej skomplikowaną geometrią charakteryzuje się układ zdjęć zbieżnych.
Wymaga uwzględnienia dwóch kątów zwrotu 𝜑1 i 𝜑2 ( dla zdjęć lewych i prawych).
W takim przypadku współrzędna 𝑌𝐴 przyjmuje postać [Linsenbarth, 1974]:
𝑌𝐴 =
𝐵 cos 𝑥 ′ cos( 𝜑2 + 𝛼′′ )
(5.17)
sin(𝜑1 + 𝛼′ + 𝜑2 − 𝛼′′)
Gdzie:
𝛼 ′ = 𝑎𝑟𝑐 𝑡𝑔
𝛼 ′′ = 𝑎𝑟𝑐 𝑡𝑔
𝑥′
(5.18)
𝑐𝑘
𝑥′′
(5.19)
𝑐𝑘
W opisywanych badaniach przyjęto równe kąty zwrotu dla zdjęć lewych i prawych.
Wówczas 𝜑2 = 𝜑1 = 𝜑. Można uprościć powyższe równanie do następującej postaci:
𝑌𝐴 =
𝐵 cos 𝑥 ′ cos( 𝜑+ 𝛼′′ )
Pozostałe współrzędne należy wtedy obliczyć z
[Linsenbarth,1974]:
(5.20)
sin(2𝜑+ 𝛼′ − 𝛼′′)
następujących
wzorów
𝑋𝐴 =
𝑌𝐴
𝑍𝐴 =
𝑌𝐴
𝑐𝑘
𝑐𝑘
∙ 𝑥′
(5.21)
∙ 𝑧′
(5.22)
Obliczenie współrzędnych przestrzennych punktów po kalibracji systemu pozwoli
ocenić dokładność kalibracji oraz przydatność systemu do inwentaryzacji obiektów
drogowych.
6. Podsumowanie
W podsumowaniu należy zwrócić uwagę między innymi na problem niestabilności
elementów orientacji wewnętrznej, wyznaczonych na podstawie przeprowadzonej
kalibracji. Dokładność wyznaczonych elementów orientacji wzajemnej oszacowano
na poziomie: 99% dla ogniskowej i współrzędnych punktu głównego, 90% dla dystorsji
radialnej oraz 80% dla dystorsji tangencjalnej. Najwyższą niestabilnością wyników
charakteryzuje się dystorsja tangencjalna .Niestabilność ta wynika z niskiej
rozdzielczości aparatów Canon PowerShot A710 IS. Są to aparaty kompaktowe.
Wykorzystanie ich w badaniach pozwoli na ocenę przydatności tych i aparatów
niemetrycznych o podobnych parametrach, do inwentaryzacji obiektów drogowych.
Dokładność współrzędnych terenowych jaka zostanie uzyskana po kalibracji systemu
umożliwi dobór kamer do budowy właściwego systemu, który ostatecznie posłuży
do inwentaryzacji dróg i ich otoczenia z wymaganą dokładnością.
Dodatkowo na dokładność kalibracji systemu ma wpływ dokładność orientacji
wzajemnej i bezwzględnej. Błąd elementów orientacji wzajemnej zależy od dokładności
wyznaczenia parametrów kątowych i liniowych systemu. Błąd parametrów kątowych
oszacowano na 5%, zaś liniowych na 2%. Natomiast orientacja bezwzględna oparta
jest o współrzędne terenowe pomierzone z dokładnością ± 5 mm.
Ostateczna dokładność kalibracji systemu pozwoli na ocenę możliwości
wykorzystania aparatów niemetrycznych Canon PowerShot podczas inwentaryzacji
obiektów drogowych oraz na ustalenie ostatecznych parametrów właściwego systemu
video wykorzystywanego do wyżej wymienionego celu.
LITERATURA
Butowtt, Kaczyński, Fotogrametria,. 2010
Fan Dazho, LeiRong, Li Song, LEAST SQUARE MATCHING MODEL AMMGC-LSM
FOR MULTI-LINE-ARRAY DIGITAL IMAGES, Zhengzhou Institute of Surveying and
Mapping,
Dzięga, Kwoczyńska, Kalibracja aparatu cyfrowego CANON EOS 400D z
zastosowaniem oprogramowania PI 3000 Calib, 2010
Kraszewski, Określanie zakresu wykorzystania modeli
stereoskopowych
naziemnych zdjęć cyfrowych do odtwarzania wnętrz pomieszczeń, 2011
Linsenbarth,Fotogrametria naziemna i specjalna, 1974
Luhmann, Close Range Photogrammetry, 2006
Akca D., Least Squares 3D Surface Matching, Zürich 2007
Oude Elberink, S., Vosselman,. Quality analysis on 3D building models reconstructed
from airborne laser scanning data. ISPRS Journal of Photogrammetry and Remote
Sensing, 2011.
Image Master Manual.