An Efficient Processing and Analysis Algorithm for Images Obtained

W tym miejscu Wydawca umieści LOGO lub NAZWĘ KONFERENCJI
WOJCIECH BIENIECKI *, DOMINIK SANKOWSKI*,
KATARZYNA KOŚCIELSKA-KASPRZAK **
SYSTEM ANALIZY OBRAZÓW UZYSKIWANYCH
W IMMUNOENZYMATYCZNEJ WIZUALIZACJI AKTYWNOŚCI
WYDZIELNICZEJ LIMFOCYTÓW METODĄ ELISPOT
SYSTEM FOR ANALYSIS OF IMAGES OBTAINED FROM IMMUNOENZYMATIC VISUALIZATION OF SECRETORY ACTIVITY OF LYMPHOCYTES
WITH THE USE OF ELISPOT PROCEDURE
STRESZCZENIE. W artykule opisano system przetwarzania i analizy obrazów biomedycznych uzyskiwanych w procesie immunoenzymatycznej wizualizacji aktywności wydzielniczej pojedynczych
limfocytów metodą ELISPOT. Zastosowanie tej techniki wymaga testowania różnych parametrów
morfologicznych obiektów widocznych na obrazie w postaci kolistych plam. Analizy takie są możliwe do przeprowadzenia przy pomocy komercyjnego oprogramowania, lecz są kosztowne i długotrwałe, ponadto przysyłane przez laboratorium wyniki są tylko częściowo użyteczne w badaniach naukowych. Kluczowym elementem systemu wizyjnego jest poprawna segmentacja obrazu i identyfikacja
obiektów. Obecnie zakończono prace nad skuteczną metodą segmentacji obrazu, wymagającą minimum interakcji ze strony osoby obsługującej. Skuteczność metod segmentacji potwierdza zgodność
uzyskanych wyników z otrzymanymi przy pomocy komercyjnego oprogramowania. Zaprojektowane
algorytmy identyfikują obiekty o zróżnicowanym kontraście i wielkości w sposób bardziej precyzyjny niż oprogramowanie komercyjne. Znalezione obiekty są poddawane analizie ilościowej, w tym
ocenie nietypowych parametrów, co pozwala na uzyskanie wyników niedostępnych przy użyciu oprogramowania komercyjnego.
ABSTRACT. The paper presents a simple system for automatic processing and analysis of biomedical images obtained from immunoenzymatic visualization of secretory activity of single lymphocytes
with the use of ELISPOT procedure. The ELISPOT research needs evaluation of specific morphological parameters of round objects. The quantitative analysis of images is possible with the use of
commercial systems, but the time and cost of such examination are unacceptable for scientific research. Our computer system enables evaluation of non-typical parameters and implementation of
other system adjustments. Yet we have completed an efficient subsystem for unattended image segmentation. Our results were successfully compared to those obtained with the commercial software.
Additionally as our method is more sensitive, it enables detection of small, low contrasted spots
skipped by a commercial procedure.
*
Katedra Informatyki Stosowanej Politechniki Łódzkiej, praca wykonywana w ramach grantu
promotorskiego KBN 3T11E 03426.
**
Katedra i Klinika Nefrologii i Medycyny Transplantacyjnej Akademii Medycznej we Wrocławiu; autorka jest stypendystką Fundacji na Rzecz Nauki Polskiej.
1. Wprowadzenie
ELISPOT (ang. enzyme linked immunospot assay) (Versteegen et al. 1998; Tary-Lehmann
et al. 1998) jest metodą pozwalającą na ocenę natężenia odpowiedzi immunologicznej wobec określonych antygenów na poziomie pojedynczych komórek. Idea metody polega na
detekcji wydzielania mediatorów odpowiedzi immunologicznej, cytokin, przez pojedyncze
komórki układu odpornościowego. ELISPOT w szczególności pozwala oceniać poziom
reaktywności komórek biorcy przeszczepu wobec antygenów dawcy. Z doniesień literaturowych wynika, że monitorowanie komórkowej odpowiedzi immunologicznej po przeszczepie powinno umożliwić przewidywanie długoterminowej funkcji przeszczepionych
nerek oraz weryfikowanie skuteczności stosowanej terapii immunosupresyjnej (Gebauer et
al. 2002; Heeger 2003, Hricik et al. 2003). Celem badań naukowych prowadzonych w Katedrze i Klinice Nefrologii i Medycyny Transplantacyjnej Akademii Medycznej we Wrocławiu jest opracowanie i wdrożenie metody opartej o technikę ELISPOT, która pozwoliłaby na prognozowanie funkcji przeszczepionych nerek oraz wczesne diagnozowanie niekorzystnych zjawisk immunologicznych prowadzących do odrzucania przeszczepu.
2. Uzyskiwanie obrazów
Obecnie prowadzone są badania, których bezpośrednim celem jest oznaczanie w krwi biorców przeszczepów nerek liczebności limfocytów zdolnych do wydzielania interferonu γ w
odpowiedzi na stymulację przez antygeny dawcy. Badanie ELISPOT (Rys. 1) prowadzone
jest w 96-dołkowych płytkach, w których dna poszczególnych studzienek (o średnicy około
6 mm) stanowi membrana ze związanymi przeciwciałami specyficznie rozpoznającymi
interferon γ. W studzienkach umieszczana jest zawiesina limfocytów pochodzących od
biorcy przeszczepu (o znanej liczbie komórek), a do wybranych studzienek dodawane są
limfocyty dawcy.
Rys. 1 Schemat działania metody ELISPOT
Cytokiny wydzielane przez pobudzone limfocyty biorcy są wychwytywane w bezpośrednim sąsiedztwie komórek przez specyficzne przeciwciała związane do membrany. Po
usunięciu komórek, obecność wydzielonego interferonu γ wykrywana jest za pomocą immunoenzymatycznej reakcji biotyna-streptawidyna-fosfataza alkaliczna. W wyniku katalizowanej przez enzym konwersji chromogenu (BCIP/NBT) w nierozpuszczalny barwny
produkt, w miejscach uprzedniej obecności komórek wydzielających interferon γ powstają
obserwowane na obrazie plamki (ang. spots) (Rys. 2). Tak wybarwioną płytkę umieszcza
się pod mikroskopem, a poszczególne studzienki fotografuje przy użyciu kamery / aparatu
cyfrowego, co pozwala na uzyskanie rozdzielczości ok. 500 na 500 pikseli (lub większej).
Rys. 2. Obraz uzyskany metodą ELISPOT widziany pod mikroskopem
Każda plamka na obrazie odpowiada jednej komórce, a intensywność barwy i promień
plamki zależą od ilości wydzielonego czynnika. Przedmiotem analizy obrazu jest zarówno
liczba plamek, jak i ich parametry morfologiczne. Ze względu na sposób powstawania,
plamki mają kształt zbliżony do kolistego, a intensywność barwy maleje wraz z odległością
od środka (Rys. 3). Powoduje to, że krawędzie plamek są rozmyte, co stanowi pewne
utrudnienie dla algorytmu segmentacji.
Rys. 3. Wielkość plamek i rozkład intensywności barwy
3. Zadania systemu informatycznego
Opracowany własny system informatyczny nazwano roboczo SpotView. Działanie programu obejmuje wyszczególnione poniżej procedury realizowane przez typowy system wizyjny.
Akwizycja i archiwizacja obrazu. Badane obrazy uzyskuje się poprzez fotografowanie
aparatem cyfrowym sprzężonym z mikroskopem, a następnie zapisuje się je w postaci
barwnych plików TIFF.
Przetwarzanie wstępne obrazu. Etap przetwarzania wstępnego obrazu realizuje następujące zadania: wydzielenie obszaru zainteresowania, optymalne przekształcenie obrazu do
postaci monochromatycznej, wyrównanie niejednorodnej jasności tła.
Segmentacja obrazu. Segmentacja obrazu definiowana jest zazwyczaj jako podział
wszystkich jego punktów na rozłączne, spójne podzbiory odpowiadające rzeczywistym
obiektom widzianym na obrazie. W systemie SpotView użyto dwóch technik segmentacji –
progowania adaptacyjnego oraz algorytmów segmentacji morfologicznej. Celem takiego
podejścia było całkowite zautomatyzowanie etapu segmentacji.
Analiza morfologiczna obrazu. Dla wysegmentowanych obiektów oblicza się następujące
parametry morfologiczne: pole powierzchni, współczynnik kolistości, histogram jasności
obiektu.
Otrzymany zbiór obiektów jest filtrowany w celu odrzucenia obiektów źle wysegmentowanych (które w rzeczywistości nie są poszukiwanymi plamkami, lecz zanieczyszczeniami). Dla tak przygotowanego zbioru obiektów oblicza się statystyki parametrów morfologicznych: liczba obiektów, rozkład pola powierzchni obiektów, współczynniki kształtów.
Wyniki mogą być zapisywane w formacie MS Excel, co ułatwia dalsze ich przetwarzanie.
4. Algorytmy przetwarzania wstępnego obrazu
Pierwszym etapem przetwarzania obrazu w systemie SpotView jest wydzielenie obszaru
zainteresowania ROI (ang. region of interest). Obszarem zainteresowania dla obrazu:
I = {(x, y ) : (x, y ) ∈ [0, M ]× [0, N ]}
(1)
jest podzbiór:
{
}
ROI = (x, y ) : (x, y ) ∈ I ∧ (x0 − x )2 + ( y0 − y )2 ≤ R 2 ,
(2)
czyli kolisty fragment obrazu (por. Rys. 2), wewnątrz którego widać tylko membranę z
widniejącymi na niej plamami. Obecnie etap ten jest realizowany ręcznie. Automatyzacja
tego procesu, polegająca na wyznaczeniu wektora, będzie zrealizowana w kolejnej wersji
systemu. Dalsze kroki przetwarzania obrazu wykonywane są tylko dla wydzielonego obszaru zainteresowania.
Obraz poddawany jest filtracji pozwalającej na wyrównanie tła. Krok ten realizuje algorytm oparty o filtr konwolucyjny. Jego zadaniem jest „odjęcie” tła od widocznych na
obrazie obiektów. Operację tę można symbolicznie zapisać następująco:
I Fil = I − I ∗ M
(3)
gdzie I jest obrazem wejściowym, M zbiorem punktów tworzących kwadratową maskę o
wielkości przyjętej empirycznie, a IFil obrazem wynikowym. Przyjęto, że dla danej klasy
obrazów bok maski będzie stanowił 10% średnicy obrazu. Omawiany filtr działa w przestrzeni barw RGB, co pozwala na wyrównanie nie tylko jasności, lecz także zaburzeń w
nasyceniu kolorem.
Tak przygotowany obraz jest konwertowany do postaci monochromatycznej. W bieżących doświadczeniach prowadzonych przez Katedrę i Klinikę Nefrologii i Medycyny
Transplantacyjnej stosuje się jeden rodzaj barwnika, jakkolwiek istnieje przypuszczenie, że
komórki będą barwione na dwa kolory. Przed konwersją obrazu barwnego na poziomy sza-
rości następuje wyrównanie histogramu RGB, co pozwala na uzyskanie maksymalnego
kontrastu, a co za tym idzie możliwie najmniejszą utratę informacji.
5. Algorytmy segmentacji obrazu
Postawione zadanie wymaga wysegmentowania obrazów o minimalnej średnicy 0.05 mm.
Przy rozdzielczości 500 pikseli odpowiada to około pięciu pikselom. Dodatkowym utrudnieniem jest fakt, że obiekty charakteryzują się różnym stopniem jasności oraz kontrastem
w stosunku do tła (por. Rys 3).
Punktem wyjścia dla otrzymania efektywnego algorytmu segmentacji wychwytującego tak małe obiekty było zastosowanie jednej z metod progowania adaptacyjnego, czyli
zmiennego progu. Jednym z algorytmów jest metoda Bernsena (Bernsen 1986). Każdy piksel obrazu rozpatrywany jest łącznie z oknem o ustalonej wielkości. Jako progową (4)
przyjmuje się wartość środkową pomiędzy wartością minimalną i maksymalną w obrębie
okna:
T (i, j ) = 0.5[max w ( I (i + m, j + n)) + min w ( I (i + m, j + n))] = 0.5[ I high (i, j ) + I low (i, j )] ,
(4)
gdzie W jest oknem o rozmiarach b na b pikseli wokół piksela (i, j). Ponadto, jeśli kontrast
definiowany jako
C (i, j ) = I high (i, j ) − I low (i, j )
(5)
obliczony w obrębie okna jest zbyt mały, wówczas przyjmuje się że wszystkie punkty należące do okna należą do tej samej klasy określonej przez wybrany eksperymentalnie próg
globalny τ0. Mając pewną wiedzę a priori dotyczącą badanego obrazu przyjęto, że okno W
będzie miało kształt okrągły, co odpowiada kształtowi identyfikowanych obiektów.
Metoda Bernsena w swojej oryginalnej formie ma pewną wadę. Otóż wielkość okna W
powinna być dobrana proporcjonalnie do wielkości obiektów, które algorytm wykrywa.
Zastosowanie zbyt dużego okna powoduje, że algorytm segmentacji pomija małe obiekty o
niewielkim kontraście. Okno zbyt małe ma wpływ na nieprawidłowe wykrywanie krawędzi
dużych obiektów oraz nieprawidłową identyfikacje dużych obszarów obrazu o jednolitym
tle.
W celu eliminacji tego zjawiska wprowadzono algorytm wieloprzebiegowy. W każdym kroku iteracji podwaja się promień okna W. Aby podnieść wydajność, do następnego
przebiegu wybieramy tylko te punkty, które zostały zaklasyfikowane jako tło. Algorytm
kończymy, gdy kolejny przebieg nie powoduje już zmiany przyporządkowania pikseli albo
osiągnięto ustalony maksymalny promień okna.
Mając na uwadze fakt, że obraz został poddany operacji wyrównania histogramu jasności, zastosowano metodę wyznaczania wartości τ0 opartą o algorytm przedstawiony
Simple Image Statistics (Sahoo et al. 1988). Załóżmy, że obraz rzeczywisty przedstawia
obiekt o jasności a na tle tła o jasności b, jednak dla poszczególnych pikseli wartości te są
w pewien sposób zakłócone. Wówczas odpowiednia dla takiego obrazu wartość progu wy-
nosi τ = (a + b ) 2 . Jeśli dla każdego punktu obrazu p(i,j) o jasności l(i,j) zdefiniujemy jego
gradient,
e(i, j ) = ∇p = max{l (i − 1, j ) − l (i + 1, j ) , l (i, j − 1) − l (i, j + 1) } ,
(5)
to wówczas otrzymujemy optymalną wartość progu:
m
τ0 =
n
∑∑ l (i, j ) ⋅ e(i, j )
i =1 i =1
m
n
∑∑
e(i, j )
.
(7)
i =1 i =1
W procesie segmentacji opartej na progowaniu zdarza się, że obiekty leżące blisko siebie
(szczególnie w przypadku, gdy ich krawędzie nie dają odpowiedniego kontrastu) nie zostaną prawidłowo rozdzielone. W tym celu stosuje się algorytm segmentacji morfologicznej
metodą powodziową (Rys. 4) (ang. watershed).
a) oryginalny obrazek
b) progowanie
c) metoda powodziowa
Rys 4. Porównanie metod segmentacji
Wykorzystano własny wariant tej metody – rozwinięcie algorytmu „zalewania obszaru”
(Bieniecki 2004) charakteryzujący się odpornością na zjawisko nadmiernej segmentacji
oraz niezależnością od kierunku analizowania obrazu.
6. Analiza porównawcza wyników
Poniżej przedstawiono analizę porównawczą działania algorytmu segmentacji realizowaną
przez oprogramowanie ImmunoSpot® (Karulin et al. 2000; Hesse et al. 2001), dzięki
uprzejmości Cellular Technology Ltd, USA, oraz własny program SpotView dla dziesięciu
studzienek. W Tab. 1. porównano liczbę obiektów (N) wysegmentowanych przez oba programy. Algorytm segmentujący w aplikacji SpotView pozwala znajdować obiekty małe
oraz o jasności niewiele różniącej się od jasności tła. Powoduje to znaczne różnice pomiędzy liczbą obiektów znalezionych przez porównywane programy.
Wysegmentowane obrazy poddano pobieżnej ocenie wzrokowej w celu stwierdzenia,
czy program nie wyłapał błędnie obiektów, które nie są szukanymi przez nas plamami, lecz
zakłóceniami. Program Immunospot® tworzy histogramy rozkładu wielkości plamek, wyniki skalując w log mm2. Tab. 1 przedstawia dodatkowo obliczone wartości oczekiwane
i wariancje dla dziesięciu próbek. Ze względu na to, że program Immunospot® pomija małe obiekty (co widać po braku zgodności rozkładów pól obiektów), które powinny być policzone, porównano rozkłady pól po odfiltrowaniu obiektów o średnicy poniżej 0,12 mm
(Tab. 2).
Tab. 1
Porównanie liczności N, wartości oczekiwanej x i wariancji σ2 dla wybranych próbek
Próbka
N Immunospot
N SpotView
Zgodność σ2 95%
Zgodność x 95%
B4
459
773
TAK
TAK
B5
31
310
TAK
TAK
B6
306
647
TAK
TAK
C4
589
1008
TAK
TAK
C7
37
325
NIE
X
C8
399
643
TAK
TAK
D6
319
597
TAK
TAK
D12
14
282
NIE
X
E8
289
445
TAK
TAK
G12
114
548
NIE
X
Tab. 2
Porównanie liczności N, wartości oczekiwanej x i wariancji σ2 dla odfiltrowanych próbek
Próbka
N Immunospot
N SpotView
Zgodność σ2 95%
Zgodność x 95%
B4
B5
B6
C4
C7
C8
D6
D12
E8
G12
226
6
110
257
17
202
124
7
156
49
277
8
149
302
20
226
152
8
175
60
TAK TAK TAK TAK TAK TAK TAK TAK TAK TAK
NIE TAK TAK TAK TAK TAK TAK NIE TAK TAK
Interpretując Tab. 2 należy potwierdzić hipotezę o tym, że program SpotView oblicza rozkłady wielkości plamek zgodnie z oprogramowaniem Immunospot®. Warto zwrócić uwagę
na to, że program SpotView obrysowuje obiekty ciaśniej. Zjawisko to można zaobserwować również na Rys. 5.
Rys. 5. Fragmenty wysegmentowanego obrazu: a) oryginalny, b) Immunospot®, c) SpotView
7. Wnioski
Odnosząc wyniki obliczeń uzyskanych przy wykorzystaniu systemu SpotView do wyników
Immunospot®, który jest uznanym systemem analizy obrazów w ELISPOT, można uznać
że udało się zaprojektować skuteczną metodę przetwarzania obrazu i potwierdzić prawidłowość jej działania. Wykonywanie analiz przy użyciu systemu Immunospot® jest kosztowne i czasochłonne co sprawia, że oprogramowanie przygotowywane w ramach współpracy Politechniki Łódzkiej i Akademii Medycznej we Wrocławiu ma szanse stać się cennym narzędziem, wspomagającym zastosowanie techniki ELISPOT do prognozowania
funkcji przeszczepionych nerek oraz wczesnego diagnozowania niekorzystnych zjawisk
immunologicznych prowadzących do odrzucania przeszczepu. Dalsze prace nad systemem
SpotView obejmować będą szczegółową analizę wysegmentowanych obiektów w celu
maksymalnie dokładnej oceny aktywności wydzielniczej limfocytów.
Literatura
Bieniecki W., Oversegmentation avoidance in watershed-based algorithms for color images, Proceedings of International Conference TCSET’2004, Lviv, Ukraine.
Bernsen J., Dynamic thresholding of grey-level images, Proceedings 8th International Conference on Pattern Recognition, Paris, pp. 1251-1255, 1986.
Gebauer B. S., Hricik D.E., Atallah A., Bryan K., Riley J., Tary-Lehmann M., Greenspan
N. S., Dejelo C., Boehm B. O., Hering B. J., Heeger P. S., Evolution of the enzymelinked immunosorbent spot assay for post-transplant alloreactivity as a potentially
useful immune monitoring tool. Am. J. Transplant. vol. 2, pp. 857-866, 2002.
Heeger P. S., T-cell allorecognition and transplant rejection: a summary and update. Am.
J. Transplant. vol. 3, pp. 525-533, 2003.
Hesse M. D., Karulin A. Y., Boehm B. O., Lehmann P. V., Tary-Lehmann M., A T cell
clone's avidity is a function of its activation state. J. Immunol. vol. 167, pp. 13531361, 2001.
Hricik D. E., Rodriguez V., Riley J., Bryan K., Tary-Lehmann M., Greenspan N., Dejelo
C., Schulak J. A., Heeger P. S., Enzyme linked immunosorbent spot (ELISPOT) assay
for interferon-gamma independently predicts renal function in kidney transplant recipients. Am. J. Transplant. vol. 3, pp. 878-884, 2003.
Karulin, A. Y., Hesse M. D., Tary-Lehmann M., Lehmann P. V., Single-cytokine-producing
CD4 memory cells prevail in vivo, in type 1/type 2 immunity. J. Immunol. vol. 164, pp.
1862-1872, 2000.
Sahoo P. K., Soltani S., Wong A. C. and Chen Y. C., A survey of thresholding techniques,
Computer Vision, Graphics and Image Processing, vol. 41, pp. 233-260, 1988.
Tary-Lehmann M., Hricik D. E., Justice A. C., Potter N. S., Heeger P. S., Enzyme-linked
immunosorbent assay spot detection of interferon-gamma and interleukin 5-producing
cells as a predictive marker for renal allograft failure. Transplantation. vol. 66, pp.
219-224, 1998.
Versteegen J. M., Logtenberg T., Ballieux R. E., Enumeration of IFN-gamma-producing
human lymphocytes by spot-ELISA. A method to detect lymphokine-producing lymphocytes at the single-cell level. J. Immunol. Methods. vol. 111, pp. 25-29, 1988.
Recenzent:
xxxx