2-Foton Mikroskopi Goriintiilerinde Otomatik Dendritik Diken Takibi Automated Dendritic Spine Tracking on 2-Photon Microscopic Images

(1)

Bike Klhc;*, Lavdie Rada*, Ertunc; Erdilt, A. Ozglir Argun§ah+, Mlijdat <;etin t, Devrim Dnay*, *Miihendislik ve Doga Bilimleri Fakiiltesi, Bah(,(e§ehir Universitesi, istanbul, Tiirkiye

Email: [email protected]@[email protected] tMiihendislik ve Doga Bilimleri Fakiiltesi, SabanCl Universitesi, istanbul, Tiirkiye

Email: [email protected], [email protected]

+Champalimaud Neuroscience Programme, Champalimaud Centre for the Unknown, Lizbon, Portekiz Email: [email protected]

Ozetfe -Dendritik dikenlerin morfolojilerindeki hl zh ve dogal degi§imler bilginin beyinde nasd saklandlgl konusunda onemli ipu�lan vermektedirler. Dikenlerin el ile analizi saghkh ve hastalar arasmdaki farklarm anla§d masl i�in gereklidir. Sinirbilim deneylerinde toplanan �ok saYlda ve �e§itli imge verisinin daha detayh analiz i�in otomatik yontemlerin geli§tirilmesine ihtiya� vardlr. Buna ek olarak, dendritik dikenleri zamanla degi§en yapdardlr ve floresan mikroskopi ile elde edilen goriintiileri yontemin optik ozelliklerinden otiirii yiiksek seviyede giiriiltii, bu lamkhk ve kayma i�erir. Bu �ah§mada zaman a§lmh iki foton mikroskopi goriintii serilerinde dendritik dikenlerin konumlanm takip ediyoruz. Bu ama�la tespit ve takibi birlikte kullanan bir .;en;eve oneriyoruz. Diken tespiti i.;in SIFT temelli bir yontem, takip i�in ise imge �akl§tIrma ile uzakhk temelli diken e§lemeden olu§an bir yontem kul lamyoruz. Deneysel sonu�lanmlz, giiriiltii ve bulamkhgm goriintiileri bozmasma ve diken tespitini zorla§tIrmasma ragmen, onerdigimiz �er�eve ile zaman serilerinde diken takibinin yapdabildigini gostermektedir.

Anahtar Kelimeler-Iki-foton mikroskopi, dendritik diken takibi, diken tespiti, imge fakl§ttrma, SIFT oznitelikleri

Abstract-The rapid and spontaneous morphological changes of dendritic spines have been an important observation to understand how information is stored in brain. Manual assessment of spine structure has been a useful tool to understand the differences between wild type (normal) and diseased cases. In order to perform a more through analysis, automatic tools need to be developed due to the immense amount of image data collected throughout the experiments. Additionally, dendritic spines are very dynamic structures and florescence microscopy contains high level of noise, blur and shift due to the optical properties. In this study, we track locations of dendritic spines in a full series of a time-lapse two photon micro scopic images. To achieve this we propose a combined detection and tracking framework. For the detection we use a SIFT based algorithm, while the tracking requires a combination of registration and distance based spine matching. Experimental results show that this technique helps to track detected spines in time series even though the noise or blur deformed the image and complicated the detection.

I. GiRiS

Zaman a§lmh goriintiilerden dendritik diken mor folojisini tammlamak ve takip etmek norobiyolojik ara§tlrmalarda onemli bir rol oynamaktadlr. Dendri tik dikenlerin hlZh ve spontane morfolojik degi§im leri yaygm bir §ekilde incelenmi§tir[5], [6]. Bellek ve ogrenme gibi bili§sel fonksiyonlann i§levi, den dritik dikenlerin morfolojik degi§iklikleri ile ili§kili oldugu ortaya (,(lkml§tlr [7]. Dendritik dikenlerin bu bil i§sel fonksiyonlara etkisini (,(ah§mak i(,(in zaman a§lmh mikroskopik noron goriintiilerinde dikenlerin etkili ve dogru tespiti ve takibi onemlidir. Dikenlerin zaman daki degi§imini takip etmek i(,(in goriintii (,(akl§tlrma temelli bir dizi yan-otomatik ve otomatik yakla§lm onerilmi§tir [1], [2], [3], [4], [8]. Ornegin, Koh v.d.[2] imge (,(akl§tlrma i(,(in (,(apraz korelasyon teknigi kul lamrken; Mosaliganti v.d. [4] iki tane nokta kiimesindeki farkhhklan en kii(,(iilten ve dendritik orta (,(izgisine day ah "iteratif en yakm nokta"(ICP) algoritmasml uygu lad!. Ancak literatiirde uygulanan bu yakla§lmlar hem giiriiltiiye duyarhdlrlar hem de ba§arlmlarl en (,(ok 2 -3

zaman noktah veride denenmi§tir.

Bu (,(ah§mamn amaCl dendritik dikenlerinin za mansal veride tespiti ve takibi i(,(in kurguladlglmlz goriintii i§leme temelli (,(er(,(eveyi ve ilgili on-(,(ah§ma sonu(,(lanm sunmaktlr. Bu ama(,(la ilk olarak, Rada v.d. [9] tarafmdan onerilen SIFT temelli tespit algo ritmasl kullanarak zaman serisindeki biitiin dendritik dikenler tespit edilir, bunun ardmdan SIFT temelli imge (,(ab§tlrmasl kullanarak zaman serisinde ortii§en diken lerin merkez noktalan bulunur. Ardl§lk goriintiilerdeki dikenler arasmdaki uzakhklara bakarak takip edilen, yeni bulunan ve kaybolan dikenler belirlenmektedir.

II. ON CEKi (:ALISMALAR

Dendritik dikenlerin tespiti ve boliitlenmesi i(,(in bir (,(ok yontem kullamlml§tlr [2],[8],[10],[12],[13]. Bun lann arasmda, Rada v.d. [9] zaman sal goriintiilerdeki dendritik dikenlerin tespiti i(,(in uygulanan dogruluk payl yiiksek (36 Jarklz diken if:in ortalama Dice olf:iitii 0.82)

bir (,(ah§ma sundu. Bu (,(ah§mada biri gozetimli digeri gozetimsiz olan iki farkh tespit teknigi geli§tirilmi§tir. Gozetimli olmayan teknik nokta iyile§tirme filtrelerini ve dendritik iskelet bilgilerini birle§tirir. ikinci teknik

(2)

onceden i§aretlenmi§ "i:iI<.;eklemeden baglmslz oznitelik donii§iimii"(SIFT)[ 11] oznitelik tammlaYlcllan kulla narak destek vektbr makinesi (SVM) smlflandmclslm egitir ve bu slmflandmclYI yeni goriintiilerde dendritik dikenleri tespit etmekte kullamr. Tespit edilen dikenlerin boliitlenmesi i<.;in her iki yontem havuzlama (watershed) algoritmasl uygular. Elde edilen deney sonu<.;lan iki yontemin de dikenlerin tespitinde benzer performansa sahip oldugunu gosteriyor, bu sebeple bu <.;ah§mada sun ulan takip yakla§lml yukanda bahsedilen gozetimli tespit yontemi iizerine kurulmu§tur.

Bu bildirinin temel amaCI dendritik dikenlerin zen gin bir veri setinde zamansal takibi i<.;in bir yak la§lm geli§tirmektir. Dendritik dikenlerin hareketliligi veya goriintiilerdeki kayma sebebiyle dikenlerin ardl§lk goriintiilerde e§le§tirilmesi zor bir problemdir. Bu hede fie dikenlerin zamansak verideki konumunu takip ede bilmek i<.;in SIFT temelli imge <.;akl§tlrma yontem ini uyguladlk. Nirengi noktasl [14] veya ICP [15] temelli i<.;ge <.;akl§tlrma gibi farkh yontemlere klyasla SIFT temelli yontemin bazl avantajlan vardlr: 1 )Ardl§lk goriintiilerde dikenlerin merkez noktalan arasmdaki or talama uzakhk SIFT temelli imge <.;akl§tlrma yonteli kullamldlgmda sabit kahrken, ICP temelli yontem kul lamldlgmda yiiksek sapmalar i<.;ermektedir (Sekil 1). Nirengi temelli yontemin [14] sonu<.;lanmn <.;akl§tmlan goriintiilerdeki deform aston ve dolaYlslyla yanh§ diken tespiti nedeniyle daha kotii oldugu gozlemlenmi§tir (Sekil 2). 2) SIFT temelli yontem yeginlik gibi yerel bilgileri de hesaba katarken; ICP sadece noktalar arasm daki uzakhgl dikkate ahr ve dolaYlslyla giiriiltiiye ve yerel degi§imlere duyarhdlr. ilerleyen boIiimlerde tespit

�ekil I. Zamansal g6riintiilerde e§ dendritik dikenler arasmda ortalama top lam mesafe

edilen dendritik dikenlerin herbirinin zamansal veride SIFT imge <.;akl§tlrmasl ve ardmdan uzakhk temelli e§le§tirme uygulanarak dikenlerin takibi i<.;in nasIl bir yakla§lmda bulunuldugu detayh anlatIlacaktlr.

III. ONERiLEN YAKLASIM

A. Dendritik Diken Tespiti

Oncelikle 2-foton mikroskopi kullamlarak elde edilen her zaman noktasma ait 3 boyutlu veri z

ek-�ekil 2. Esnek imge c;:akl§tmnasl sonraSl tespit y6ntemi uygulan ml§ 2-foton mikroskopi g6rUntiiler. a),e) t=1 ve t=2 g6rUntiilerinin c;:akl§tmlml§ hali. b ),d) t=2 ve t=3 g6rUntUlerinin c;:akJ§tmlml§ hali

seni yoniinde en yiiksek yogunluk izdii§iimii (maxi mum intensity projection) ahnarak 2 boy uta indirgenir. Sekil 3 bu <.;ah§mada kullamlan farkh 2 boyuta in dirgenmi§ verileri gosterir. Makine ogrenmesi i<.;eren

�ekil 3. Deneysel Veri Ornekleri

SIFT temelli yontemin egitimi i<.;in onceden etiketlenmi§ ve test kiimesinden farkh dendritik diken goriintiileri kullamlml§tlr. Bu veride bulunan SIFT nirengi noktalan bir dendritik diken merkezine denk dii§iip dii§medigine gore diken veya degil diye el ile etiketlenir. Daha sonra onceden etiketIenmi§ oznitelik vektbrlerini kul lanan dogrusal <.;ekirdekli bir SVM slmflandmcl egi tilir. Test a§amasmda, bu slmflandmcl kullamlarak test goriintiisiindeki her bir SIFT oznitelik vektbrii diken veya degil olarak i§aretIenir CSekil 4'te klrmlzl i§aretler ile gosterilenler).

B. Tespit Edilen Dendritik Dikenlerin Takibi

Bu boliimde, iki ardl§lk goriintiide tespit edilmi§ dikenlerin aralarmdaki ili§kilerin belirlenmesi detayh anlatIlmaktadlr.

(3)

�ekil 4. SIFT iiznitelik konumlan

1) SIFT Temelli imge 9akl§tlrmasz: Dikenlerin

ardl�lk goriintiilerdeki konumunu giirbiiz bi<;;imde takip edebilmek i<;;in goriintiileme a�amasmda olu�an kay malann en aza indirgenmesi yani imge <;;akl�tlrmasl uygulanmasl gereklidir. Bu ama<;;la SIFT temelli imge <;;akl�tlrmaSl uygulanml�tlr. Bu yakla�lmda ilk olarak, tespit edilmi� dikenlerin merkez noktalan ve ilgili SIFT oznitelik vekWrleri elde edilir. Benzer oznitelik vek Wrleri bulunur (kosiniis benzerligi deneme yamlma ile belirJenmi� e�ik seviyesinin aItmda kalanlar) ve bu vekWrlerin konumlanm birle�tiren dogrulann egimleri hesaplamr. En fazla goriilen egimin dogru e�le�m eye kar§lhk geldigi tahminiyle, egimi farkh dogrular elenerek ideal e�le�meler belirlenir ve bu e�le�meler kul lamlarak ardl�lk zaman goriintiileri birbirine <;;akl�tlnhr (Sekil 5).

�ekil 5. Ardl�ik zaman noktalanndaki SIFT temelli imge \;ak.i�t1rmaSl sonucu

2) Uzaklzk Temelli E*-lqtirme: Imge <;;akl�tlrma ile elde edilen degi§im vekWrii §ablon goriintiide onceden tespit edilmi� dikenlerin merkez koordinatlanna eklenir. Ardmdan ilk anda tespit edilen dikenlerin herbirinin merkez noktasl ile ayn ayn bir sonraki anda tespit edilenler arasmdaki Oklid uzakhk hesaplamr. KullamCl tarafmdan onceden belirlenen uzakhk e�igini ge<;;en bir sonraki anda tek bir diken varsa bu dikenler e§le§tirilir. Uzakhk e�igini ge<;;en birden fazla diken varsa, en kii<;;iik mesafeye sahip olam se<;;ilir. Eger e�igi ge<;;en hi<;; bir diken yoksa ilk an goriintiisiindeki diken merkezi kaYlp diken olarak i�aretlenir. ilk anda tespit edilemeyip takip eden anda bulunan dikenler ise yeni diken olarak tam m I am r.

Diken e§le§tirme ardl§lk goriintiilerde olmak iizere tiim zaman serisinde ger<;;ekle§tirilir. Her dikenin ka<;; zaman noktasmda takip edildigi hesaplamr ve 0 veri

setindeki top lam zaman noktasma oranlamr. IV. DENEYSEL SONU�LAR

Bu <;;ah§mada 30 ila 50 zaman noktasl i<;;eren 4 farkh 2-foton mikroskopi veri seti kullamlml�tlr.

Ardl�lk iki goriintiideki diken takibi i<;;in ornek bir sonu<;; Sekil 6'da goriilebilir. Onerilen yontem diken lerin <;;ogunlugunu e�le�tirmi� (mavi i�aretliler), her hangi bir anda tespit edilemeyen az saYlda dikeni de kaYlp CLS' etiketli) ya da yeni CNS' etiketIi) olarak i�aretlemi�tir. Diken takibi biitiin veri setinde

tekrar-�ekil 6. Ardl§lk zaman noktalanndaki giiriintiilerde e§le§en/yeni olu§an ve kaybolan dendritik dikenler

lanarak dikenlerin veri seti boyunca tespit ve takip tutarhhgl nicel olarak incelenebilir. Bu <;;ah§mada kul lamlan Dataset-I, 29 zaman noktasl ve Dataset-2, 37 zaman noktasl i<;;erir. Sekil Tde, Dataset-l 'de biitiin za man noktasl boyunca dikenlerin ortalama 0.60 (standart

sapma = 0.23) oranmda takip edildigi goriilmektedir.

Buna kar§lhk alttaki sonu<;;ta gozlemlenen gorece dii§iik degerJer (ortalama = 0.24, standart sapma = 0.24)

diken takibinin goriintiideki giiriiltii seviyesinden ve en yiiksek yogunluk izdii§iimii sonucu 3 boyut bilgisindeki kaYlptan etkilendigini gostermektedir.

Dataset-l ve Dataset-2'deki takip sonu<;;lan, uzman tarafmdan gorsel degerlendirilmi� ve ger<;;ek dikenler (Sekil Tde ye§il ile i§aretIenenler) ile diken olmayan lar (klrmlzl ile i�aretlenenler) belirlenmi�tir. Onerilen yontemin dogru tespit ettigi dikenlerde Dataset -1' de ortalama takip oram 0.70 iken (Dataset-2'de 0.30) hatah

tespitlerde bu oran daha dii�iiktiir (Dataset -1 = 0.3,

Dataset-2 = 0.05). Bu sonu<;; gostermektedir ki on

erdigimiz takip yontemi diken tespiti adlmlmn hatalanm telafi etmek i<;;in kullamlabilir. Son olarak, Dataset -1' de 16 dikenden 5'inin (hata oram = 0.30) ve daha giiriiltiilii

olan Dataset-2'deki 36 dikenden ise 19'unun (hata oram

= 0.50) ka<;;mldlgl gozlemlenmi�tir. Daha giirbiiz ve

dogru tespit ve takip yakla�lmlarlyla bu hatalar azaltlla bilir.

(4)

�ekil 7. Her dikenin takip edildigi zaman nokta saYlsmm 0 veri

setindeki toplam zaman noktasma oranl ile i§aretlenmi§ iki ornek sonu9. Uzman gorsel degerlendirmesi sonucu gergek dikenler (ye§il) ile diken olmayanlar (kmnIZl) i§aretlenmi§tir.

V. VARGILAR

Bu <.;ah§mada zaman a§lmh 2-foton mikroskopi goriintiilerinde dendritik diken takibi i<.;in goriintii i�leme temelli bir <.;er<.;eve ve ilgili on-<.;ah�ma sonu<.;lan sunulmu§tur. Diken takibi i<.;in ardl§lk goriintiilerdeki diken merkez noktalan ile SIFT oznitelik konum bil gilerini birlikte kullanan, imge <.;akl§tlrma ve uzakhk temelli bir yontem onerilmi§tir.

Bu yapllan <.;ah�malann verimliligi yamslra, <.;ah� mamlzda bazl klsltlamalar var. Oncelikle, baZl dendri tik dikenlerin bilgileri en yiiksek yogunluk izdii§iimii slrasmda kaybolmaktadlr. ikinci olarak, imge <.;akl§tlr maSl slrasmda sadece dendritik dikenlerin merkez nok talan arasmdaki mesafe bilgisi kullamlml§tlr; fakat bu yakla�lm birbirine <.;ok yakm dikenler i<.;in <.;ah§maya bilir. Bu sebeple, yontem yeni oznitelik vektbrleri ile gii<.;lendirebilir. U<.;iincii olarak, bu <.;ah§mada dendritik diken tespiti ve takibi ayn yapllmaktadlr. iIeride, bu iki prosediirii birle�tirerek hem tespit klsmml hem de takip dogruluk derecesini geli§tirmek ama<.;lanmaktadlr. Ek

olarak, biyologlara daha fazla morfolojik bilgi saglamak i<.;in dendritik dikenlerin tespit ve takibinin ii<.; boyutta ger<.;ekle§tirilmesi planlanmaktadlr.

TESEKKUR

Bu <.;ah�ma 113E603 numarah Tiibitak projesi tarafmdan desteklenmi�tir.

KAYNAK<;:A

[1] Fan, J., Zhou, X., Jennifer.G, Dy, Zhang, Y ve Wong,S.T.C, An automated pipeline for dendrite spine detection and tracking of 3D optical microscopy neuron images of in vivo mouse models, Neuroinformatics, Cilt 7(2), s. 113 - 130, 2009.

[2] Koh, 1. ve Lindquist, W., Automated 3D dendritic spine detec tion and analysis from two-photon microscopy, BiOS 200 I The International Symposium on Biomedical Optic, s. 48-59, 2001. [3] Li, Q., Deng, Z., Zhang, Y, Zhou, X., Nagerl, U. V, ve Wong, S.T.C, A global spatial similarity optimization scheme to track large numbers of dendritic spines in time-lapse confocal microscopy, Medical Imaging, IEEE Transactions on, Cilt. 30(3), s. 632-641, 2011.

[4] Mosaliganti, K., Janoos, E, Xu, X., Machiraju, R., Huang.C ve Wong, S. T. c., Temporal matching of dendritic spines in confocal microscopy images of neuronal tissue sections, MIC CAl Workshop on Medical Image Analysis with Applications in Biology,s. 106-113, 2006.

[5] Und, H., Oliver, VB. , Structure and function of dendritic spines within the hippocampus, Annals of Anatomy-Anatomischer Anzeiger,s. 518 - 531, 2009.

[6] Fischer, M., Kaech, S., Knutti, D., Matus, A. , Rapid actin based plasticity in dendritic spines, Neuron,s. 847-854, 1998. [7] Kasai, H., Fukuda, M., Watanabe, S., Hayashi-Takagi, A.,

Noguchi, J., Structural dynamics of dendritic spines in memory and cognition, Trends in neurosciences, Cilt. 33(3), s. 121-129, 2010.

[8] Son, J., Song, S., Lee, S., Chang, S. and Kim, M., Morpho logical change tracking of dendritic spines based on structural features, Journal of microscopy, Cilt. 241(3), s. 261-272, 2011. [9] Rada, L., Erdil, E., Argunsah, A.O., Unay, D. and Cetin, M., Automatic dendritic spine detection using multiscale dot en hancement filters and sift features, IEEE (Institute of Electrical and Electronics Engineers), 2014.

[10] Cheng, J., Zhou, X., Miller, E., Witt, R.M., Zhu, J., Saba tini, B.L., Wong, S.T.C, A novel computational approach for automatic dendrite spines detection in two-photon laser scan microscopy, Journal of neuroscience methods,s. 122-134, 2007. [II] Lowe.D.G, Distinctive image features from scale-invariant key

points, International journal of computer vision, Cilt. 60(2), s. 91-110, 2004.

[12] AI-Kofahi, Y, Dowell-Mesfin, N., and Pace, c., Shain, W,

Turner, J.N., Roysam, B., Improved detection of branching points in algorithms for automated neuron tracing from 3D confocal images, Cytometry Part A, Cilt. 73(1), s. 36-43, 2008. [13] Zhang, Y, Zhou, X., Witt, R.M., Sabatini, B.L., Adjeroh, D., Wong, S.T.c., Dendritic spine detection using curvilinear structure detector and LDA classifier, Neuroimage, Cilt. 36(2), s. 346-360, 2007.

[14] Modersitzki,I., FAIR: Flexible Algorithms for Image Registra tion, Fundamentals of Algorithms, 2009.

[IS] Low,K.L., Linear least-squares optimization for point-to-plane icp surface registration, 2004.