3B Modelleme ve Düzenleme Araçlarının Estetik
Cerrahi Alanında Kullanılması
İlkin Sevgi İşler1, Mehmet Harun Doğanay1, Mürüvet Gökçen1ve Ulaş Güleç2
1
Hacettepe Üniversitesi, Bilgisayar Mühendisliği Bölümü, Ankara, Türkiye {ilkinsevgi,mehmet.doganay,muruvet.gokcen}@hacettepe.edu.tr
2 Hasan Kalyoncu Üniversitesi, Bilgisayar Mühendisliği Bölümü, Gaziantep, Türkiye
ulas.gulec@hku.edu.tr
Özet. Günümüzde estetik cerrahi, bireyler tarafından oldukça talep gö-ren bir alan olup, bu alanda yapılan ameliyat sayısı gün geçtikçe hızlı bir şekilde artmaktadır. Çoğunlukla bir rahatsızlık nedeni olmadan sa-dece güzelleşme amacıyla yapılan bu ameliyatlarda, hem hasta beklenti-lerinin gerçek olamayacak kadar yüksek olmasından hem de doktorların hasta beklentilerini tam olarak anlayamamasından ötürü hastalar bek-ledikleri görüntüyü elde edememektedir. Tamamen daha güzel bir görü-nüme sahip olmak için ameliyat olma riskini göze alan hastalar, ameliyat sonrasında bekledikleri görünümü elde edemediklerinde psikolojik açıdan olumsuz bir şekilde etkilenmektedir. Bu nedenle bu çalışmada, ameliyat sonrasında oluşabilecek istenmeyen durumları en aza indirgemek ama-cıyla doktorların burun ameliyatları öncesinde hastaların beklentilerini görselleştirebileceği bir araç geliştirilmiştir. Hastanın biri önden diğeri ise profilden olmak üzere toplam 2 adet 2B fotoğrafından derin öğrenme tabanlı bir algoritma ile 3B yüz modelini oluşturan bu araçta doktorlar, hastaların 3B modelleri üzerinde çeşitli farklı düzenlemeler yapabilmek-tedir. Geliştirilen uygulamanın kullanılabilirliğini ölçmek amacıyla uygu-lama, alanında uzman 8 doktor ile test edilmiştir. Testlerden elde edilen sonuçlara göre geliştirilen bu sistemin, burun ameliyatları öncesinde hem hastaların bekledikleri görünümü görselleştirmede hem de doktorların ameliyat sırasında yapabileceği görünümü oluşturmada kullanılabilecek faydalı bir araç olduğu görülmüştür.
Anahtar Kelimeler: Estetik Cerrahi, Rinoplasti, 3B Modelleme, 3B Görselleştirme, 3B Model Düzenleme
Usage of 3D Modelling and Morphing Tools in
Plastic Surgery
Ilkin Sevgi Isler1, Mehmet Harun Doganay1, Muruvet Gokcen1and Ulas Gulec2
1
Hacettepe University, Department of Computer Engineering, Ankara, Turkey {ilkinsevgi,mehmet.doganay,muruvet.gokcen}@hacettepe.edu.tr
2 Hasan Kalyoncu University, Department of Computer Engineering, Gaziantep,
Turkey ulas.gulec@hku.edu.tr
Abstract. Nowadays, aesthetic surgery is an area that is highly de-manded by individuals. In addition, the number of operations performed in this area is also increasing rapidly. In these surgeries performed mostly for the purpose of beautification without any health problems, patients cannot obtain the image they expect since both the patient expectations are too high and the doctors cannot fully understand the patient ex-pectations. Patients who get the risk of having surgery are negatively affected when they cannot obtain the expected appearance after surgery. Therefore, in this study, a tool has been developed in which doctors can visualize patients’ expectations before nose surgeries in order to mini-mize the undesired postoperative conditions. In this tool, which creates a 3D face model with a deep learning based algorithm from a total of 2 2D photographs, one from the front and the other from the profile, doc-tors can make various arrangements on the 3D models of the patients. In order to measure the usability of the developed application, it was tested with 8 doctors specialized in the field of aesthetic surgery. Ac-cording to the results obtained from the test, this tool can be efficiently used in order to visualize the patients’ expected appearance before the nose operations and what the doctors can perform during the surgeries. Keywords: Plastic Surgery, Rhinoplasty, 3D Modelling, 3D Visualiza-tion, 3D Model Morphing
1
Giriş
Günümüzde, sosyal medya ve pazarlamanın bireyler üzerinde yarattığı etki ile birlikte birçok kişide filmlerde ve dizilerde parlatılan ‘kusursuz’ insanlara ben-zeme isteği oluşmaktadır. Bu durum sonucunda çoğu insan, kendini yetersiz his-sederek güzelleşme uğruna tıbbi prosedürlere başvurmaktadır [7]. Birçok farklı alanda uygulanabilen bu tıbbi prosedürlere bakıldığında ise burun ameliyatı, bur-nun üstlenmiş olduğu kritik fonksiyonel işlevlerinin yanı sıra kişilerin dış görü-nüşlerine karakteristik özellikler katmasından dolayı en çok tercih edilen ameliyat türlerinden biri olarak ortaya çıkmaktadır [6]. Her ne kadar burun ameliyatları
popüler bir ameliyat türü olsa da, ameliyat olma kararı birçok kişi için çok zorlu bir süreçtir [14]. Özellikle, sağlık sorunu olmayan bireylerin tercihen oldukları bu ameliyatlarda beklenen sonuçları alamama ihtimali, kişilerde endişe ve kaygı ya-ratmaktadır. Üstelik bu ihtimal, prosedür sonucu burun yapısının kendilerinde aynı şekilde görünüp görünmeyeceğini bilememesinden dolayı oldukça yüksek-tir [20]. Bu tip istenmeyen durumları ortadan kaldırarak bu ameliyatlardaki ba-şarı oranını artırmak için, kişiye yapılacak burun modelinin kişilerin kendi yüz hatlarıyla bir uyum ve bütünlük içinde olması gerekmektedir. Bu bütünlüğe de hastayla birlikte prosedür öncesi karar vermek ve hastanın da fikir ve beklentileri doğrultusunda hareket etmek prosedür sonrası iki tarafı da mutlu etmektedir. Bu sayede hasta da yüksek beklentilere girmeden burnun fonksiyonel işlevinin en üst düzeyde korunduğu aynı zamanda da görüntü olarak istenen bir burna kavuşabilmektedir. Bu kapsam doğrultusunda belirtilen problemi çözmek adına literatürde kişilerin 2 boyutlu resimleri üzerinde değişiklik yapmalarını sağlayan birçok farklı çalışma bulunmaktadır [19,21]. Ancak, ameliyat olma kararı aşama-sında çekilen hasta fotoğraflarının 2 boyutlu halleri üzerinde değişiklikler yapmak çoğu zaman hastanın beklentilerinin anlaşılmasında yetersiz kalmaktadır [18]. Bu yetersizliğin oluşmasındaki en büyük sebep ise fotoğraf üzerinde çekilen andaki ışığın tam olarak gerçeği yansıtamamasıdır [24]. Düzenleme sırasında ışık da dokularla hareket ettiği icin gerçekçi bir görüntü elde edilememektedir. Buna ek olarak, hastanın burnunu her açıdan görememesi de var olan uygulamaların önemli bir eksikliğidir [3].
Literatürde var olan çalışmaların belirttigi eksiklikleri kapatmak icin geliş-tirilen bu projede, hastanın önden ve yandan çekilmiş fotoğraflarıyla üzerinde düzenlemelerin gerçekleştirilebileceği 3 boyutlu bir model oluşturulmaktadır. Bu sayede doktorların 3B model üzerinde yapacağı düzenlemeler ile daha gercekçi sonuçlar elde edilerek bu sonuçların hastalara kolay bir sekilde anlatılması amaç-lanmıştır. Bildirinin geri kalan kısmı şu şekilde oluşturulmuştur: Bir sonraki bö-lümde çalışmanın alt yapısını oluşturmak için literaturdeki benzer çalışmalar detaylı bir şekilde anlatılmıştır. Üçüncü bölümde, sistemin tasarımı açıklanarak kişilerin sistem ile ilgili düşünceleri paylaşılmıştır. Dördüncü bölümde ise elde edilen sonuçlar tartışılarak bildiri sonlandırılacaktır.
2
Literatür Değerlendirmesi
Estetik ameliyatlar, görünüşlerinden memnun olmayan kişilerin kendilerini daha iyi hissetmek adına yaptırdıkları operasyonlardır [27]. Genellikle zorunlu olma-yan bu prosedürlerin sağlıksal bir sebep yerine güzellik kaygısından yapılıyor olması hastanın beklentisini arttırdığından, ameliyat sonrasındaki sonucu bile-memek hastanın tedirginliğini artırmaktadır. Sürecin başındaki zorlu karar aşa-masından dolayı hastaya beklenilen sonucun görsel olarak gösterilmesi hasta-doktor iletişimini kolaylaştırmakta ve hastanın kendinden emin bir şekilde karar vermesine yardımcı olmaktadır [15]. Bu sebeple, hem hasta memnuniyetini artır-mak hem de doktorların işini kolaylaştırartır-mak adına, literatürde 2B ve 3B model-leme/düzenleme araçları geliştiren birçok çalışma bulunmaktadır. Bu kapsamda
2B modeller üzerinde yapılan çalışmalar incelendiğinde, Chabanas ve diğerleri-nin [5] yapmış olduğu çalışmada, ortognatik cerrahi işlemler olan mandibula (alt çene) ve maksilla (üst çene) deformitelerini mesh-matching metodu ile otomatik olarak modelleyen bir uygulama geliştirilmiştir. Geliştirilen uygulamanın başa-rısını test etmek amacıyla 6 hasta için model oluşturulmuş ve bu modellerden 2 tanesinin simülasyonu yapılmıştır. Simülasyonlardan elde edilen sonuçlar 5 cer-rah tarafından değerlendirilmiş olup, geliştirilmiş uygulamanın hastaların çene deformasyonlarını otomatik olarak tespit etmede başarılı bir araç olduğu belir-tilmiştir. Rabi ve diğerleri [21] tarafından yapılan diğer bir çalışmada ise kişinin yüzüne, başka bir kişinin yüz hatları ve ten rengi gibi özellikleri otomatik olarak yerleştirilerek hastanın planlanan görüntüyü görmesi hedeflenmiştir. Geliştiri-len bu uygulama, hastanın sahip olduğu dokular arasında hiçbir kesinti ve renk farklılığı yaratmadığı için, estetik çene ameliyatı gibi birçok farklı cerrahi pro-sedür öncesi etkili bir şekilde kullanılması planlanmıştır. Bu kapsamda yapılan diğer bir çalışmada ise burun estetik ameliyati öncesinde hastaya burnun ana-tomik yapısı göz önünde bulundurularak oluşan görüntüyü sunan bir uygulama geliştirilmiştir [19]. Diğer çalışmalardan farklı olarak bu çalışmada burun, belirli kısıtlamalar çerçevesinde düzenlenirken, ideal bir burnun sahip olduğu yapısal formun korunmasına yönelik yönlendirmeler bulunmaktadır.
Yukarıdaki çalışmalardan da görüleceği üzere literatürde 2B görüntüleme üze-rine birçok çalışma mevcuttur. Ancak hasta yüzünün görselleştirilmesi ile ilgili 2B görüntüleme teknikleri kullanıldığında bu teknikler ile üretilen görüntüle-rin ışıklandırmalarının yetersizliği [24] ve yüzün her açıdan görünememesi [18] gibi sebeplerden ötürü hastaların beklentilerini karşılayamayarak yetersiz kaldığı görülmüştür. Tam bu noktada, 3B modeller belirtilen bu eksiklikleri ortadan kal-dırarak daha gerçekçi görüntülerin elde edilmesinde kullanılmaktadır.
Literatürde 3B modellerin oluşturulmasıda birçok farklı yöntem bulunmakta-dır. Bu yöntemlerden ilki bilgisayarlı tomografi yöntemidir [12,13]. Bu yöntemle istenilen sonuca ulaşılsa da, maruz kalınan radyasyon ve maliyet göz önüne alın-dığında estetik prosedüre uygun olmadıkları anlaşılmıştır. Diğer bir yöntem olan lazer ve fotogrometrik tarayıcılar ile istenilen yüz şekillerinin 3B modelleri de etkili bir şekilde oluşturulabilmektedir [9,16,23]. Ancak bu yöntemler ile model-lerin oluşturulması işlemi çok maliyetli, donanım bağımlı ve kullanımı karmaşık olduğu için kişiler tarafından erişilmesi zordur. Wang ve diğerleri [26] tarafından yapılan diğer bir çalışmada ise 3B lazer tarayıcı ve lateral X-ray fotoğrafı kul-lanılarak yüksek hassaslıkta modeller oluşturulmaktadir. Bu yöntemde derinin kalınlığı X-ray fotoğrafından girdi olarak alınarak mode manuel veya istatik-sel verilere göre otomatik olarak modifiye edilebilmektedir. Sistemin başarısını anlayabilmek için geliştirilen uygulama bu alanda çalışan cerrahlar tarafından test edilmiştir. Bu testlerden elde edilen sonuçlara göre sistemin, günlük klinik çalışmalara yardımcı olabileceği belirtilmiştir. Her ne kadar başarılı modeller elde edilse de bu modelleri oluşturmak için kullanılacak lazer tarayıcı ve x-ray cihazının maliyetli olması bu yöntemin kullanılmasını zorlaştırmaktadır. Sonuç olarak, bahsedilen araçların teknik ve finansal açıdan kullanımının zor olması bu araçların kullanımının yaygınlaşmasına engel olmaktadır.
Yukarıda belirtilen yöntemlere alternatif olarak, fotoğraf ve video kullanı-larak ton farkı [28], hareket [10, 25] ve gölgelendirme [17, 22] yöntemlerinden yararlanılarak donanımdan bağımsız oluşturulan 3B modeller de bulunmakta-dır. Oliveira-Santos ve diğerleri [18] tarafından tamamlanan çalışmada burun estetik ameliyatı öncesinde hastaya oluşacak görüntüyü sunan web tabanlı bir uygulama geliştirilmiştir. Bu çalışmadan elde edilen sonuçlara göre, geliştirilen sistem burun ameliyatlarında kullanılabilecek faydalı bir araçtır. Baumberger ve diğerleri [2] tarafından yapılan diğer bir çalışmada ise hastanın video görüntü-sünden 3B modeller oluşturulmaktadır. Spatio-temporal takip etme metodu ile oluşturulan modeller %5 medyan hata payına sahiptir. Video takip metodu sa-yesinde oluşturulan modellerin başarısında kullanılan fotoğraf sayısının önemli olmadığı anlaşılmıştır. Amberg ve diğerleri [1] tarafından yapılan çalışmada ICP algoritması kullanılarak duygusal değişimlerden bağımsız olarak 3D model oluş-turulmuştur. Çekilen fotoğraflarda kişi gülüyor veya kızıyorsa bile gerçekçi bir 3B model oluşturulmaktadır. Elde edilen yüz modellerindeki doğruluk oranı doğal modelle 98.1% iken duyguların olduğu modellerle 99.7%’e kadar çıkmaktadır.
Özet olarak, literatürde estetik ameliyatları öncesinde hastaların kaygı sevi-yelerini düşürerek memnuniyetlerini artırmak amacıyla hem 2B hem de 3B mo-deller kullanan birçok bilgisayar tabanlı uygulama bulunmaktadır. Ancak, hem 2B modellerin gerçeği tam olarak yansıtamaması hem de 3B model kullanan uy-gulamaların çok maliyetli olmasından dolayı bu uygulamalar istenilen seviyede kullanılamamaktadır. Bu doğrultuda, bu çalışmada açık kaynaklı araçların mo-difiye edilerek 2B fotoğraflardan 3B modellerin etkili bir şekilde oluşturulması ve oluşturulan bu modellerin üzerinde çeşitli birçok farklı düzenleme yapılması hedeflenmiştir. Bir sonraki bölüm, geliştirilen geliştirilen bu uygulamayı detaylı bir şekilde açıklayacaktır.
3
Yöntem
3.1 Kullanılan Araçlar
Bu çalışmada, estetik ameliyatların öncesinde doktorların hastaları ile iletişimini kolaylaştırmak ve ameliyat sonrası beklenen görüntüyü hastaya anlatmaya yar-dımcı olmak amacıyla hastaların fotoğraflarından 3B model oluşturan bir araç geliştirilmiştir. Bu araçta, oluşturulan model üzerinde düzenlemeler yapabilmek için Python programlama dili ile Blender 3D programı ile uyumlu bir şekilde çalışan bir arayüz tasarlanmıştır.
Bu teknolojilerden Blender 3D; modelleme, animasyon, hareket izleme ve oluşturma gibi işlemleri tamamen destekleyen açık kaynaklı ve ücretsiz bir 3B modelleme ortamıdır [4]. Geliştirilen arayüz ile Blender 3D’de doktorların hasta-nın fotoğraflarını seçebilecekleri ve seçilen fotoğraflardan oluşturulan 3B model üzerinde düzenlemeler yapabilecekleri menüler arayüze entegre edilmiştir.
Python programlama dili, gerek makine öğrenmesi ve derin öğrenme çalışma-larında hızlı çalışıyor olması, gerekse sahip olduğu geniş standart kütüphaneleri ile oldukça popülerleşmiş ve modelleme alanında geniş kullanım alanına sahip
bir programlama dilidir [11]. Python programlama dili, Blender 3D programı ile entegre bir şekilde çalıştığı için bu çalışmada tercih edilmiştir.
3.2 Sistem Tasarımı
Bu proje, 3B yüz modelinin oluşturulması ve oluşturulan 3B modelin düzen-lenmesi olarak iki ana bölümden oluşmaktadır. Amaç, 3B yüz geometrisini ve insan yüzünün doku bilgilerini 2B fotoğraflardan elde etmektir. Bu amaç doğ-rultusunda geliştirilen sistemde, biri profil fotoğrafı diğeri ise önden bir fotoğraf olmak üzere toplam 2 adet fotoğraf ile 3B yüz yapısını eşzamanlı olarak yapı-landıran ve yoğun hizalama sağlayan bir model oluşturulmaktadır. Belirtilen bu işlevleri sağlayabilmek için bu çalışmada, yüzün 3B şeklini UV uzayına kaydeden UV konum haritası adı verilen bir 2B gösterim tasarlanarak, bu 2B görüntüden 3B modeli oluşturmak için Evrişimsel Sinir Ağlarını eğiten bir algoritmadan fay-dalanılmıştır [8]. Bu sayede, burun ameliyatlarında faydalı olacak, gerçekçi ve beklenen görüntüyü hastaya anlatmaya yardımcı olacak bir sistem geliştirmek hedeflenmiştir.
Çalışmanın amacı 3B modellerin burun estetiği alanında kullanılması olduğu için, hastaların burun bölgelerinin daha detaylı ve gerçeğe yakın olması gerek-mektedir. Bu amaçla yüzdeki belirli kısımların profilden çekilmiş fotoğraflardan elde edilen model bilgisinin kullanılması gerekmektedir. Bu sebeple hastaların 3B yüz modelleri oluşturulurken, burun ve çene gibi insan yüzündeki önemli olan bölgelerde, hastanın yan profil fotoğrafından kesilen bölgeden oluşturulan UV konum haritası ile ön fotoğrafından oluşturulan UV konum haritasını birleş-tirilerek yüz modeli oluşturulmaktır.
Amaç 3B yüz geometrisini ve yoğun hizalama bilgilerini 2B fotoğraflardan elde etmektir. Bu sebeple derin ağların doğrudan 2B fotoğraflardan elde edilen bilgiler üzerinden modelleme yapabilmesini sağlayacak bir gösterim kullanılmış-tır. Şekil 1’de gösterildiği üzere UV konum haritası, 3B tüm yüz yapısını ve hizalama bilgisini de içeren haritayı sunmaktadır. Bu harita, UV uzayındaki tüm noktaların 3B konumlarının kayıtlı olduğu 2B bir görüntüdür. Derin ağ al-goritması girdi olarak RGB görüntüyü konum haritasına çevireceği için, çevirme işlemini öğrenmek adına bir encoder-decoder yapısı kullanılmıştır. Fotoğraflara karşılık gelen konum haritalarının bulunması için 3DMM parametreleri fotoğraf-ları UV uzayına dönüştürmek için kullanılmıştır. Yüzün merkezi diğer bölgelere göre daha ayırt edici özelliklere sahip olduğundan ağı eğitmek için bir ağırlık maskesinden faydalanılmıştır. Amaç yüzü net bir şekilde modellemek olduğu için, yüzdeki noktalar 4 parçaya ayrılmıştır ve bu dört parçanın ağırlıkları bir-birinden farklı olarak belirlenmiştir. Ağı eğitmek için farklı açılardan çekilmiş birden çok fotoğrafın bulunduğu ve bu fotoğraflardan 3B nokta bulutunun ko-layca oluşturulabileceği 300W-LP [29] veri seti kullanılmıştır. Eğitim setindeki fotoğraflar rastgele farklı açılarda döndürülerek ve çevirilerek tüm zor durumları ele almak için çeşitlendirilmiştir.
Geliştirilen program, Blender programı üzerinde entegre bir şekilde çalışmak-tadır. Blender programı için geliştirilen arayüzler, doktorların kolay bir şekilde kullanabilecekleri bir biçimde tasarlanmıştır. İlk olarak doktorun, hastanın 3B
Şekil 1. 3B Modelin Çıkarılması
yüz modelini oluşturabilmesi için hastanın fotoğraflarını sisteme yüklemesi ge-rekmektedir. Bu işlemi yapabilmek için doktorun, Şekil 2’de gösterilen menüdeki "Yüz Modeli -> Fotoğraf Seç" sekmesine tıklayarak hastanın fotoğraflarının ol-duğu klasörü seçmesi gerekmektedir. Fotoğraf seçimi Şekil 3’te gösterildiği gibi yapılmaktadır. Doktor hastanın fotoğraflarının olduğu klasörü seçtikten sonra Dosya Yolunu Al tuşuna tıklamalıdır. Fotoğrafları seçilen hastanın 3B yüz mo-deli arka planda oluşturulur. Ardından Blender’ın "3D View " ekranında gözü-kür.
Yüz Modeli menüsünde Görüntüleme Modu ve Düzenleme Modu olmak üzere 2 tane mod vardır. Hastanın 3B yüz modeli üzerinde yapısal değişikliklerin ya-pılabilceği mod düzenleme modudur.
Düzenleme modu seçildiği zaman ekranın sol tarafında fırçaların görüldüğü bir araç çubuğu ekrana gelir. Bu kısımda Şekil 2’de görülen çeşitli fırçalar seçi-lebilmektedir. Bu fırçalarla insan yüzü üzerinde yapılmak istenen yapısal deği-şikliklerin yapılmasına olanak sağlamaktadır.
Doktor, 3B modele farklı açılardan bakmak isteyebilir. Bunu imleç yardımıyla da yapabilir. Fakat önden, sağ-sol profilden, aşağıdan ve yukarıdan da bakmak istenebilir. Bunun gibi açılarda 3B modeli döndürebilmek için menü çubuğunda
Şekil 2. Blender Arayüzü ve Menüler
Şekil 3. Hasta Resimlerinin Uygulamaya Yüklenmesi
Görüntü Açısı adı altında bir menü oluşturularak alt menülerde bu açılardan görüntüyü ekrana yansıtacak seçenekler eklenmiştir. Aynı zamanda doktor belirli bir bölgede daha detaylı çalışma yapmak isteyebilir. Çalışma yapacağı alanı daha kolay seçebilmesi için Seçili Bölgeye Yaklaş seçeneği konulmuştur. Bu seçeneğe tıkladığımızda ekranda dikdörtgensel alanı seçmemize olanak sağlayan bir araç belirir. İmleci basılı tutarak istenilen alan seçildiğinde o bölgeye yaklaşılır.
Menü çubuğundaki menülerden birisi ise Maskeleme menüsüdür. Maskeleme aracı, doktorun sadece kendi belirlediği alanda düzenleme yapmasını sağlayacak bir araçtır. Diktörtgen ve Lasso maskeleme araçları mevcuttur. Lasso maskeleme
aracı SHIFT+CTRL ile aktive edilip istenilen bölge maskelenebilir. Lasso mas-keleme aracı dikdörtgensel olmayan bölgeleri seçmede daha iyi sonuçlar verirken dikdörtgen maskeleme de alternatif olarak kullanılabilir. Maskeleme araçları ile belirli bir bölgeyi seçtikten sonra maskelenmiş alanın zıttı da Maskelemeyi Ter-sine Çevir seçeneği ile aktive edilebilr.
3B model üzerinde değişiklikler yapılırken, doku olmadan da çalışılabilir. Bu-nun için ALT+Z tuş kombinasyonu ile 3B model üzerindeki doku aktive ve de-aktive edilebilir. Dokunun olmadığı gösterim (bkz. Şekil 4) 3B model üzerinde daha hassas çalışılabilmesine olanak sağlar.
Şekil 4. 3B Model Üzerinde Yapılan Değişiklikler. 1.satır girdi modeli, 2. satır düzen-lenmiş model
Yapılan çeşitli düzenlemeler sonucunda Şekil 4’teki gibi bir sonuç elde edil-miştir. 1. satırdaki görüntüler programa girdi olarak verilen resimlerden elde edilen üzerinde oynama yapılmamış 3B modellerdir. 1. sütun profilden gösterim, 2. sütun önden gösterim, 3. sütun ise dokunun olmadığı gösterimdir. 2. satır ise doktorun üzerinde çeşitli düzenlemeler yaptığı modelin görüntüleridir. Bu görüntüyü elde etmek için, Thumb, Inflate/Deflate, Crease ve Smooth fırçaları kullanılmıştır.
4
Deneyler ve Analizler
Geliştirilen bu sistem, plastik cerrahi ve kulak-burun-boğaz alanında 10 yılı aşkın tecrübesi olan 8 uzman doktor ile değerlendirilmiş olup, doktorların sistem ile ilgili düşüncelerini alabilmek için aşağıdaki sorular sorulmuştur.
S1: Burun ameliyatları icin 3B modelleme yapan programların varlıgından haberdarım.
S2: Hasta, operasyon sonrasında ortaya cıkacak goruntuyu gormek ister. S3: 3B model gormek hastayı ameliyata ikna etmeyi saglar.
S4: Operasyon oncesi simulasyonda bize yardımcı olur. S5: Modelin gercekci bir sonuc verdigini dusunuyorum. S6: Doktor acısından kullanması kolay bir programdır.
S7: Modelleme programları ile ugrasmak doktorlar icin vakit kaybıdır. S8: Bu urunu klinigimde kullanmak isterim.
Uzmanlar yukarıdaki sorulara cevap verebilmek için her soruya 1: Kesinlikle katılmıyorum, 2: Katılmıyorum, 3: Ne katılıyorum ne katılmıyorum, 4: Katılı-yorum ve 5: Kesinlikle katılıKatılı-yorum olacak şekilde Likert ölçü sistemine uygun bir notlandırma sisteminde her soruya puan vermiştir. Uzmanların verdiği notlar Tablo 1’de gösterilmiştir.
Tablo 1. Sistem ile İlgili Uzman Kişilerin Değerlendirme Sonuçları
S1 S2 S3 S4 S5 S6 S7 S8 1. Uzman 5 4 4 4 4 4 3 3 2. Uzman 5 5 5 5 4 - 2 5 3. Uzman 5 5 5 5 4 - 1 5 4. Uzman 5 5 4 5 3 4 2 3 5. Uzman 5 4 4 4 4 4 3 3 6. Uzman 4 3 4 4 3 4 3 -7. Uzman 5 5 4 4 2 5 3 -8. Uzman 2 5 4 4 4 3 2 4 Ortalama 4.5 4.5 4.3 4.4 3.3 4 2.4 3.8
Uzmanların verdiği cevaplar soru bazında ortalama skor alınarak incelendiği zaman, bütün sorularda (7. soru ters soru olduğu için 2.4 başarılı bir skor ola-rak değerlendirilmiştir.) uzmanların sistem ile ilgili verdikleri görüşlerin olumlu olduğu görülmüştür. Doktorların birçoğu, böyle bir sistemin ameliyat öncesinde hem hastanın beklentilerinin anlaşılmasında hem de hastanın gözünde yapılması planlanan burun yapısının anlaşılarak hastanın endişe seviyesini düşürmede kul-lanılabilecek faydalı bir araç olduğunu düşünmektedir.
5
Sonuçlar ve Gelecek Çalışmalar
Günümüzde estetik kaygılar sebebi ile ameliyat olan kişilerin sayısı oldukça fazla-dır. Bu çalışma, hastaların ameliyat sonrası karşılaşacakları görüntü konusunda isteklerinin anlaşılması ve doktorlar ile hastaların iletişimlerini artması amacıyla geliştirilmiştir. Bu amaç doğrultusunda hastanın fotoğraflarından, yüzünün 3B modelinin oluşturulduğu ve doktorun üzerinde 3B değişiklikler yapabileceği az maliyetli ve derin öğrenme tabanlı bir uygulama tasarlanmıştır.
Geliştirilen uygulama hakkında, alanında uzman doktorlarların görüşleri alın-mıştır. Uzmanlarla yapılan görüşmelerin sonucunda ise gerçek hayatta bu tür uygulamaların gerekli olduğu ve ulaşılmasının zor olduğu ifade edilmiştir. Ame-liyat öncesi bu uygulama kullanıldığında hastanın endişe seviyesinin düşebileceği, doktor için faydalı bir araç olduğu düşünülmektedir.
Gelecek çalışmalarda ise, daha gerçekçi bir 3B model oluşturulması, dok-torların kullanacağı arayüze daha fazla fonksiyonların eklenmesi ve hasta yüzü üzerinde yapılan değişikliklerin hasta yüzünde gerçek zamanlı olarak görüntüle-nebilmesi amaçlanmaktadır.
Kaynakça
1. Amberg, B., Knothe, R., Vetter, T.: Expression invariant 3d face recognition with a morphable model. In: 2008 8th IEEE International Conference on Automatic Face & Gesture Recognition. pp. 1–6. IEEE (2008)
2. Baumberger, C., Reyes, M., Constantinescu, M., Olariu, R., de Aguiar, E., Santos, T.O.: 3d face reconstruction from video using 3d morphable model and silhouette. In: 2014 27th SIBGRAPI Conference on Graphics, Patterns and Images. pp. 1–8. IEEE (2014)
3. Biadgligne, Y.: Performance evaluation of photometric normalization (2015) 4. Brito, A.: Blender 3D: Architecture, Buildings, and Scenery: Create photorealistic
3D architectural visualizations of buildings, interiors, and environmental scenery. Packt Publishing Ltd (2008)
5. Chabanas, M., Luboz, V., Payan, Y.: Patient specific finite element model of the face soft tissues for computer-assisted maxillofacial surgery. Medical image analysis 7(2), 131–151 (2003)
6. Daniel, R.K.: The preservation rhinoplasty: a new rhinoplasty revolution (2018) 7. Darisi, T., Thorne, S., Iacobelli, C.: Influences on decision-making for undergoing
plastic surgery: a mental models and quantitative assessment. Plastic and Reconst-ructive Surgery 116(3), 907–916 (2005)
8. Feng, Y., Wu, F., Shao, X., Wang, Y., Zhou, X.: Joint 3d face reconstruction and dense alignment with position map regression network. In: Proceedings of the European Conference on Computer Vision (ECCV). pp. 534–551 (2018)
9. Heike, C.L., Upson, K., Stuhaug, E., Weinberg, S.M.: 3d digital stereophotogram-metry: a practical guide to facial image acquisition. Head & face medicine 6(1), 18 (2010)
10. Jebara, T., Azarbayejani, A., Pentland, A.: 3d structure from 2d motion. IEEE Signal processing magazine 16(3), 66–84 (1999)
12. Kim, H., Jürgens, P., Weber, S., Nolte, L.P., Reyes, M.: A new soft-tissue simula-tion strategy for cranio-maxillofacial surgery using facial muscle template model. Progress in biophysics and molecular biology 103(2-3), 284–291 (2010)
13. Koch, R.M., Gross, M.H., Carls, F.R., von Büren, D.F., Fankhauser, G., Pa-rish, Y.I.: Simulating facial surgery using finite element models. Technischer Be-richt/Eidgenössische Technische Hochschule, Departement Informatik 246 (1996) 14. Leem, S.Y.: The anxious production of beauty: Unruly bodies, surgical anxiety and
invisible care. Social studies of science 46(1), 34–55 (2016)
15. Lekakis, G., Claes, P., Hamilton III, G.S., Hellings, P.: Three-dimensional surface imaging and the continuous evolution of preoperative and postoperative assessment in rhinoplasty. Facial Plastic Surgery 32(01), 088–094 (2016)
16. Lin, S.J., Patel, N., O’shaughnessy, K., Fine, N.: A new three-dimensional imaging device in facial aesthetic and reconstructive surgery. Otolaryngology—Head and Neck Surgery 139(2), 313–315 (2008)
17. Moghaddam, B., Lee, J., Pfister, H., Machiraju, R.: Model-based 3d face capture with shape-from-silhouettes. In: 2003 IEEE International SOI Conference. Proce-edings (Cat. No. 03CH37443). pp. 20–27. IEEE (2003)
18. Oliveira-Santos, T., Baumberger, C., Constantinescu, M., Olariu, R., Nolte, L.P., Alaraibi, S., Reyes, M.: 3d face reconstruction from 2d pictures: first results of a web-based computer aided system for aesthetic procedures. Annals of biomedical engineering 41(5), 952–966 (2013)
19. Ozkul, T., Ozkul, M.H.: Computer simulation tool for rhinoplasty planning. Com-puters in Biology and Medicine 34(8), 697–718 (2004)
20. Pearson, D.C., Adamson, P.A.: The ideal nasal profile: rhinoplasty patients vs the general public. Archives of facial plastic surgery 6(4), 257–262 (2004)
21. Rabi, S.A., Aarabi, P.: Face fusion: an automatic method for virtual plastic surgery. In: 2006 9th International Conference on Information Fusion. pp. 1–7. IEEE (2006) 22. Salzmann, M., Pilet, J., Ilic, S., Fua, P.: Surface deformation models for nonrigid 3d shape recovery. IEEE Transactions on Pattern Analysis and Machine Intelligence 29(8), 1481–1487 (2007)
23. See, M.S., Foxton, M., Miedzianowski-Sinclair, N., Roberts, C., Nduka, C.: Ste-reophotogrammetric measurement of the nasolabial fold in repose: a study of age and posture-related changes. European Journal of Plastic Surgery 29(8), 387–393 (2007)
24. Suliga, P., Wrona, T.: Microlens array calibration method for a light field camera. In: 2018 19th International Carpathian Control Conference (ICCC). pp. 19–22. IEEE (2018)
25. Torresani, L., Hertzmann, A., Bregler, C.: Nonrigid structure-from-motion: Esti-mating shape and motion with hierarchical priors. IEEE transactions on pattern analysis and machine intelligence 30(5), 878–892 (2008)
26. Wang, J.x., Liao, S.h., Zhu, X.h., Wang, Y., Ling, C.x., Ding, X., Fang, Y.m., Zhang, X.h.: Real time 3d simulation for nose surgery and automatic individual prosthesis design. Computer methods and programs in biomedicine 104(3), 472–479 (2011)
27. Wilkie, T.F.: A psychological study of patients undergoing cosmetic surgery. Plastic and Reconstructive Surgery 58(2), 257 (1976)
28. Zhang, R., Tsai, P.S., Cryer, J.E., Shah, M.: Shape-from-shading: a survey. IEEE transactions on pattern analysis and machine intelligence 21(8), 690–706 (1999) 29. Zhu, X., Lei, Z., Liu, X., Shi, H., Li, S.Z.: Face alignment across large poses: A 3d
solution. In: Proceedings of the IEEE conference on computer vision and pattern recognition. pp. 146–155 (2016)
