i ÖNSÖZ VE TEŞEKKÜR
Bu tez çalışmasında, geleceğin teknolojilerinden hiperspektral görüntüleme sistemleriyle elde edilen verilerin verimli bir şekilde sıkıştırılması için özgün yöntemler geliştirilmiştir. Yapılan çalışmaların bu alanda çalışan ve çalışacak araştırmacılara faydalı olmasını dilerim.
Lisansüstü eğitimim boyunca birlikte çalıştığım, çalışmalarım boyunca yardımlarıyla bana yol gösteren ve her zaman destek veren değerli hocam Doç. Dr. Mehmet Kemal GÜLLÜ’ye ne kadar teşekkür etsem azdır. Ayrıca, tez çalışmalarım boyunca beni yönlendirerek hep daha iyiye ulaşmamı sağlayan değerli hocalarım Prof. Dr. Oğuzhan URHAN ve Doç. Dr. Gökhan BİLGİN’e teşekkürü bir borç bilirim.
Akademik çalışmalarım boyunca her zaman desteğini hissettiğim, en sıkıntılı ve stresli anlarımda yanımda olan ve benden sabrını esirgemeyen sevgili eşim Dr. Fatma KARACA’ya teşekkür ederim. Hayatım boyunca hem maddi hem manevi olarak benden ilgi ve desteklerini hiçbir zaman esirgemeyen her zaman yanımda olan aileme çok teşekkür ederim.
Araştırma görevliliğim süresince birlikte keyifle çalıştığım ve pek çok sorunu paylaştığım çalışma arkadaşlarım Dr. Ayhan KÜÇÜKMANİSA, Dr. Ramazan DUVAR ve Hande BODUR’a teşekkürü borç bilirim.
ii İÇİNDEKİLER ÖNSÖZ VE TEŞEKKÜR ... i İÇİNDEKİLER ... ii ŞEKİLLER DİZİNİ ... iv TABLOLAR DİZİNİ ... vi
SİMGELER DİZİNİ VE KISALTMALAR ... viii
ÖZET... ix
ABSTRACT ... x
GİRİŞ ... 1
1. GENEL BİLGİLER ... 6
1.1. Hiperspektral Görüntüleme ... 8
1.2. Hiperspektral Görüntülemede Sıkıştırmanın Önemi ... 10
2. VERİ KÜMELERİ ... 13
2.1. AVIRIS 1997 Veri Kümesi ... 14
2.2. CCSDS 2006 Veri Kümesi ... 14
2.3. Entropi Analizi ... 16
3. HİPERSPEKTRAL GÖRÜNTÜLERİN SIKIŞTIRILMASI ... 18
3.1. Giriş... 18
3.1.1. Uzamsal artıklık ... 18
3.1.2. Zamansal artıklık ... 19
3.1.3. Spektral artıklık ... 19
3.1.4. İstatistiksel artıklık ... 21
3.2. Hiperspektral Görüntü Sıkıştırma Teknikleri ... 22
3.2.1. Kayıplı sıkıştırma ... 22
3.2.2. Kayıpsız sıkıştırma ... 24
3.2.2.1. Bant sıralama ve bant gruplama ... 24
3.2.2.2. Bant içi tahmin ... 25
3.2.2.3. Bantlar arası tahmin ... 26
3.2.2.4. Sembol kodlama ... 26
3.2.3. Kayıpsıza yakın sıkıştırma ... 26
3.3. Literatürdeki Kayıpsız Sıkıştırma Yaklaşımları ... 27
3.3.1. Tahmin yöntemleri ... 28
3.3.1.1. Basit yöntemler ... 29
3.3.1.2. Referans tablosu temelli yöntemler ... 39
3.3.1.3. Bölütleme temelli yöntemler ... 41
3.3.1.4. Filtreleme temelli yöntemler ... 44
3.3.2. Vektör nicemleme yöntemleri ... 55
3.3.3. Dönüşüm yöntemleri ... 56
3.4. Sıkıştırma Performansları Üzerinden Genel Karşılaştırma ... 59
3.5. Seçilen Sıkıştırma Tekniği ... 60
3.6. Karşılaştırmada Kullanılacak Metrikler ... 61
4. HIZLANDIRILMIŞ UYARLAMALI CRLS YÖNTEMİ ... 64
4.1. Giriş... 64
iii
4.2.1. FL yöntemi ... 66
4.2.2. RLS yöntemi ... 68
4.2.3. CRLS yöntemi ... 70
4.2.4. ACRLS yöntemi ... 71
4.3. Örnek Azaltma Temelli Uyarlamalı CRLS Yöntemi (FACRLS) ... 73
4.4. Deneysel Sonuçlar ... 74
4.4.1. Sıkıştırma performanslarının değerlendirilmesi ... 74
4.4.2. Çalışma sürelerinin değerlendirilmesi ... 76
4.5. Vargılar ... 80
5. İKİ MODLU CRLS YÖNTEMİ ... 81
5.1. Giriş... 81
5.2. İki Modlu CRLS Yöntemi (B-CRLS) ... 83
5.3. Örnek Azaltma Temelli Mod Belirleme (SB-CRLS) ... 87
5.4. Benzer Verilerdeki Karakteristik Üzerinden Mod Belirleme (SBS-CRLS) ... 87
5.5. Deneysel Sonuçlar ... 88
5.5.1. Giriş vektör uzunluğunun belirlenmesi ... 88
5.5.2. Vektör modlarının karşılaştırılmalı değerlendirilmesi ... 90
5.5.3. SB-CRLS’deki örnekleme faktörünün belirlenmesi... 91
5.5.4. Sıkıştırma performanslarının karşılaştırmalı değerlendirilmesi ... 92
5.6. Vargılar ... 95
6. SÜPERPİKSEL TEMELLİ CRLS YÖNTEMİ ... 96
6.1. Giriş... 96
6.2. Süperpiksel ve Filtreleme Temelli Kayıpsız Sıkıştırma Yöntemi (SuperRLS) ... 98
6.2.1. Süperpiksel bölütleme ... 98
6.2.2. Vektörel dönüştürme ... 102
6.2.3. Yerel ortalama hesabı ... 103
6.2.4. Filtre katsayılarının ilklendirilmesi ... 103
6.2.5. RLS tahmin yapısı ... 104
6.2.6. Entropi kodlama ... 106
6.3. İki Modlu SuperRLS Yöntemi (B-SuperRLS) ... 106
6.4. Deneysel Çalışmalar ... 108
6.4.1. Parametre seçimi ... 109
6.4.2. Güncel yöntemlerle karşılaştırılması ... 110
6.4.3. Önerilen yöntemlerin hesap sürelerinin incelenmesi ... 113
6.4.4. Hesap sürelerinin güncel yöntemlerle karşılaştırılması ... 116
6.5. Örnek Uygulama: Hedef Bölgesinin Sıkıştırılması ... 118
6.6. Vargılar ... 120
7. SONUÇLAR VE ÖNERİLER ... 122
KAYNAKLAR ... 124
KİŞİSEL YAYINLAR VE ESERLER ... 133
iv ŞEKİLLER DİZİNİ
Şekil 1.1. Moffet Field görüntüsüne ait hiperspektral görüntü kübü ... 9
Şekil 2.1. CCSDS veri kümelerindeki bazı sahnelere ait renklendirilmiş görüntüler a)Yellowstone Sahne 0, b) Yellowstone Sahne 3, c) Yellowstone Sahne 10, d)Yellowstone Sahne 18, e) Hawaii Sahne 1, f) Maine Sahne 10 ... 15
Şekil 2.2. Ham ve kalibrasyonlu Yellowstone sahnelerinin entropi değerleri ... 17
Şekil 3.1. Gri tonlu görüntü üzerindeki uzamsal artıklıklar a) “Cameraman” görüntüsü b) Görüntünün 4. satırındaki piksel ışıklılık değerleri ... 19
Şekil 3.2. “Traffic” videosu a) 1. çerçeve görüntüsü, b) 2. çerçeve görüntüsü, c) Çerçeveler arasındaki farkların histogramı ... 20
Şekil 3.3. “Cuprite” hiperspektral verisi için spektral ilinti matrisi ... 20
Şekil 3.4. Dama tahtası görüntüsü ... 21
Şekil 3.5. Hiperspektral görüntülerin sıkıştırmasında kullanılan tekniklerin sınıflandırılması ... 22
Şekil 3.6. Hiperspektral görüntülerin dönüşüm temelli yöntemlerle kayıplı sıkıştırılması ... 23
Şekil 3.7. Hiperspektral görüntülerin tahmin temelli yöntemlerle sıkıştırılması ... 25
Şekil 3.8. Literatürde tahmin, dönüşüm ve vektör nicemleme kategorilerindeki akademik çalışmalara ait yayın oranları ... 28
Şekil 3.9. Hiperspektral görüntülerin tahmin temelli yöntemlerle sıkıştırılması ... 28
Şekil 3.10. SLSQ tahmini için kullanılan komşuluklar ... 33
Şekil 3.11. IGAP yönteminde tahmin için kullanılan komşuluklar ... 34
Şekil 3.12. 3D-MLBP yönteminde tahmin için kullanılan komşuluklar ... 35
Şekil 3.13. ABPCNEF yönteminde kullanılan bant gruplama ... 37
Şekil 3.14. SOM yönteminde kullanılan ağaç yapısı ... 38
Şekil 3.15. LUT örnek kestirim için bantlardaki piksel değerleri ... 40
Şekil 3.16. C-DPCM-RLSO’da verilen aykırı davranışa sahip pikseller ... 44
Şekil 3.17. TSP-W2 için örnek kestirim ... 47
Şekil 3.18. KSP için örnek kestirim ... 49
Şekil 3.19. IP3’te tahmin için kullanılan içerik penceresi ... 50
Şekil 3.20. CRLS algoritmasında ortalama hesabında kullanılan pikseller ... 53
Şekil 3.21. CSWA çalışmasındaki ROI sıkıştırma yöntemi ... 55
Şekil 4.1. Farklı durumlarda JPEG-LS tahmin yapısına ait görseller ... 66
Şekil 4.2. FL algoritması komşuluk yapısı ... 67
Şekil 4.3. FL algoritmasında ilk üç tahmin için kullanılan pikseller a) ilk tahmin, b) ikinci tahmin, c) üçüncü tahmin ... 68
Şekil 4.4. CRLS’nin yerel ortalama hesabında kullanılan 24 piksel ... 71
Şekil 4.5. ACRLS’de adaptif belirlenen giriş vektörü uzunlukları ... 72
v
Şekil 4.7. Yöntemlerin ortalama bit oranı ve normalize edilmiş süreleri ... 79 Şekil 5.1. Hiperspektral kameralarda kullanılan algılayıcılardan bazıları
ve kapsadığı aralıklar ... 81 Şekil 5.2. VNIR ve SWIR bölgelerini içeren AISA hiperspektral kamera
sisteminden alınan bir görüntü ve hizalama problemi ... 82 Şekil 5.3. Farklı modlar için giriş vektörü oluşturmada kullanılan
pikseller a) mod-1 içerik yapısı, b) mod-2 içerik yapısı ... 86 Şekil 5.4. a) Kalibrasyonlu görüntüler ve b) ham görüntüler için farklı
giriş vektör uzunluklarındaki bit oranı değerleri ... 89 Şekil 5.5. Farklı spektral bantlar için bit oranı artışı ... 90 Şekil 5.6. a) 33. ve b) 83. bant görüntülerinin tahmin hatalarına ait
histogramlar ... 91 Şekil 5.7. Örnekleme faktörünün a) bit oranına, b) işlem süresine etkisi ... 91 Şekil 5.8. Yöntemlerin ortalama bit oranı ve normalize edilmiş süreleri ... 95 Şekil 6.1. Farklı süperpiksel sayıları ile elde edilen örnek süperpiksel
bölütleme sonuçları ... 96 Şekil 6.2. Önerilen SuperRLS yöntemine ait akış şeması ... 99 Şekil 6.3. Süperpiksel bölütlerin sıkıştırılması kullanılan yönteme ait bir
örnek ... 102 Şekil 6.4. Farklı süpervoksellerin vektörel dönüştürme ile matris
formuna taşınması ... 102 Şekil 6.5. Yerel ortalama penceresi ve hedef piksel ... 103 Şekil 6.6. Mod-2’nin giriş vektörünü oluşturulması için kullanılan
pikseller ... 107 Şekil 6.7. a) Ham Yellowstone, b) kalibrasyonlu Yellowstone, c) 12-bit
ham veriler ve d) tüm sahneler için SuperRLS yönteminin
ortalama bit oranları ... 110 Şekil 6.8. a) Ham Yellowstone, b) kalibrasyonlu Yellowstone, c) 12-bit
ham veriler ve d) tüm sahneler için RLS, CRLS, SuperRLS ve B-SuperRLS yöntemlerinin farklı vektör uzunluklarındaki
ortalama bit oranları (SN=100) ... 111 Şekil 6.9. Yöntemlerin çalışma adımlarının farklı paralelleştirme
sayılarındaki çalışma süreleri ve oranları a) SuperRLS (#PW=1), b) SuperRLS (#PW=12), c) B-SuperRLS
(#PW=12) ... 114 Şekil 6.10. SuperRLS(#PW=1), SuperRLS (#PW=12) ve B-SuperRLS
(#PW=12) için farklı çalışma adımlarındaki çalışma süreleri (saniye) a) süperpiksel bölütleme, b) vektörel dönüştürme, c)
farkların haritalanması, d) tahmin, e) aritmetik kodlama ... 115 Şekil 6.11. SuperRLS yöntemin farklı paralelleştirme sayılarındaki
hızlandırma oranları ... 116 Şekil 6.12. Yöntemlerin ortalama bit oranı ve normalize edilmiş süreleri ... 117 Şekil 6.13. Yöntemlerin ortalama bit oranı ve normalize edilmiş süreleri
(yakınlaştırılmış) ... 118 Şekil 6.14. ROI seçim prosedürü ... 119 Şekil 6.15. Örnek uygulamanın sonuçları a) HS görüntünün yapay
renklendirilmiş görüntüsü, b) SAM sonucu, c) tespit edilen hedefler, d) geri elde edilen HS görüntünün yapay
vi TABLOLAR DİZİNİ
Tablo 1.1. Pankromatik, multispektral, hiperspektral ve ultraspektral
algılayıcılar arasındaki farklılıklar ... 7
Tablo 1.2. Başlıca hiperspektral algılayıcılar ve özellikleri ... 11
Tablo 2.1. Literatürdeki güncel yöntemler ve kullandıkları veri kümeleri ... 13
Tablo 2.2. CCSDS veri kümelerindeki sahneler ve özellikleri... 16
Tablo 3.1. Literatürdeki basit yöntemler ve öne çıkan özellikleri ... 30
Tablo 3.2. ADPCM yönteminde kullanılan 5 farklı tahmin yapısı ... 31
Tablo 3.3. Literatürdeki referans tablosu yöntemleri ve öne çıkan özellikleri ... 40
Tablo 3.4. Literatürdeki bölütleme yöntemleri ve öne çıkan özellikleri ... 42
Tablo 3.5. Literatürdeki filtreleme temelli tahmin yöntemleri ve öne çıkan özellikleri ... 45
Tablo 3.6. Literatürdeki vektör nicemleme yöntemleri ve öne çıkan özellikleri ... 56
Tablo 3.7. Literatürdeki dönüşüm yöntemleri ve öne çıkan özellikleri... 57
Tablo 3.8. CCSDS 2006 verileri için literatürdeki tahmin temelli kayıpsız hiperspektral görüntü sıkıştırma yöntemlerine ait ortalama bit oranları (bpp) ... 59
Tablo 4.1. RLS ile k. spektral bandın tahmini algoritması ... 69
Tablo 4.2. FACRLS yöntemiyle uyarlamalı seçim işlemi algoritması... 73
Tablo 4.3. CCSDS 2006 veri kümesi için yöntemlere ait elde edilen bit oranları ... 75
Tablo 4.4. FL, IP3, RLS ve CRLS yöntemlerinin ortalama işlem süreleri (saniye) ... 76
Tablo 4.5. ACRLS ve FACRLS yöntemlerinin kullandığı işlem süreleri (saniye) ... 77
Tablo 4.6. ACRLS ve FACRLS yöntemlerinin kullandığı ortalama giriş vektörü uzunlukları ... 78
Tablo 4.7. Yöntemlerin ortalama sürelerinin ACRLS yönteminin ortalama süresine oranları ... 78
Tablo 5.1. CRLS yöntemiyle k. bant imgesinin kestirimi algoritması ... 84
Tablo 5.2. B-CRLS yöntemiyle k. bant imgesinin kestirimi algoritması ... 86
Tablo 5.3. CCSDS veri kümelerine ait yöntemlerin bit oranları ... 93
Tablo 5.4. CCSDS veri tipleri için ortalama işlem süreleri (saniye) ... 93
Tablo 5.5. Yöntemlerin ortalama sürelerinin FL yönteminin ortalama süresine oranları ... 94
Tablo 6.1. SLIC süperpiksel bölütleme yöntemi algoritması ... 101
Tablo 6.2. SuperRLS yöntemiyle n. süpervokselin tahmin edilmesi ... 104
Tablo 6.3. SuperRLS yönteminin genel adımları ... 105
Tablo 6.4. B-SuperRLS yöntemine ait algoritma akışı ... 107
Tablo 6.5. Kalibrasyonlu CCSDS veri kümesi için yöntemlerin bit oranları ... 112
vii
Tablo 6.7. CCSDS veri kümesinde yöntemlerin tüm sahnelerdeki
ortalama işlem süreleri (saniye) ... 116 Tablo 6.8. Yöntemlerin ortalama sürelerinin FL yönteminin ortalama
viii SİMGELER DİZİNİ VE KISALTMALAR
Kısaltmalar
ACRLS : Adaptive CRLS (Uyarlamalı CRLS)
AIRS : Atmospheric Infrared Sounder (Atmosferik Kızılötesi Alıcısı)
AVIRIS : Airborne Visible / Infrared Imaging Spectrometer (Hava Platformunda Görünür / Kızılötesi Spektrometresi)
B-CRLS : Bimodal Conventional Recursive Least Squares (İki Modlu Geleneksel Yinelemeli En Küçük Kareler)
CASI : Compact Airborne Spectrographic Imager (Hava Platformu Kompakt Spektrografik Görüntüleyicisi)
CCSDS : Consultive Committee for Space Data Systems (Uzay Veri Sistemleri için Danışma Komitesi)
CIE : International Commission on Illumination (Uluslararası Aydınlatma Komisyonu)
CRLS : Conventional Recursive Least Squares (Geleneksel Yinelemeli En Küçük Kareler)
DLR : German Aerospace Center (Alman Uzay Merkezi) DSP : Digital Signal Processor (Sayısal İşlem İşlemcisi)
FPGA : Field Programmable Gate Array (Alanda Programlanabilir Kapı Dizileri)
GPU : Graphical Processing Unit (Grafik İşlemci Birimi)
IASI : Infrared Atmospheric Sounding Interferometer (Kızılötesi Atmosferik Alıcı İnterferometresi)
IEEE : Institute of Electrical and Electronics Engineers (Elektrik Elektronik Mühendisleri Enstitüsü)
JPEG-LS : Lossless JPEG (Kayıpsız JPEG)
KLT : Karhunen Loeve Transform (Karhunen Loeve Dönüşümü) LiDAR : Light Detection and Ranging (Işık Tespiti Ve Ölçümü) LMS : Least Mean Squares (En Küçük Ortalama Kareler) LUT : Look-up Table (Referans Tablosu)
NASA : National Aeronautics and Space Administration (Ulusal Havacılık Ve Uzay Dairesi)
ROI : Region of Interest (İlgi Alanı)
RWA : Regression Wavelet Analysis (Bağlanım Dalgacık Analizi) SAM : Spectral Angle Mapper (Spektral Açı Haritalama)
SAR : Synthetic Aperture Radar (Sentetik Açıklıklı Radar)
SB-CRLS : Subsampled Bimodal CRLS (Örnek Azaltmalı İki Modlu CRLS) SBS-CRLS : Subsampled Bimodal Similar Mode CRLS (Örnek Azaltmalı Ve Aynı
Modlu İki Modlu CRLS)
SLIC : Simple Linear Iterative Clustering (Basit Lineer İteratif Kümeleme) SWIR : Shortwave Infrared Region (Kısa Kızılötesi Dalga Boyu Bölgesi)
ix
HİPERSPEKTRAL GÖRÜNTÜLERİN KAYIPSIZ SIKIŞTIRILMASI İÇİN TAHMİN TEMELLİ YAKLAŞIMLAR
ÖZET
Günümüzde gelişen algılayıcı ve uydu teknolojileri sayesinde uydu üzerinden alınan hiperspektral görüntüler üzerinden değişim tespiti, hedef tespiti, katışım analizi, sınıflandırma ve bölütleme gibi geniş kapsamlı uygulamalar yapılmaktadır. Yapılan uygulamaların başarısı bu teknolojilerin gelecekte çok daha popüler olacağını göstermektedir. Bunun yanında hiperspektral görüntüler kapladıkları büyük hafıza alanı nedeniyle verilerin saklanması ve iletilmesinde sorunlar oluşturmaktadır. İletimde bant genişliğinin düşürülmesi ve verilerin saklanmasında depolama alanının azaltılması için hiperspektral görüntü sıkıştırmaya ihtiyaç duyulmaktadır.
Uydu üzerinden alınan görüntülerin yeryüzüne indirilmesi için sıkıştırma işlemlerinin uydu üzerindeki gömülü platformlarında gerçekleşmesi gerekmektedir. Bu gömülü platformlar kısıtlı güçle çalıştığı için kullanılacak olan sıkıştırma yönteminin düşük işlemsel karmaşıklığa sahip ve donanıma kolay entegre edilebilir olması oldukça önemlidir. Bununla birlikte, kayıplı sıkıştırma yaklaşımları verinin üzerinde bozunum oluşturmakta ve farklı uygulamalardaki başarımlarını önemli ölçüde düşürebilmektedir. Bu sebeplerden dolayı bu tez çalışması kapsamında hiperspektral görüntülerin kayıpsız sıkıştırılması için özgün yöntemler geliştirilmiştir.
Geliştirilen yöntemlerde işlemsel karmaşıklığı düşük, gömülü sistemlere kolay entegre edilebilecek, yüksek sıkıştırma performanslı algoritmalar sunulmuştur. Bu yöntemler literatürdeki güncel yöntemlerle karşılaştırılarak performansları irdelenmiştir. Ek olarak, paralelleştirmeye olanak sağlayacak bir sıkıştırma yöntemi de geliştirilmiştir. Bu sayede, çok uzun süre alan tahmin adımı paralelleştirilerek hızlandırılmaktadır. Ayrıca, sadece istenilen bölgelerin sıkıştırılmasına veya geri elde edilmesine olanak tanıyacak bir yaklaşım oluşturulmuştur.
Anahtar Kelimeler: Hiperspektral Görüntü Sıkıştırma, Paralel Sıkıştırma, Süperpiksel Temelli Görüntü Sıkıştırma, Yinelemeli En Küçük Kareler.
x
PREDICTION BASED APPROACHES FOR LOSSLESS COMPRESSION OF HYPERSPECTRAL IMAGES
ABSTRACT
Today, thanks to growing sensor and satellite technologies, wide range of applications such as change detection, target detection, spectral unmixing, classification and segmentation are performed on hyperspectral images acquired by satellites. Performances of these applications show that these technologies will be more popular in future. Besides that hyperspectral images cause challenges in data storing and transmission because of having large memory space. To reduce bandwidth in transmission and memory space in storing, hyperspectral image compression is needed.
In order to download satellite images to ground station, it is required that compression processes are performed on onboard systems of the satellites. Due to these onboard systems work under limited power, it is very important that the method used in compression has lower computational complexity and easy to implement on hardware systems. In addition to this, lossy compression approaches can cause distortion on images and may significantly decrease the accuracies in various applications. Because of these reasons, novel methods are developed for lossless compression of hyperspectral images within the scope of this thesis study.
In the developed methods, the algorithms that are easy to implement on embedded systems, has lower computational complexity and high compression performances are presented. These methods are compared with the-state-of-the-art methods and the performances are evaluated. Additionally, a compression method that enables paralellization is developed. By this means, the prediction step which has long computation time is reduced by parallelization. Moreover, a novel approach is developed to enable compression or decompression of the selected region of interest. Keywords: Hyperspectral Image Compression, Parallel Compression, Superpixel Based Image Compression, Recursive Least Squares.
1 GİRİŞ
Uzaktan algılama teknolojileri oldukça uzak mesafelerden herhangi bir fiziksel bağlantı olmaksızın dünya ile ilgili değerli bilgiler edinme becerisi sağlamaktadır. Bu teknolojiler ile 20. yüzyılın başlarında sadece tek spektral bantlı analog görüntüler sağlanabilirken günümüzde yeni geliştirilen sistemlerle birlikte uçak veya uydu platformlarından multispektral, hiperspektral ve ultraspektral görüntüler gibi çok bantlı görüntülere kısa sürede ulaşılabilmektedir [1]. Ayrıca, optik görüntüleme teknolojilerinin yanında LiDAR ve sentetik açıklıklı radar (SAR) algılayıcıları ile yüksek çözünürlüklü yükselti haritaları ve radar görüntüleri gibi farklı tip bilgilere de ulaşılabilmektedir [2].
Hiperspektral görüntüleme, uzaktan algılama teknolojilerinde önemli yere sahip olup giderek genişleyen bir uygulama alanına sahiptir. Bu görüntüleme tekniği, elektromanyetik spektrumun görünür ve kızılötesi bölgelerinden oldukça dar bant genişliklerinde yüzlerce spektral bant görüntüsü sağlamaktadır. Bu sayede, herhangi bir görüntü elemanının farklı bantlardaki ışıklılık değerleri birleştirilerek sürekliye yakın bir spektrum bilgisi elde edilebilmektedir [3]. Bu bilgi malzemeye özgü bir karakteristik oluşturarak malzemenin içkin yapısı hakkında detaylı bilgi sunmaktadır ve spektral imza olarak isimlendirilmektedir. Sağlanan uzamsal ve detaylı spektral bilgi sayesinde hiperspektral görüntüleme maden haritalama [4], hedef tespiti [5] ve değişim tespiti [6] gibi pek çok uygulamada kullanılmaktadır.
Hiperspektral görüntüler pek çok avantajının yanında içerdiği yüzlerce spektral bant nedeniyle çok büyük bir hafıza alanı kaplamaktadır. Bu durum, uydulardan yeryüzüne iletilmesinde haberleşme kanalında yüksek bant genişliği gerektirmektedir. Görüntülerin sıkıştırılmadan ham haliyle yer istasyonuna gönderilmesi daha yavaş iletim anlamına gelmektedir. Bu da savunma sanayisi gibi zamansal olarak kritik işlerin aksamasına neden olabilir. Ayrıca, hiperspektral görüntülerin depolanmasında yüksek hafıza alanlarına ihtiyaç duyulmaktadır. Özellikle uydu platformlarında büyük bellek alanlarının bulunmasını gerektirmektedir. 2019 yılında uzaya fırlatılması planlanan Japonya Uzay Ajansı’nın geliştirdiği 185 spektral banda ve 30 metre
2
uzamsal çözünürlüğe sahip HISUI (Hyperspectral Imager Suite) isimli uydusu günlük 1300 Gbit veri alabilmekte ve toplam 690 GB’a kadar veri saklayabilmektedir [7]. Ayrıca, İtalya ve İsrail ülkelerinin birlikte geliştirdiği SHALOM uydusunda da günlük 6696 Gbit veri alınabilmekte ve uydu üzerinde 2 terabite kadar veri saklanabilmektedir [8]. Ayrıca, uydulardan belirli aralıklarla alınan görüntülerin gelecekte analiz yapılabilme ihtimalini de dikkate alarak uzun bir süre arşivde saklanması gerekmektedir. Bu durum, görüntülerin saklanmasında oldukça büyük bir bellek alanı ihtiyacı oluşturmaktadır.
Dolayısıyla, hiperspektral görüntülerin hem iletimi hem de saklanması önemli bir problem olmaktadır. Önümüzdeki yıllarda da çevreden daha fazla bilgi toplayabilmek amacıyla daha yüksek uzamsal ve spektral çözünürlüklü hiperspektral görüntü algılayıcıları geliştirileceği düşünülmektedir. Bu nedenlerden dolayı, hiperspektral görüntülerin sıkıştırılması son yıllarda önemli araştırma alanlarından biri halini almıştır. Ayrıca, literatürde hiperspektral görüntü işleme tekniklerinin başarılı sonuçlar vermesi de hiperspektral görüntüleme sıkıştırmanın geleceğini aydınlatmaktadır.
Hiperspektral görüntülerin sıkıştırılması konusunda yapılan çalışmalar kayıplı, kayıpsıza yakın ve kayıpsız olmak üzere üç ana başlık altında toplanabilir [9]. Kayıplı sıkıştırmada, sıkıştırma sonrasında hiperspektral görüntü belirli bir bozunum ile geri elde edilebilmektedir. Bu tip sıkıştırma yöntemlerinde geleneksel görüntü sıkıştırmasından farklı olarak hiperspektral görüntülerde öncelikli nokta, görüntüleri insanların daha iyi görüp yorumlayabilmesi değildir. Asıl önemli nokta, sınıflandırma, hedef tespiti, anomali tespiti ve hedef tespiti gibi farklı uygulamalarındaki başarımların korunabilmesidır. Örneğin, kullanıcı hedef tespiti ile ilgileniyorsa ve sıkıştırma işlemi sonrasında hedef bölgesi kayboluyorsa bu durumda sıkıştırma işleminin bir anlamı olmamaktadır. Orijinal veri ile sıkıştırma sonrasında geri elde edilen veri arasındaki hatanın oldukça küçük olduğu durumlar literatürde kayıpsıza yakın sıkıştırma yöntemi olarak adlandırılmaktadır [10]. Kayıpsıza yakın sıkıştırma yöntemleri kayıpsız sıkıştırma yöntemlerine göre daha yüksek sıkıştırma oranlarıyla dikkat çekmektedir. Kayıpsız sıkıştırmada ise kullanıcı sıkıştırılmış bit dizisini kullanarak verinin birebir orijinal halini geri elde edebilmektedir. Kayıpsız sıkıştırma yöntemi diğer tip sıkıştırma yöntemlerine göre en düşük sıkıştırma oranlarını
3
sağlasalar da verilerin bozulmadan indirilmesi sebebiyle özellikle uydulardan görüntülerin yeryüzüne indirilmesinde yaygın olarak kullanılmaktadır. Bu tez kapsamında, hiperspektral görüntü içerisindeki tüm detayları korumak ve görüntünün kalitesini garanti altına almak amacıyla kayıpsız sıkıştırma yöntemi üzerine odaklanılmıştır.
Hiperspektral görüntülerin kayıpsız sıkıştırılmasında kullanılacak yöntem seçiminde en önemli kriterlerin başında sıkıştırma oranı veya bit oranı gelmektedir. Görüntüyü en yüksek oranda sıkıştırmak sıkıştırılmış bit dizisinin boyutunun en düşük boyuta indirilmesi anlamına gelmektedir. Bunun yanında, sıkıştırma işleminin uydu üzerinde yapılması durumunda uydu üzerinde çok güçlü donanımlar ve kaynakları olmadığından yöntemin düşük karmaşıklığa sahip olması aranmaktadır. Bir başka husus da yöntemin paralelleştirilebilir olması ve paralelleştirilme derecesidir. Hesapsal karmaşıklığı düşük ve paralelleştirilebilir yöntemler, grafik işlem birimler (GPU), alanda programlanabilir tümleşik devreler (FPGA) ve sayısal işaret işleyicilere (DSP) uygun bir şekilde entegre edilebilmektedir [11].
Hiperspektral görüntülerin kayıpsız sıkıştırılması çoğunlukla tahmin temelli yöntemlerle sağlanmaktadır. Buna göre, her spektral bandı daha önceki kodlanan bilgiler üzerinden tahmin edilerek kestirilmektedir. Tahmin sonrasında ise orijinal ve tahmin edilen değerler arasındaki farklar da kodlanarak alıcıya iletilmektedir.
Hiperspektral görüntüdeki pikseller spektral eksendeki komşularına daha fazla benzeme eğiliminde olduklarından bantlar arası tahmin temelli yöntemler bant içi tahmin yöntemlerinden daha başarılı sonuçlar sağlamaktadır [12]. Bu tez kapsamında, hiperspektral görüntülerin kayıpsız sıkıştırılabilmesi için özgün bantlar arası tahmin yaklaşımları geliştirilmiştir. Geliştirilen özgün yaklaşımların literatüre katkıları şunlardır:
Literatürde oldukça uzun işlem süresine sahip güncel bir yöntem için örnek azaltma temelli hızlı mod tahmini gerçekleştirilmiştir. Geliştirilen yöntemde farklı örnek azaltma oranlarında deneyler yapılmıştır. Önerilen yöntemle bit oranları değişmeden işlem süresi oldukça düşük sürelere düşürülebilmektedir.
4
Hiperspektral görüntüleme sistemlerinin çoklu sensör yapısına sahip olması sebebiyle çoğu veri içerisindeki ardışık spektral bantlarda hizalama problemi görülmektedir. Bu durum, tahmin sonrası hata entropisinin artmasına sebep olmaktadır. Buna ek olarak, bazı durumlarda tahmin sırasında sadece spektral komşuluklardaki bilgileri kullanmak yerine uzamsal ve spektral komşuluklardaki bilgileri birlikte kullanmak daha iyi sıkıştırma sonuçları sağlayabilmektedir. Bu bilgi ışığında, literatüre özgün olarak iki farklı içerik yapısına sahip tahmin modları ile daha yüksek performanslı sıkıştırma yapan bir yöntem geliştirilmiştir.
Tahmin temelli kayıpsız sıkıştırma yöntemlerinin en uzun adımı tahmin adımıdır. Tahmin adımının paralelleştirilerek daha hızlı çalışmasını sağlayacak süperpiksel bölütleme temelli özgün sıkıştırma yöntemleri geliştirilmiştir. Yöntemler hem bölütleme hem filtreleme temelli olup karma bir yapıya sahiptir. Bu yöntemlerle seçilen ilgi alanlarının sıkıştırılması sağlanabilmekte veya görüntünün tamamı sıkıştırılsa dahi seçili süperpikseller hızlıca geri elde edilebilmektedir.
Bu tez aşağıdaki şekilde düzenlenmiştir.
Bölüm 1’de uzaktan algılama ve hiperspektral görüntüleme ile ilgili bilgiler paylaşılmış ve güncel hiperspektral algılayıcılar paylaşılarak sıkıştırmaya olan ihtiyaç sorgulanmıştır.
Bölüm 2’de literatürde sıklıkla kullanılan deneysel çalışmalarda da yer verdiğimiz veri kümelerine ait bilgiler ve görseller paylaşılmıştır.
Bölüm 3’te hiperspektral görüntülerin sıkıştırılması için literatürde önde gelen yöntemler aktarılmış ve kayıpsız sıkıştırma yöntemleri için izlenilen aşamalar gruplandırılarak sunulmuştur.
Bölüm 4’te literatürde yüksek sıkıştırma oranları sağlayan bir yöntemin işlem süresinin kısaltılması amacıyla geliştirilen örnek azaltma temelli özgün çalışma paylaşılmış ve Bölüm 2’de verilen veri kümeleri üzerindeki deneysel sonuçları sunulmuştur.
5
Bölüm 5’te iki modlu tahmin yapısı ile geliştirilen özgün yöntem sunulmuş ve yöntemin parametrelerden etkilenme durumu ile güncel yaklaşımlarla karşılaştırılması sorgulanmıştır.
Bölüm 6’da paralel işleme olanak sağlayan süperpiksel bölütleme temelli özgün sıkıştırma yöntemleri açıklanmış ve parametrelerden etkilenme durumu, güncel yaklaşımlarla karşılaştırılması ve paralelleştirilme durumundaki süre getirisi paylaşılmıştır.
Çalışmanın son bölümünde ise, tez kapsamında geliştirilen yöntemlerin bilimsel katkıları belirtilmektedir. Bu konu hakkında ileride yapılması planlanan çalışmalar için öneriler sunulmaktadır.
6 1. GENEL BİLGİLER
Günümüzde uzaktan algılama yaşamımızın önemli bir parçası olmuştur. Dünya ve diğer gezegenlerin yörüngelerine konumlandırılan binlerce uydu sayesinde haberleşme, hava durumu tahmini, navigasyon ve gözlem uygulamaları gibi pek çok alanda bilgi toplanabilmektedir [9]. Bu teknolojiler kullanılarak bilgi, keşif, strateji ve taktik geliştirme ve askeri uygulamalar için çeşitli planlamalar da yapılabilmektedir. Uyduların belirli gün aralıklarıyla görüntü verebilmesi ve daha yüksek uzamsal çözünürlük sağlayabilmeleri sebebiyle özellikle savunma sanayisi gibi anlık bilgiye ihtiyacın olduğu durumlarda uzaktan algılama teknolojileri uçak, helikopter ve insansız hava araçları gibi platformlar üzerinde kullanılabilmektedir [13, 14].
Uzaktan algılama teknolojilerinde kullanılan algılayıcılar temelde ölçüm biçimlerine göre aktif ve pasif görüntüleme olarak ikiye ayrılmaktadır. Pasif sistemler, herhangi bir ısı ya da ışık kaynağına gerek kalmadan güneşin sağladığı enerji ile ölçüm yapabilmektedir. Kullandığımız üç renkli (Kırmızı-Yeşil-Mavi, RGB) kamera sistemleri bu tip ölçüm sistemlerine örnek verilebilir. Aktif sistemler ise kendi enerji kaynaklarını kullanarak ürettikleri elektromanyetik dalga sinyallerini hedefe yollamakta ve hedeften saçılan enerjiyi algılamaktadırlar.
Uzaktan algılama teknolojilerinde kullanılan algılayıcılar edindikleri bilgilerin tiplerine göre de aşağıdaki 6 genel başlıkta toplanmaktadır.
Pankromatik Multispektral Hiperspektral Ultraspektral LiDAR RADAR
Bu başlıklar haricinde de algılayıcı türleri çeşitlilik göstermekte olup paylaşılanlar en sık kullanılanları kapsamaktadır. Bu teknolojilerden LiDAR sistemi, aktif bir sistem olup lazer darbeleri kullanılarak bir yüzeyin uzaklığını ölçmeye yaramakta ve yükselti
7
haritası gibi bilgilerin elde edilebilmesini sağlamaktadır. RADAR sistemi ise LiDAR’a benzer olarak aktif bir ölçüm sistemi olup radyo dalgalarının yansıması yardımıyla uzaktaki nesneler ve bu nesnelerin hız ve mesafesini tespit etmektedir. RADAR başta hedef tespiti olmak üzere pek çok alanda kullanılmaktadır.
Diğer algılama türleri olan pankromatik, multispektral, hiperspektral ve ultraspektral görüntüleme sistemleri arasındaki ana farklar Tablo 1.1’de sunulmuştur. Pankromatik görüntüler, tek ve geniş bir spektral banda sahip olmakla birlikte oldukça yüksek uzamsal bilgi içermektedir. Multispektral görüntülerde yaklaşık 10 spektral bant bulunurken hiperspektral görüntülerde 200, ultraspektral görüntülerde ise bant sayısı 2000 civarında olmaktadır. Bunun yanında, spektral bilgi arttıkça uzamsal bilgi azalmaktadır. Pankromatik, multispektral ve hiperspektral görüntüler genellikle çok çeşitli uygulamalarda kullanılabilirken ultraspektral görüntüler şu sıralarda hava tahmini ve hava kalitesinin ölçülmesi sistemlerinde kullanılmaktadır.
Tablo 1.1. Pankromatik, multispektral, hiperspektral ve ultraspektral algılayıcılar arasındaki farklılıklar
Spektral Bilgi Uzamsal Bilgi Spektral Bant Sayısı (Ortalama)
Pankromatik ● ●●●● 1
Multispektral ●● ●●● 10
Hiperspektral ●●● ●● 200
Ultraspektral ●●●● ● 2000
Pankromatik görüntülerde düşük spektral bilgi içermesinden dolayı materyal veya objelere ait olaylar incelenebilirken multispektral görüntülerde görüntü içerisindeki materyal ve objeler sınıflandırılıp kategorilere ayrılabilmektedir. Hiperspektral görüntülerde ise sağladığı sürekliye yakın spektral bilgi sayesinde sınıflar içerisindeki farklılıklar ortaya çıkarılabilmekte ve saf elemanların katışımları ile ilgili bilgi edinilebilmektedir. Özetle, spektral bilgi malzemenin tanınmasında önemli yer işgal etmektedir.
Sağladığı önemli spektral bilgi ve giderek artan uygulama alanları ile hiperspektral görüntüler geleceğin teknolojisini oluşturmaktadır. Ghamisi ve arkadaşlarının yaptığı çalışmada 2009-2012 yılları arasında IEEE dergilerinde hiperspektral görüntüleme ile
8
ilgili toplam 450 yayın yapılmışken sonraki üç yıl olan 2013-2016 arasında 1206 yayın yapılmıştır [15]. Bu da hiperspektral görüntülemenin giderek gelişmekte bir alan olduğunu kanıtlamaktadır.
1.1. Hiperspektral Görüntüleme
Geniş spektral bantta ışık yayabilen bir kaynağın herhangi bir objeyi aydınlatması sonrasında obje yüzeyinden dalga boyunun fonksiyonu şeklinde bir ışık yansımaktadır. Bu ışığın ölçülmesi işlemi, tek noktalı spektrometreler yardımıyla yapılabilmektedir [16]. Spektrometre ile elde edilen bilgiler ilgili objenin kimyasal ve fiziksel yapısına bağlı olarak değişmektedir. Bu sayede, spektroskopi obje üzerinde herhangi bir tahribat oluşturmadan objenin içkin yapısına ilişkin bilgi elde etmeye olanak sağlamaktadır.
Geleneksel görüntüleme sistemleri pek çok avantaja sahip olmakla birlikte farklı kimyasal yapılara ve birbirine çok benzer renklere sahip objelerin ayrıştırılmasında verimsiz olmaktadır.
Geleneksel görüntüleme sistemlerinin aynı anda birden fazla nokta üzerinden ölçüm alabilme yeteneği ile spektrometrelerin objenin içkin yapısına ait detaylı bilgi sunabilme yeteneği birleştirilerek hiperspektral görüntüleme tekniği geliştirilmiştir [17]. Hiperspektral görüntülemeye bu özelliklerinden dolayı kimyasal görüntüleme olarak da bilinmektedir.
Hiperspektral görüntüleme elektromanyetik spektrumun mor berisi, görünür bölge ve kızıl ötesi bölgelerinden dar spektral bantlı yüzlerce bant görüntüsü sağlamaktadır. Bu veri tipi, farklı spektral bantların üst üste konularak elde edilen bir veri kübü olarak da düşünülebilir. Bu yüzden, bazı kaynaklarda hiperspektral görüntü kübü ifadelerine de rastlanmaktadır. NASA’nın AVIRIS algılayıcısı ile 1997 yılında California üzerinden alınan Moffett Field isimli sahnenin hiperspektral görüntü kübü Şekil 1.1’de paylaşılmıştır. Görüntü kübünde sayfa düzleminin içine doğru olan eksen spektral ekseni göstermektedir. Diğer iki eksen ise uzamsal eksenleri tanımlamaktadır. Hiperspektral görüntü kübü üzerinde herhangi bir uzamsal konum seçilip o konumun farklı dalga boylarındaki ışıklılık değerleri çizdirildiğinde o konuma ait spektral imza elde edilebilmektedir. Şekil 1.2’de verildiği gibi farklı malzeme için farklı bir davranış
9
izlemektedir. Atmosfer içerisinde pek çok gaz bulunmakta ve bu gazlar bazı bantlardaki enerjiyi soğurmaktadır. Bu sebeple atmosfere ait iletim karakteristiğinde ilgili bantlarda çökme ve süreksizlik oluşmaktadır. Suyun saydam olmasından kaynaklı olarak spektral imzasında yansıma oldukça düşük olmaktadır. Bitkiye ait spektral imzada ise 550 nm civarındaki dalga boylarında yansımanın diğer görünür dalga boylarına göre daha yüksektir ve bu yüzden insanlar tarafından yeşil ve tonlarında görülmektedir. Ayrıca, kızılötesi bölgesinde de kendine has bir davranışa sahiptir.
Şekil 1.1. Moffet Field görüntüsüne ait hiperspektral görüntü kübü [18]
Spektral imzalar arasındaki bu önemli seçicilik özelliği sayesinde hiperspektral görüntüleme sadece uzaktan algılamada sınıflandırma, hedef, değişim ve anomali tespiti uygulamalarında değil aynı zamanda adli tıp analizi [19, 20], geri dönüşüm [21] , tıp [22], yiyecek [3], ilaç [23] ve savunma sanayisi [24] gibi farklı alanlarda da kullanılmaktadır.
10
Şekil 1.2. Atmosfer, toprak, su ve bitkiye ait yansıma ve iletim karakteristikleri [18]
1.2. Hiperspektral Görüntülemede Sıkıştırmanın Önemi
Hiperspektral görüntülerin elde edilmesinde hava araçlarına (airborne) ve uydu üzerine konumlandırılmış (spaceborne) hiperspektral algılayıcılar kullanılmaktadır [10]. Kullanılmakta olan bazı uydu ve hava platformlu hiperspektral algılayıcılara ait bilgiler ve özellikler Tablo 1.2’de verilmiştir. Tablo 1.2’de verilen tablodaki algılayıcılardaki spektral bant sayısının genellikle 200 civarında olduğu görülmektedir. Bunun haricinde, birçok ülke hiperspektral algılayıcı içeren çeşitli uyguların uzaya gönderilmesi için planlar yapmaktadır. Örneğin, Alman Uzay Ajansı DLR’ın EnMAP isimli hiperspektral uydusunun 2020 yılında fırlatılması planlanmaktadır ve 262 spektral banda sahip olacağı duyurulmuştur.
Spektral bant sayılarının bu denli yüksek olması hiperspektral görüntünün iletiminde daha fazla bant genişliği ve depolanmasında ise daha fazla bellek alanı gerektirmektedir.
11
Tablo 1.2. Başlıca hiperspektral algılayıcılar ve özellikleri
Algılayıcı Üretici Bant
Sayısı
Spektral
Aralık Platform AVIRIS
(Airborne Visible Infrared Imaging Spectrometer)
NASA JPL 224 0,4-2,5 µm Hava Aracı
AISA (Airborne Imaging
Spectrometer)
Specim Spectral
Imaging 288 1,2-2,4 µm Hava Aracı
CASI (Compact Airborne Spectrographic Imager) ITRES Research Ltd. 228 0,4-1,05 µm Hava Aracı HYMAP Integrated Spectronics Pty Ltd. 128 0,4-2,45 µm Hava Aracı COMPASS (COMPACT Airborne Spectral Sensor)
Army Night Vision and Electronic Sensors Directorate 256 0,4-2,35 µm Hava Aracı HYDICE (Hyperspectral Digital Imagery Collection Experiment) Naval Research
Lab. 210 0,4-2,5 µm Hava Aracı
ROSIS
(Reflective Optics System Imaging Spectrometer) DLR Deutschen Zentrums für Luft und Raumfahrt 128 0,43-0,86 µm Hava Aracı
Hyperion (EO-1) NASA 220 0,4-2,5 µm Uydu
Platformu CHRIS-PROBA (Compact High Resolution Imaging Spectrometer) European Space Applications 62 0,41-1,05 µm Uydu Platformu FTHSI Fourier Transform Hyperspectral Imager 256 0,35-1,05 µm Uydu Platformu
12
Hem iletimde hem de depolamadaki sorunlar hiperspektral görüntü sıkıştırmasının önemini ortaya koymaktadır. Örneğin, 224 spektral bant sağlayan AVIRIS (Airborne Visible InfraRed Imaging) algılayıcısı ile alınan görüntülerde her 10 km’lik uçuş için yaklaşım 140 MB’lık veri elde edilmektedir.AVIRIS algılayıcısı ile uçak platformu üzerinde monte edildiğinden dolayı sadece uçuş yaptığı zamanlarda görüntü alımı gerçekleştirmekte ve bir günlük çalışma sonunda 16 GB’lık görüntü alımı yapabildiği belirtilmektedir [13]. Uydu üzerinde bulunan hiperspektral algılayıcılar ise sürekli olarak görüntü alabildiğinden çok daha yüksek hafıza alanlarına ihtiyaç duyabilmektedir. Örneğin, Japonya’nın geliştirdiği HISUI uydusunun günlük 690 GB görüntü alıp biriktirebilme ve istasyona günlük 100-300 GB gönderebilme kapasitesine sahiptir [7]. Bu bilgiler de gelecekte sıkıştırmanın ne kadar önemli olacağını göstermektedir.
Hiperspektral görüntülerin kapladığı bellek miktarı, algılayıcının sağladığı spektral bant sayısı haricinde uzamsal olarak taranan alanın büyüklüğüne ve her piksel için kullanılan bit derinliğine bağlı olarak görüntü boyutları değişebilmektedir. Gelişen teknoloji ile çevreden daha fazla bilgi toplayabilmek ihtiyacı ile daha yüksek uzamsal ve spektral çözünürlüklü hiperspektral görüntü algılayıcıları geliştirileceği düşünülmektedir. Tüm bu bilgiler ışığında, hiperspektral görüntülerin iletiminde haberleşme kanalının bant genişliğini düşürebilmek, depolanmasında hafıza gereksinimini en aza indirmek ve veri iletimi süresini azaltmak amacıyla literatürde hiperspektral görüntü sıkıştırma konusu ortaya çıkmıştır.
13 2. VERİ KÜMELERİ
Hiperspektral görüntüleme her ne kadar popüler olup gelişmeye devam etse de herkes tarafından ücretsiz olarak erişilebilecek veri kümeleri kısıtlıdır. Dolayısıyla, her ne kadar Tablo 1.2’de belirtilen hiperspektral algılayıcı çeşitliliği çok olsa da çoğuna araştırmacılar tarafından erişim sağlanamamaktadır. Veri sayısı az olunca araştırmacılar eski veriler üzerinden çalışmaya devam etmektedir. Örnek olarak hiperspektral görüntülerin sınıflandırılması için yapılmış çalışmalarda 1992 yılında AVIRIS algılayıcısı ile alınmış Indian Pines isimli görüntünün kullanımı günümüzde hala devam etmektedir [25, 26].
Literatürdeki hiperspektral görüntülerin sıkıştırılması konusunda yapılan çalışmalardaki kullanılan veri kümeleri Tablo 2.1’de listelenmiştir. Liste incelendiğinde AVIRIS algılayıcısı ile alınmış iki farklı veri kümesi görülmektedir. Her iki veri kümesi de karşılaştırma için bir standart belirlemede önemli rol oynamışlardır. AVIRIS algılayıcısından alınan görüntülerin sıklıkla kullanılmasının temel nedeni verilerin bir kısmına ücretsiz olarak erişilebiliyor olmasıdır. Diğer nedeni ise sağladığı geniş spektral aralık ve yüksek bant sayısıdır.
Tablo 2.1. Literatürdeki güncel yöntemler ve kullandıkları veri kümeleri Yayınlandığı Yıl Yöntemin Kısaltması Kullanılan Veri Kümesi
2003 C-DPCM [27] AVIRIS 1997 2006 LUT [28] AVIRIS 1997 2009 TSP [29] CCSDS 2006 & AVIRIS 1997 2010 IP3 [30] AVIRIS 1997 2012 C-DPCM-APL [31] CCSDS 2006 2013 RLS [32] CCSDS 2006 2015 C-DPCM-RLSO [33] CCSDS 2006 2016 CRLS [34] CCSDS 2006
14
AVIRIS algılayıcısı, NASA ER-2 isimli uçağı üzerine monte edilmiş olup yaklaşık 20 km yükseklikten 730 km/saat hızıyla ilgili bölgeyi tarayarak görüntüler elde etmektedir [35]. Görüntüler genellikle sahneler halinde parçalar şeklinde toplanmakta olup her sahne 614×512×224 görüntü elemanından oluşmaktadır ve yaklaşık 11 km × 10 km’lik bir bölgeyi temsil etmektedir. Her görüntü elemanı 16 bit ile temsil edilmektedir ve her sahne yaklaşık 140 MB’lık hafıza alanı kaplamaktadır.
2.1. AVIRIS 1997 Veri Kümesi
Tablo 2.1 incelendiğinde AVIRIS 1997 veri kümesinin geçmiş yıllarda daha sık kullanıldığı görülmektedir. Bu veri kümesi 1997 yılında alınan dört farklı veriden oluşmaktadır [29]. Bu verilerin isimleri, Jasper Ridge, Moffett Field, Lunar Lake, Low Altitude ve Cuprite’dır.
2009 yılında NASA JPL laboratuvarı tarafından yapılan bir çalışmada AVIRIS 1997 veri kümesinin bantlar arası ölçek oranlarının 2006 yılında paylaşılmış olan CCSDS verilerine göre oldukça büyük olduğu gösterilmiştir. Bu oranların büyük olması kalibrasyon kaynaklı problemlerin önemli derecede verinin histogramını etkilediği, küçük olmasının ise verinin kullanılmaya daha uygun olduğunu göstermektedir [29]. Makalenin sonuç kısmında yapılan detaylı analiz sonrasında AVIRIS 1997’nin kullanımının bırakılması ve CCSDS 2006 veri kümesinin kullanılması önerilmiştir. Böylece, 2009 yılı sonrasındaki çalışmalar CCSDS 2006 veri kümesinin kullanımı giderek artmıştır.
2.2. CCSDS 2006 Veri Kümesi
CCSDS 2006 veri kümesi, internet üzerinden paylaşıma açık olup ücretsiz bir şekilde indirilebilmektedir [36]. CCSDS veri kümesine ait sahneler ve özellikleri Tablo 2.2’de paylaşılmıştır. Veri kümesi toplam 12 hiperspektral görüntüden oluşmaktadır. Tablodan görülebileceği gibi görüntüler kalibrasyonlu (calibrated) ve ham (uncalibrated) görüntüler olarak ikiye ayrılmaktadır. Tüm Yellowstone görüntülerinin bit derinliği 16 bit iken Hawaii ve Maine görüntülerinin bit derinliği 12’dir. Bu görüntülerin kalibrasyonlu halleri paylaşılmamıştır. Ayrıca, kalibrasyonlu Yellowstone verileri ile Hawaii ve Maine sahnelerinin renklendirilmiş görselleri Şekil 2.1’de paylaşılmıştır.
15
(a) (b)
(c) (d)
(d) (e)
(f)
Şekil 2.1. CCSDS veri kümelerindeki bazı sahnelere ait renklendirilmiş görüntüler a)Yellowstone Sahne 0, b) Yellowstone Sahne 3, c) Yellowstone Sahne 10, d)Yellowstone Sahne 18, e) Hawaii Sahne 1, f) Maine Sahne 10
16
Tablo 2.2. CCSDS veri kümelerindeki sahneler ve özellikleri
CCSDS Veri Kümeleri Kısaltması Boyutları Bit Derinliği Yellowstone Kalibrasyonlu Sahne 0 C YS Sc0 677×512×224 16 Yellowstone Kalibrasyonlu Sahne 3 C YS Sc3 677×512×224 16 Yellowstone Kalibrasyonlu Sahne 10 C YS Sc10 677×512×224 16 Yellowstone Kalibrasyonlu Sahne 11 C YS Sc11 677×512×224 16 Yellowstone Kalibrasyonlu Sahne 18 C YS Sc18 677×512×224 16 Yellowstone Ham Sahne 0 UC YS Sc0 680×512×224 16 Yellowstone Ham Sahne 3 UC YS Sc3 680×512×224 16 Yellowstone Ham Sahne 10 UC YS Sc10 680×512×224 16 Yellowstone Ham Sahne 11 UC YS Sc11 680×512×224 16 Yellowstone Ham Sahne 18 UC YS Sc18 680×512×224 16
Maine Ham Sahne 10 UC M Sc10 680×512×224 12
Hawaii Ham Sahne 1 UC H Sc1 614×512×224 12
Tablo 2.2’den de görüleceği gibi AVIRIS sensörü 0,4-2,5 µm dalgaboyları arasında 224 farklı spektral bant sağlamaktadır. İlk uzamsal eksen herhangi bir anda sensörün gördüğü alana ait uzamsal bilgiyi gösterirken ikinci uzamsal eksen tarama yönündeki alınan bilgileri içermektedir. CCSDS 2006 veri kümesi çalışmalarda kalibrasyonlu ve ham görüntüler ile farklı bit derinliğindeki görüntülerin sıkıştırılma performansını ayrı ayrı yorumlayabilmeyi sağlamaktadır. Bunun haricinde veri kümesi içindeki görüntü sayısının 12 olması daha iyi bir genelleme yaparak karşılaştırmaya olanak vermektedir. Tüm bu sebeplerden dolayı bu tez kapsamında yapılan deneysel çalışmalarda CCSDS 2006 veri kümesi kullanılacaktır.
2.3. Entropi Analizi
Sıkıştırma için verinin entropisi önemli bir bilgi olmaktadır. İlgili verilerde entropi analizi yapabilmek için özbilgi ve entropi kavramlarının tanımı yapılmalıdır. Herhangi bir veri içerisinde toplam Z adet sembol bulunan bir A {a , 1 i Z} i alfabesi olduğu varsayılsın. Buradaki i‘inci sembolün olasılığı P a = p
i i olarak17
gösterilmektedir. Bu sembole ait öz bilgi (self information), ÖBi log p 2 i ile bulunabilmektedir. Sembol olasılığının alabileceği değerler 0 ile 1 arasında olduğundan, sembol olasılığı arttıkça taşıdığı özbilgi azalmaktadır. Böylelikle, daha olası bir veri daha az bitle ifade edilebilmektedir. Tüm kaynağın entropisi Ent, sembol olasılıklarının özbilgileriyle çarpımıyla Denklem (2.1)’deki gibi bulunabilmektedir. Entropi değeri, bir verinin ortalama kaç bit ile ifade edilebileceğini açıklamaktadır. Ayrıca, herhangi bir işaretin entropisinin yüksek olması veri içerisindeki düzensizliğin yüksek olduğunu göstermektedir.
i 2
Z
i i 1
Ent p log p bit/sem olb
(2.1)CCSDS 2006 veri kümesindeki Yellowstone görüntülerine ait entropi değerleri Denklem (2.1) üzerinden hesaplanmış ve Şekil 2.2’de görselleştirilmiştir. Kalibrasyon işlemi veriyi daha düzenli hale getirdiğinden aynı sahnelerin kalibrasyonlu hallerinde entropilerin düştüğü net bir şekilde görülebilmektedir. Örneğin, Sc03 sahnesi için ham veride 12,32 bit/sembol olan entropi değeri, kalibrasyon sonrasında 9,87 değerine düşmüştür. Bunun haricinde, Hawaii ve Maine isimli sahneler daha düşük bit derinliğine sahip olduğundan entropi değerleri sırasıyla 9,09 ve 8,55 bit/sembol olarak elde edilmiştir.
Şekil 2.2. Ham ve kalibrasyonlu Yellowstone sahnelerinin entropi değerleri
18
3. HİPERSPEKTRAL GÖRÜNTÜLERİN SIKIŞTIRILMASI 3.1. Giriş
Günümüzde görüntüleme sistemleri her alanda giderek gelişmekte olup her geçen gün daha iyi hassasiyet ve piksel çözünürlüklerine sahip kameralar üretilmektedir. Geliştirilen her kamera ile daha büyük hafıza boyutunda görüntü ve video verileri elde edilmektedir. Ancak, bu verilerin ham haliyle hafızada depolanması çok büyük bellek alanı gerektirmektedir [37]. Örneğin, yüksek çözünürlüklü (Full HD) yayın yapan bir televizyon kanalı video içerisindeki tek bir çerçeve için 1080×1920×3 piksel çözünürlüğünde görüntü üretmektedir. Her bir pikselin bit derinliği 8 bit olduğunda sadece tek bir çerçeveyi için bile toplam 6220800 bayt’lık bellek alanı gerekmektedir. Saniyede 25 çerçeve gönderen bir sistemde uzun süre HD yayın yapıldığında çok daha büyük bellek miktarı oluşmaktadır. Ayrıca, görüntü ve videoların başka kişilerle paylaşılması istenildiğinde bu da haberleşme kanalında çok daha büyük bant genişliği gerektirmektedir. Gerek bant genişliğini düşürebilmek gerekse depolamada daha az bellek alanına ihtiyaç duymak amacıyla görüntü ve video sıkıştırma üzerine pek çok çalışma gerçekleştirilmiştir [38].
Görüntü ve video gibi çoklu ortam (multimedia) verilerini sıkıştırmada temel amaç, farklı türdeki artıklıkların kaldırılarak gereksiz ve ihtiyaç duyulmayan bilgilerin atılarak veri boyutunun azaltılmasıdır [38]. Veri içerisindeki artıklıklar uzamsal, zamansal, spektral ve istatistiksel olmak üzere dört farklı başlıkta toplanabilir.
3.1.1. Uzamsal artıklık
Bir imge içerisinde herhangi bir piksel komşu piksellere benzeme eğilimindedir. Bu da aslında bir pikselin komşu piksellerle ilintili olduğunu göstermektedir. Şekil 3.1’de örnek bir görüntü ve o görüntünün 4. satırındaki yer alan tüm piksellerin ışıklılık değerlerinin görselleri verilmiştir. Piksel ışıklılık değerlerine bakıldığında bir pikselin komşu piksellere oldukça yakın değerlerde olabildiği görülmektedir. Şekil 3.1’de seçilen sütunun tüm satır boyuncaki değerlerinin 160-190 aralığında olduğu
19
görülmektedir. Bu durum, uzamsal ilintinin yüksek olduğunu ve bu ilintinin uygun yöntemlerle ortadan kaldırılarak sıkıştırılabileceğini göstermektedir.
(a) (b)
Şekil 3.1. Gri tonlu görüntü üzerindeki uzamsal artıklıklar a) “Cameraman” görüntüsü b) Görüntünün 4. satırındaki piksel ışıklılık değerleri
3.1.2. Zamansal artıklık
Bir videonun insan görü sisteminde akıcı bir şekilde görülebilmesi için saniyede yaklaşık 24 çerçeve içermesi gerekmektedir [38]. Her çerçeve bir imge olduğundan birbirini takip eden ardışık çerçevelerde oldukça az değişim gerçekleşmektedir. Bu durum da ilinti yüksek olduğunu göstermektedir. Şekil 3.2’de örnek bir videonun 1. ve 2. çerçeve görüntüleri verilmiştir. 2. çerçevede sahneye bir araç girdiği fakat iki görüntü için de diğer bölgelerin yani arka planın sabit kaldığı görülmektedir. Bu da zamansal artıklık oluşturmaktadır. Görüntüler arasında fark alınıp elde edilen fark imgesinin histogramı Şekil 3.2(c)’de paylaşılmıştır. Bu görsel, zamansal artıklığın giderilerek sıkıştırmaya uygun hale getirildiğini göstermektedir.
3.1.3. Spektral artıklık
Renkli görüntüler veya multispektral ve hiperspektral gibi çok bantlı görüntülerde spektral bantlar arasında ilintili olma durumudur. Hiperspektral görüntülerin spektral bantları arasında ilinti oldukça yüksektir [27]. Literatürde bunu göstermek amacıyla her bant görüntüsünün diğer bantlarla ilinti katsayıları hesaplanıp bir matrise yazılmaktadır. Oluşan matrise spektral ilinti matrisi de denmektedir. Örnek bir veri olan 220 spektral bant içeren Cuprite verisi üzerinden elde edilen spektral ilinti matrisi Şekil 3.3’te paylaşılmıştır. Görselde sarı tonlar yüksek, yeşil tonlar orta ve mavi tonlar
P ik s e l Y o ğ u n lu ğ u
20
ise düşük ilinti değerlerini göstermektedir. Bu yapı yorumlandığında bantlar arasındaki spektral ilintinin geniş spektral aralıklarda oldukça yüksek olduğu görülmektedir. Düşük ilintili bantlar, gürültü içeren spektral bantlardır.
(a) (b)
(c)
Şekil 3.2. “Traffic” videosu a) 1. çerçeve görüntüsü, b) 2. çerçeve görüntüsü, c) Çerçeveler arasındaki farkların histogramı
Şekil 3.3. “Cuprite” hiperspektral verisi için spektral ilinti matrisi
S
ık
21 3.1.4. İstatistiksel artıklık
Sıkıştırılmamış verilerde her piksel için bit derinliği değeri kadar bit miktarı kullanılmaktadır. Kullanılan sembollerin sayısı ve kullanılma sıklığı verinin aslında ne kadar bilgi içerdiğini göstermektedir. Birbirini tekrar eden semboller istatistiksel artıklık içermektedir ve sembol kodlama yöntemleri ile kaldırılması halinde daha düşük bit değerlerinde sıkıştırılabilmektedir. Örneğin, içerisinde yalnızca 0 ve 255 değerleri bulunduran ve Şekil 3.4’te verilen dama tahtası görüntüsü aslında eşit olasılıkta iki farklı sembol kullanılmaktadır. Dolayısıyla görüntünün entropi değerinin düşük olduğu ve her piksel 8 bit yerine sadece 1 bit ile ifade edilebileceği söylenebilir.
Şekil 3.4. Dama tahtası görüntüsü
Örnekten de görüleceği üzere sembol kodlama yöntemlerinde daha yüksek olasılıkta tekrar eden değerlerdeki piksellere daha kısa uzunluklu kod sözcüğü atanmaktadır. Bu entropi temelli sembol kodlamanın temelini oluşturmaktadır [37].
Sembol kodlama, diğer üç artıklık türü giderildikten sonra oluşan düşük entropili verilere uygulanmaktadır. Bu sayede, sıkıştırma performansı en iyi seviyeye getirilmektedir. Literatürdeki entropi temelli kodlama çalışmalarında çoğunlukla Huffman, aritmetik kodlama ve adaptif aritmetik kodlama yöntemlerinin kullanılmaktadır.
22
3.2. Hiperspektral Görüntü Sıkıştırma Teknikleri
Hiperspektral görüntüler üç boyutlu bir yapıda olduğundan hem uzamsal hem de spektral artıklık bulunmaktadır [10]. Yani, hiperspektral görüntü içerisindeki herhangi bir pikselin uzamsal ve spektral eksendeki komşuluklarına benzer değerlerde olma eğilimindedir. Literatürdeki hiperspektral sıkıştırma yöntemleri bu artıklıkları giderdikten sonra elde edilen veride sembol kodlama ile istatistiksel artıklığı de kaldırmakta ve veri boyutunda azalma sağlamaktadır.
Hiperspektral görüntü sıkıştırma teknikleri Şekil 3.5’te görüldüğü gibi 3 farklı başlık altında toplanmaktadır [10]. Her bir tekniğin ayrıntılı açıklaması aşağıda başlıklar halinde verilmiştir.
Şekil 3.5. Hiperspektral görüntülerin sıkıştırmasında kullanılan tekniklerin sınıflandırılması
3.2.1. Kayıplı sıkıştırma
Kayıplı sıkıştırma tekniğinde, sıkıştırılmış bit dizisinden geri elde edilen veri ile orijinal veri arasında farklılık oluşmakta ve bu farklılıklar bozunum olarak ifade edilmektedir. Kayıplı sıkıştırma ile küçük sıkıştırma oranlarından çok büyük oranlara kadar sıkıştırma imkanı sağlanabilmektedir [39]. Ancak, sıkıştırma oranı arttıkça görüntüde önemli bozunumlar oluşmaktadır ve bu da görüntünün kalitesini doğrudan etkilemektedir. Bu sebeple, kayıplı yöntemlerin başarısı çoğunlukla oran-bozunum (rate-distortion) eğrileri çıkartılarak değerlendirilmektedir. Ancak, hiperspektral görüntülerde genel amaç görselliğin bozulmasına ek olarak uygulamalardaki başarısının da düşmemesidir [39]. Bunun için sıkıştırma yönteminin hiperspektral görüntülemede sınıflandırma, hedef tespiti, anomali tespiti ve spektral ayrıştırma uygulamaları üzerinden yapılan performansları da birer karşılaştırma ölçütü olmaktadır.
23
Kayıplı sıkıştırma yöntemlerinin çok büyük bir çoğunluğu dönüşüm temelli sıkıştırma kullanmaktadır. Bu sıkıştırma şemasına ait genel akış Şekil 3.6’da paylaşılmıştır. İmge sıkıştırmada oldukça popüler olan JPEG ve JPEG2000 gibi standartlaşmış önemli sıkıştırma algoritmalarının temelini oluşturan dönüşüm temelli yöntemler veriyi bazı dönüşümlerden geçirerek daha kompakt bir şekilde gösterip uzamsal ve spektral artıklığı azaltmaktadır. Bu aşamada, bazı yöntemler standart dönüşüm işlemleri sözlük öğrenmesi temelli yaklaşımlarla da dönüşüm işlemi yapabilmektedir [40-42]. Bu yaklaşımlarda dönüşüm sonrası katsayılar seyrek olabilmektedir.
Dönüşüm sonrasında oluşan katsayıları bir nicemleyici ile belirli seviyelere atanmaktadır. Bu aşamada veride kayıp oluşmaktadır. Nicemleme sonrasında oluşan katsayılar çoğunlukla birbirine yakın seviyelere gelmekte ve sıkıştırmaya uygun hale gelmektedir. Son olarak bu katsayılar sembol kodlama yöntemleri ile istatistiksel artıklık kaldırılmakta ve veri sıkıştırılmaktadır. Bunun tam tersi işlemlerden geçtiğinde ise sıkıştırılan veri geri elde edilmektedir.
Şekil 3.6. Hiperspektral görüntülerin dönüşüm temelli yöntemlerle kayıplı sıkıştırılması
Bu yöntemlerde kullanılan dönüşümler birim dönüşüm (unitary transform) olarak isimlendirilmektedir. Birim dönüşümlerin genel özellikleri maddeler halinde aşağıda paylaşılmıştır [37].
Dönüşüm öncesi kullanılan işaretin enerjisi dönüşüm sonrasında da korunmaktadır. Tersi alınabilir bir dönüşümdür. Böylelikle, içerik bilgisi birebir korunarak ve herhangi bir kayıp olmadan ters dönüşüm ile işaretler geri elde edilebilmektedir. Enerji sıkıştırma (energy compaction) özelliği sayesinde daha büyük bir enerji daha az katsayı ile ifade edilebilmektedir.
Dönüşüm sonrasında işaret içerisindeki ilinti giderilmektedir. Bu özellik literatürde ilintisizleştirme (decorrelation) özelliği olarak da bilinmektedir.
24 3.2.2. Kayıpsız sıkıştırma
Bu kategoride tanımlanmış sıkıştırma algoritmaları, sıkıştırılmış bit dizisini kullanarak orijinal verinin birebir aynısını geri elde edebilmesini sağlamaktadır. Geri elde edilen veride herhangi bir bozunum oluşmadığından sıkıştırma yöntemlerinin performanslarının değerlendirilmesinde herhangi bir kalite metriğine ihtiyaç duyulmamaktadır. Kayıpsız sıkıştırma yöntemlerinde sıkıştırma oranları yaklaşık 4:1 oranındadır ve kayıplı sıkıştırma yöntemlerine göre düşük oranlar sağlamaktadır. Hiperspektral görüntüler, üç boyutlu bir yapıda olduğundan herhangi bir pikselin uzamsal ve spektral eksendeki komşulukları merkezde bulunan piksele benzer değerlerde olma eğilimindedir. Hiperspektral görüntü sıkıştırmada bu özellik kullanılarak ilgili piksele ait tahmin yapılabilmektedir. Tahmin temelli yöntemler kayıpsız sıkıştırmanın temelini oluşturmaktadır. Bunun dışında, kayıplıdan kayıpsıza (lossy to lossless) adı altında vektör nicemleme ve dönüşüm temelli sıkıştırma başlıklı çalışmalar da bulunmaktadır.
Tahmin temelli yöntemler düşük karmaşıklığa sahip olduğundan gömülü platformlarda daha az güç tüketimine sahiptir. Bu sebeple, tahmin temelli yöntemler hiperspektral görüntülerin uydu üzerinde sıkıştırılması için uygun yöntemler olmaktadır. Bilindiği üzere uydu üzerindeki platformlarda çok güçlü donanımlar ve kaynakları olmadığından yöntemin düşük karmaşıklığa sahip olması aranmaktadır. Tahmin temelli yöntemlerine ait genel akış Şekil 3.7’deki gibidir. Bant sıralama veya gruplama, bant içi tahmin, bantlar arası tahmin ve sembol kodlama olmak üzere dört farklı adım kullanılmaktadır. Bu yapılara ait ayrıntılar aşağıda alt başlıklar halinde paylaşılmştır.
3.2.2.1. Bant sıralama ve bant gruplama
Bant görüntülerinin sıralanması ve gruplanması adımı, hiperspektral görüntü sıkıştırmasında bir önişlem adımıdır [39]. Bu amaçla kullanılan yöntemler sıralama ve gruplama olmak üzere iki farklı yaklaşım sunmaktadır. Hiperspektralde kullanılan tahmin yöntemleri spektral bantları ilk banttan itibaren sırasıyla tahmin etmektedir. Her bant görüntüsü sıkıştırma sonrasında referans ve kestirilecek bant görüntüsü
25
ardışık olarak değişmektedir. Bant sıralama yaklaşımı bu sırayı daha ilintili hale getirerek sıkıştırma performansını arttırmayı amaçlamaktadır. Örneğin, 20. spektral bant görüntüsünü, 19. bant yerine daha düşük tahmin hatası sağlayacak farklı bir bant görüntüsünü referans alarak kestirim yapabilmektedir. Hiperspektral görüntülerde bazı bant görüntüleri gürültü, sensör karakteristiği, atmosferik etki, kontrast değişimi veya bulanıklık gibi sebeplerden ötürü ardışık bantlar arasında düşük ilintili olabilmektedir. Bu gibi durumlarda ilgili bantların bant içi tahmini verimli olabilmektedir. Bant gruplama, sıralamadan farklı olarak bant içi ve bantlar arası tahmin edilecek bant indislerini ayırmaktadır.
Şekil 3.7. Hiperspektral görüntülerin tahmin temelli yöntemlerle sıkıştırılması
3.2.2.2. Bant içi tahmin
Bant içi tahmin adımında değerlendirilen bant görüntüleri yukarıda belirtildiği gibi genellikle komşu spektral bant görüntüleriyle ilintisi düşük olan (örneğin; gürültülü bantlar gibi) görüntülerdir. Bu adıma girecek spektral bant sayısının çoğunlukla düşük olması ve sıkıştırma performansını çok etkileyememesi nedeniyle, bantlar arası sıkıştırma konusu bantlar arası sıkıştırma literatürüne göre biraz daha geri planda kalmıştır. Yapılan çalışmalarda, hesapsal yükünün az olmasından dolayı JPEG-LS’in temelinde kullanılan ortanca tahmin yapısı kullanılmıştır [12, 30, 34].
26 3.2.2.3. Bantlar arası tahmin
Hiperspektral görüntülerde bantlar arasındaki ilintinin oldukça yüksek olmasından dolayı herhangi bir spektral bant bir veya birden fazla komşu spektral bant üzerinden yüksek kalite ile tahmin edilebilmektedir. Bantlar arası tahmin yöntemleri, sıkıştırma performansı önemli derecede değiştirebildiği için tahmin temelli sıkıştırmanın en önemli adımı olarak öne çıkmaktadır [9].
3.2.2.4. Sembol kodlama
Sembol kodlama adımında, tahmin edilen görüntü ve orijinal görüntü arasındaki farklar hesaplanarak hiperspektral görüntü hem spektral hem de uzamsal eksende ilintisizleştirilmektedir [38]. Tahmin hataları kayıplı sıkıştırmadakine benzer olarak sembol kodlama yöntemleriyle sıkıştırılmaktadır.
3.2.3. Kayıpsıza yakın sıkıştırma
Hiperspektral görüntü alınırken kullanılan ekipmanlar termal gürültü, tuz biber gürültüsü ve nicemleme gürültüsü gibi pek çok gürültü tipi üretmekte ve veri üzerinde farklı etkiler oluşturmaktadır [43]. Ham olarak gelen görüntü radyans (radiance) verisine dönüştürülerek istenmeyen atmosferik etkiler giderilmeye çalışılmaktadır. Fakat, bu aşama da istenmeyen bazı bozunumlar oluşturabilmektedir. Tüm bu süreçte veriyi bozucu pek çok etki olduğu görülmektedir. Bu sebeple, literatürde veriyi tamamen kayıpsız sıkıştırmak yerine belirli bir bozunum seviyesi belirlenerek kayıpsıza yakın sıkıştırma konusu ortaya çıkmıştır.
Orijinal veri ile geri elde edilen veri arasındaki hatanın oldukça küçük olduğu durumlar literatürde kayıpsıza yakın sıkıştırma yöntemi olarak adlandırılmaktadır [43]. Oluşan hatanın sınırı, zirve mutlak hata (peak absolute error) kıstasıyla kontrol edilebilmektedir. Bu metrik değeri, 0 olduğunda yöntem kayıpsız olarak çalışmaktadır [43]. Kayıpsıza yakın sıkıştırma yöntemleri kayıpsız sıkıştırma yöntemlerine göre daha yüksek sıkıştırma oranlarıyla dikkat çekmektedir.
Kayıpsıza yakın sıkıştırma altındaki yöntemler dönüşüm temeli, vektör nicemleme temelli ve tahmin temelli yöntemleri de kullanabilmektedir [9]. Geleneksel olarak kayıpsız sıkıştırmada kullanılan tahmin temelli yöntemleri kayıpsıza yakın hale
27
getirmek için sembol kodlamaya giren tahmin hataları düşük seviyelerde nicemlenebilmektedir.
Vektör nicemleme yöntemlerinde ilk adım hiperspektral görüntünün kümelere ayrılmasıdır [9]. Kümeleme spektral imzalar üzerinde yapılmakta ve işlem karmaşıklığı sebebiyle tüm veri yerine örnek sayısı azaltılmış veri üzerinden gerçekleştirilebilmektedir. Tüm kümelerin merkezine ait spektral imzaların alt alta dizilmesiyle bir kod kitabı oluşturulmaktadır. Küme sayısı kod kitabının uzunluğunu belirlemektedir. Sonrasında, tüm piksellere ait spektral imzalar kod kitabındaki en yakın spektral imza ile eşleştirilmekte ve kod kitabındaki indisleri alıcıya gönderilmektedir. Alınan veriyi geri elde edebilmesi için kod kitabı da ayrıca iletilmektedir. Alıcı kısmının işlemsel karmaşıklığı göndericiye göre düşük olmaktadır. Dezavantajları, kenar bilgilerini iyi korumaması ve kod kitabı uzunluğunun gönderilecek bilgileri doğrudan etkilemesidir.
3.3. Literatürdeki Kayıpsız Sıkıştırma Yaklaşımları
Hiperspektral görüntülerin kayıpsız sıkıştırılması ile ilgili çalışmalar 1990’lı yıllarda başlamıştır. Sonrasında, hiperspektral görüntüleme ile ilgili çalışmaların artması, algılayıcı teknolojilerindeki gelişim, işaret işleme donanımlarının daha yüksek kapasitelerde çalışabilmesi ve yeni uyduların fırlatılması ile kayıpsız sıkıştırma konusunda pek çok çalışma yapılmıştır. Yapılan bu çalışmalarda tahmin, vektör nicemleme ve dönüşüm temelli olmak üzere temel üç ana başlık altında gruplanmaktadır. Literatürde bu alanda yapılan akademik çalışmalar incelenip her bir sıkıştırma grubundaki yapılan çalışma sayıları oranlandığında Şekil 3.8’deki grafik elde edilmektedir. Bu değerlendirme, 60’dan fazla konferans, dergi ve kitap gibi akademik yayınlar üzerinden yapılmıştır.
Şekil 3.8’e göre kayıpsız sıkıştırma literatüründe tahmin temelli yöntemlerin oldukça popüler olduğu görülmektedir. Bu çalışmalar içerisinde önerilen tahmin temelli yöntemlerin gömülü platformlara uygulamaları da yer almaktadır. Bu da tahmin yöntemlerinin gömülü platformlarda uygulamaya yatkın bir yapıya sahip olduğunu ve basit yapısı ile uydu gibi platformlarda kullanılmaya uygun olduğunu göstermektedir.
