Grid Uygulamaları.

(1)

www.grid.org.tr

Grid

Uygulamaları

Bu sunum, Peter Kacsuk ve Gergely Sipos

“Introduction to Grids and Grid applications”

ve C. Loomis “Characteristic of Grid

Applications” sunumlarından alıntılar ile

oluşturulmuştur.

(2)

Kullanıcı Eğitimi, Boğaziçi Üniversitesi, İstanbul 2/32

Neden Grid?

• Araştırmacıların kompleks bir işte

•

Hesaplama zamanını azaltmak için

•

Büyük verilere ulaşmak için

•

Özel ekipmanlara ulaşmak için

•

Diğer kullanıcılarla çalışabilmek için

çok sayıda kaynağa veya servise ihtiyacı vardır.

Internet

(3)

Masaüstü Gridi

Internet

Dinamik kaynak bağışlama

Üniversite Sunucusu

PC bağışlayan

PC

bağışlayan

Uygulama

(4)

SETI: Evrensel Masaüstü Gridi

SETI@home

226 ülkede 4 milyon kullanıcı 1200 CPU sene/gün

38 TF

77 farklı işlemci tipi

(5)

Kümeler ile Grid

Internet

Boş kaynakların 7/24 bağışlanması

Enst1

Kullanıcı

Enst2

Kullanıcı Bağışlayan

ve kullanan

Bağışlayan

ve kullanan

(6)

En Büyük Çalışan Grid: EGEE

Scale

> 49 ülkede 224 site

~ 38.000 işlemci

> 15 PB veri alanı

> Günde onbinlerce çalışan iş

> Yüzden fazla kayıtlı sanal

organizasyon

(7)

~ 8 site, ~1000 CPU

Geliştirilen grid uygulamaları, üniversiteler arası işbirlikleri, HPC kullanıcıları, LCG kullanıcıları

TR-Grid

(8)

TeraGrid

NCSA: Compute Intensive

SDSC: Data Intensive PSC: Compute Intensive

IA64

IA64 Pwr4 EV68

IA32 IA32

EV7

IA64 Sun

10 TF IA-64 128 large memory nodes 230 TB Disk Storage 3 PB Tape Storage GPFS and data mining 4 TF IA-64

DB2, Oracle Servers 500 TB Disk Storage 6 PB Tape Storage 1.1 TF Power4

6 TF EV68 71 TB Storage 0.3 TF EV7 shared-memory 150 TB Storage Server 1.25 TF IA-64 96 Viz nodes 20 TB Storage 0.4 TF IA-64

IA32 Datawulf 80 TB Storage

Extensible Backplane Network

LA Hub

Chicago Hub

IA32

Storage Server Disk Storage Cluster

Shared Memory Visualization Cluster LEGEND

30 Gb/s

IA64

30 Gb/s

30 Gb/s 30 Gb/s

30 Gb/s

Sun

ANL: Visualization Caltech: Data collection analysis

40 Gb/s

Backplane Router

PSC integrated Q3 03

(9)

Simülasyon

Büyük hacimli veri işleme

Gerçek zamanlı veya interaktif uygulamalar Workflow

Paralel işler

Eski (legacy) uygulamalar

(10)

Simülasyon

Örnekler

YEF Monte Carlo simülasyonları WISDOM— Kuş gribi araştırmaları

Özellikleri

İşler hesaplama ağırlıklıdır Bağımsız bir çok iş

Genelde deneyimsiz kullanıcılar Küçük girdi; büyük çıktı

Gereklilikler

İş yığını işleme servisleri

Yüksek hacimli verinin saklanması için veri yönetimi

ATLAS

ITER

(11)

Büyük Hacimli Veri İşleme

Örnekler

Yüksek boyutta ham data işleyen ve analiz eden YEF deneyleri

Yer bilimcilerin veri analizleri

Özellikleri

Dağıtık girdi verisi

Yüksek miktarda girdi ve çıktı verisi

Gereklilikler

İş yönetim araçları

Daha gelişmiş veri yönetimi

(12)

Gerçek Zamanlı Uygulamalar

Örnekler

Yeni uygulama prototipleri

Özellikleri

Az miktarda girdi ve çıktı verisi Hesaplama miktarı fazla değil Hızlı tepki zamanı

Gereklilikler

Bu uygulamaların hızlı çalışmasına izin veren yapılandırmalar

Bütün servisler uygulama ihtiyacına en kısa zamanda cevap

vermeli

(13)

İnteraktif Uygulamalar

Grid şu uygulamalara destek verir:

gPTM3D: Tıbbi görüntülerin interaktif incelenmesi GPS@: Biyoinformatik web portalı

GATE: Radyoterapi planlama DILIGENT: Dijital kütüphaneler

Özellikleri

Hızlı cevap verme: Genelde bir insan sonuç için bekliyordur Birçok hesaplama gücü isteyen iş

Kullanıcı grid bilinçli değildir

Gereklilikler

Veri ve hesaplamayı portal veya başka bir uygulama ile uyumlu hale getirmek

Arayüz ve grid arasında kullanıcı yetkilendirmesi

(14)

Workflow

(15)

Paralel İşler

Örnekler

İklim modelleme Deprem Analizi

Hesaplamalı Kimya

Özellikleri

Birbirine bağlı haberleşen birçok proses Aynı anda birçok işlemci gerekli

Genelde MPI kütüphanesi kullanılır

Gereklilikler

Kaynaklarda MPI veya benzeri bir haberleşme kütüphanesi

olması

(16)

(Legacy) Uygulamalar

Örnekler

Ticari veya kapalı kaynak kodlu programlar Matlab, Mathematica, Ansys, Fluent, Gaussian

Özellikleri

Lisans gerektirirler

Yeniden derlenmedikleri için grid uygun hale getirilemezler

Gereklilikler

Gride uygun lisans sunucuları

Veriye saydam erişim

(17)

SE4SEE SDA

G-PiP GridAE Hum2S

P-Grade Portal Eğitim Ontolojisi

YEF Grupları (ATLAS, CMS, LHCB)

Kendi uygulamasını geliştiren kullanıcılar

Paket program kullanıcıları (Gaussian, Gamess, NAMD, PWSCF, CPMD, Abinip, VASP, Amber…)

TR-Grid Üzerinde Geliştirilen / Çalışan

Uygulamalar

(18)

SE4SEE

(19)

(Backup) SE4SEE Web Portal

(20)

SDA

(21)

SDA

(22)

İnsan nüfusu üzerinde çalışılarak:

-İnsan hafızası modellenecek,

-İnsanların etkileşimi simüle edilecek -Hafıza boyutunun etkisi incelenecektir

İnsan hafızasının modellendiği bir kompleks sistem modelleme ve

simülasyon projesidir.

HuM2S

(23)

RAD50 - DNA double-strand break repair protein (1l8dB) ↔ BRCA1 - Breast cancer susceptibility protein (1miuA) via 1aq5AC

Aytuna,A.S, Gursoy,A. Keskin,O., Bioinformatics 2005

Keşfedilen protein protein etkileşimi

Bu etkileşim literatürde de doğrulandı

G-PiP

(24)

EDG gLite

GridAE-S GridAE-C Server-side

Application Unit

Client-side Application Unit

Job Group Submission Web Interface

GridAE-C Client-side Application Unit

. . .

GridAE

(25)

P-Grade Portal

(26)

İlk endüstriyel işbirliği projesi

Internet içeriğini Türkçe için geliştirilmiş teknoloji ile sunan ilk arama motoru olan bilgi.com’u geliştiren AGMLAB ile işbirliği projesidir

Bu projenin amacı, sayısal ortamda yeralan akademik ve

bilimsel kaynakları, araştırmacılara arama motoru teknolojisi ile sunan bir akademik dijital kütüphane, oluşturmaktır.

Araştırmacılar böylece, hem yerel hem de dünyada yeralan kaynaklara arama motoru üzerinden ulaşabileceklerdir.

Projenin bir diğer amacı ise, dijital kütüphane sistemlerinde ve bilgi gridi oluşturma çalışmalarında kullanılacak gelişmiş bir ürünü, ortaya çıkarmaktır.