Çoklu robot sistemlerinde dans-müzik senkronizasyonu

Çoklu Robot Sistemlerinde Dans-Müzik Senkronizasyonu

Dance of Multi-Robot System

Figen Özen

1

, Dilek (Bilgin)Tükel

2

, Georgi Dimirovski

3 1

_{Elektrik-Elektronik Mühendisliği Bölümü}

Haliç Üniversitesi, İstanbul

figenozen@halic.edu.tr

2

_{Kontrol ve Otomasyon Mühendisliği}

Doğuş Üniversitesi, İstanbul

{dtukel,gdimirovski}@dogus.edu.tr

Özetçe

Bu çalışmada, çoklu robot sistemleri için hareket-müzik senkronizasyonu incelenmiş ve simüle edilmiştir. Robotlar için geliştirilmiş Laban Notasyonu kullanılarak, 4 set dans hareketi tanımlanmıştır. Robotlar, bu örüntüleri kullanıp rastgele sıralama yaparak, hem müzik hem de diğer robotlarla senkron olarak koreografi yaratmaktadır. Darbe analizörü ile müziğin ritmi ve vuruşların zamanlamaları hesaplanmakta, bu bilgi robot tarafından müzikle senkronizasyon için kullanılmaktadır. Robotlar arasındaki senkronizasyon da dijital sinyallerle sağlanmaktadır.

Abstract

In this work, synchronization in a multi-robot dance system is investigated and realized. The system consists of anthropomorphic industrial manipulators, their control units, and a computer. The algorithm developed has music and dance modules. In the dance module, a modified version of the classical Laban notation, which was originally designed for human ballet dancers, is used. Modification is done to add more flexibility for the robots. The system is incorporated with a music analyzer, for beat tracking. The robots dance in synchrony with the input from the music analyzer and with other robot(s). Simulations are done on two six degree-of-freedom industrial robots

1. Giriş

Senkronizasyon, farklı sistemlerin, parçaların ya da özelliklerin uyum içinde çalışmasıdır. Görüntü ile ses, ses ile hareket, hareket ile hareket senkronizasyonu sıklıkla görülür. Özellikle hareketlerin senkronizasyonu, insanların davranışlarında önemli rol oynar. Ramachandran ve Hirstein, insan beyninin hareketlerdeki kalıplara ve düzen kalıplarına yönelmeye eğilimli olduklarını belirtir [1].

İnsanlar, yaşamları boyunca bilinçli ya da bilinçsiz olarak kişiler arası senkronizasyonu deneyimlemektedir. İnsanlar, bir grup halinde yürürken, yürüyüşlerini senkronize etme eğilimindedir. Sallanan sandalyelerde birbiriyle yan yana oturan iki insanın, salınım hareketlerini senkronize ettikleri

gözlenmektedir. Bu bilinçsiz eş zamanlama, talimat verilmeden veya talep edilmeden, doğal olarak ortaya çıkmaktadır. Kişiler arası hareket senkronizasyonu, birleştirilmiş bir dinamik süreç olarak nitelendirilebilir. Dans esnasında, hareket, müzik ve kişiler arası bilinçli senkronizasyon gereklidir. Hagendoorn, sürüler, takımlar ve dansçılar gibi gruplar arasındaki hareketleri ve etkileşimleri gözlemleyerek dans koreografileri için çeşitli kural önermiştir[2]. Bu kurallar: Mekansal organizasyon, hizalanma, kümelenme, mekanın kullanım alanının bölünmesi, dinamizm, kopyalama ya da yansıtma, iç farklılaşma ve/veya eşdeğerlik ilişkileridir. Dans için sadece aynı hareketleri müzikle senkron şekilde tekrar eden bir koreografi yeterli değildir. Mekanı iyi kullanmalı, farklılaşıp tekrar eşdeğerli hale gelmeli, dinamik olmalıdır.

Robotlarla dans, bu sistemlerin donanım, yazılımlarını geliştirerek, kinematik, dinamik özelliklerine hakim olarak yapılabilir. Gelişmiş motor davranışları, ileri düşünme, öğrenme ve özerk karar verme gereklidir. Dans, çoklu robot sistemlerinde de popüler bir araştırma konusudur. Dans sistemleri, yalnızca dans kuralları ve insan algılaması dikkate alındığında başarılıdır ve bu alandaki araştırmalar, sanat ve sosyal bilimler alanını da kapsamalıdır.

Bu çalışmada, çoklu robotlu bir dans sisteminin senkronizasyonuyla ilgili sonuçlarımızı sunmaktayız. Burada geliştirilen algoritmada her robotun sekiz hareketten oluşan dört farklı dans kalıbı vardır, bu kalıplar farklı sırayla dans müziği boyunca kullanılır. Robotlar her kalıp başında birbirleriyle senkronize olmaktadır. Algoritma iki adet antropomorfik endüstriyel robotlara uygulanmıştır.

Bildiri şu şekilde organize edilmiştir: Robot senkronizasyonu ve robot dansı üzerine yapılan çalışmaların bir özeti 2. bölümde verilmektedir. Geliştirilen algoritma Bölüm 3'te, simülasyon sonuçları Bölüm 4'te ve sonuçlar Bölüm 5'te verilmektedir.

2. Literatür Çalışmaları

Robot senkronizasyonu ve robot dansı konuları popüler olabilir, ancak önemli ölçüde yeni konular olduğundan iyileştirme gerektiren alanlar bulunmaktadır. Aşağıda, robot senkronizasyonunda ve dansında yapılan çalışmanın

Rodriguez-Ángeles, köle robotun, efendi robotun yörüngesini izlemesi problemi üzerine çalışmıştır. Sistemi iki adet mafsallı robottan oluşuyordu. Köle robot, ana robotun hız ve ivmesini tahmin ederek takip etmekteydi [3].

Portillo-Vélez, Cruz-Villar ve Rodriguez-Ángeles, efendi- köle robot sistemine engelden kaçma özelliği ekledi. Kullanılan denetleyici PID ve optimal denetleyicilerin bir kombinasyonudur [4].

Matsunami, Tanaka-Ishii, Frank ve Matsubara, yedi adet Lego robotu ile çalıştılar. Bu yedi robottan birine takım lideri rolü verilmiştir. Senkronizasyon, basit dans kalıpları ve senaryolar için test edildi. Robotlar birbirleriyle, kızılötesi kanal aracılığıyla haberleşti. Dengelerini kaybedip düştüklerinde, bu durumdan kurtulma yetenekleri test edildi ve % 70 başarı elde edildiği belirtildi [5].

Mahmood ve Kim, kuadkopterler ile çalıştı. Bir grup kuadkopterin lideri takip etmesi sağlandı. Graf teorisi kullanıldı ayrıca doğrusallaştırılmış kuadkopter modeline PD ve PID denetleyici uygulayarak, takipçilerin yön açısı, liderlerin başlangıç açısına senkronize edildi [6].

Markus, Yskander, Agee ve Jimoh, esnek eklemli çoklu robot sisteminde köle-efendi mimarisi [7] kullanarak senkronizasyonu sağladılar.

Pongas, Billard ve Schaal davul bageti tutan bir hidrolik robot kolunun harici bir sinyalle senkronizasyonunu araştırdılar [8]. Kawai ve ekibi insansı robotun senkronizasyon problemini inceledi. Çalışmalarda, göreve göre robot eksenleri arasındaki senkronizasyonunun her zaman yararlı olmadığını, bazen görevin başarılabilmesi için desenkronizasyona ihtiyaç duyulduğunu gösterdiler [9].

Ahmadzadeh ve Masehian, modüler robotik sistemlerin senkronizasyona yönelik çeşitli yaklaşımları incelediler. Araştırmacılar metotları: mesajlaşma, kilitleme, ana kontrol, lider takipçisi, hormon esaslı, iç zamanlayıcı ile senkronizasyon ve gecikmeli sinyaller yaklaşımları olarak sınıflandırdılar [10].

Iqbal ve Riek insan-robot senkronizasyon problemini inceledi. Grup senkronizasyon ve zaman senkronizasyon endeksi oluşturdular [11].

Özen, Tükel ve Dimirovski, endüstriyel bir robot için dans ve müzik senkronizasyonu üzerinde durmuş, dansçıların sıkça kullandığı bir dans notasyonu olan Laban notasyonuna bazı eklemeler yaparak, robot için yeni bir notasyon oluşturmuşlardır. Algoritma, müzik senkronizasyonunu sağlamak amacıyla, darbe çıkarımını dinamik programlama mantığıyla birleştirmektedir[12].

3. Dans ve Müzik Senkronizasyonu

Sistemimiz iki temel modülden oluşmaktadır: Müzik ve Dans modülleri. Müzik modülünde çevrim dışı olarak ses dosyası analiz edilerek darbeler ve ritim hesaplanır. Dans modülünde ise müzik modülünden gelen veriler kullanılarak koreografi oluşturulur ve senkronizasyon noktalarına karar verilir. Müzikteki darbeleri algılamak için Ellis tarafından geliştirilen darbe algılama algoritması kullanılmıştır [13]. Elde edilen darbe bilgisi, robota, dans ile birlikte kullanılmak üzere, senkronizasyon sinyali olarak aktarılmaktadır. Darbe algılama algoritması, tempoyu tahmin etmekte ve buradan elde ettiği sonucu maliyet fonksiyonunda kullanarak bir optimizasyon gerçekleştirmektedir.

Şekil. 1. Sistem modülleri

Maliyet fonksiyonu başlangıç kuvvet zarfı ve tutarlılık fonksiyonu ile ifade edilirse

(1)

(2)

Optimum maliyet fonksiyonu

(3)

biçiminde bulunur. Burada

ti: i. darbe anını,

: ağırlık parametresini,

p: hedef tempoyu simgelemektedir.

Ellis, logaritmik tutarlılık fonksiyonunu (2) kullanmaktadır.

4. Dans Temel Hareketlerin Laban notasyonu

ile tanımlanması

Müziğin yazıya dökülmesi gibi dans da farklı metotlar kullanılarak kaydedilir. Labanotasyon, müzikte kullanılan sisteme benzer. Soldan sağa okumak yerine aşağıdan yukarı doğru okunur. Üç dikey çizgi oluşturulur. Merkez hattı boyunca küçük yatay işaretler zamanlamayı gösterir. Ek kesik dikey çizgiler vücudu (kol, bacak, el, ayak) temsil eder. Her bir sütun, karşılık gelen vücut parçası için eylemleri içerir. Vücudun sol tarafında karşılık gelenler sol sütunda, sağ tarafına karşılık gelenler sağ sütunda gösterilir[14].

Labanotasyon endüstriyel robot kolunu, insanın sağ kolu şeklinde düşürecek adapte edilmiştir. Bu nedenle dikey çizgiler kullanılmamıştır. Klasik Laban gösterinden hareketlerin yön bilgisi sembolleri alınmış ve bunlara Klasik notasyonda bulunmayan seviye, uzanma ve el durum bilgisi eklenmiştir. Robot kolunun yüksekliği yatay çizgilerle belirtilmiştir. Bu çizgilerin sayısı çoğaldıkça, manipülatörün daha yüksekte olduğu anlaşılmaktadır. İçeri / dışarı seviyesi

Ses dosyasından alınan müzik Darbe çıkarımı Koreografi Yörünge Robot program Müzik Modülü Dans Modülü

arttıkça, manipülatörün dışa doğru daha fazla uzadığı anlaşılmaktadır. Dikey çizgilerin yanındaki ok da robot tutucusunun yukarı, aşağı, sağa, sola yada uzatılmış olduğu bilgisini vermektedir. Bu notasyonu kullanarak robot dans koreografisi geliştirdiğimiz yazılımla [12] yapılıp, otomatik olarak endüstriyel robot programlama dili olan Melfa Basic V robot programlama diline dönüştürülmektedir. Tablo 1’de robotun sekiz hareketten oluşan dört farklı dans kalıbının Laban notasyonuyla gösterimi görülmektedir.

Tablo 1: Koreografide kullanılan kalıp hareketler:

dans örüntüleri Örüntü 1 Örüntü 2 Örüntü 3 Örüntü 4 1 2 3 4 5 6 7 8

Darbe algılama işlemi ve senkron sinyali üretimi, Şekil 2'deki sırayla gerçekleşmektedir.

5. Çoklu Robot Sistemi Uygulaması

Sistemimiz (Şek. 3) endüstriyel robotlar, kontrol üniteleri ve bilgisayarlardan oluşur. Endüstriyel robotlar, her biri 6 derecelik serbestlik derecesine sahip olan Mitsubishi RV-7L robot kollarıdır. 67 kilogramlık bir kütleye ve 7 kilogramlık yük taşıma kapasitesine sahiptirler. CR-750D kontrol üniteleri, servo sürücüler ve bir hareket denetleyicisi ile donatılmıştır. Endüstriyel robotların ileri ve ters kinematik denklemleri, firmanın ilgili robot modeli için düzenlediği dokümanda verilen boyutlar kullanılarak çıkarılmış, doğruluğu seçilen set

için robot simülasyon programındaki sonuçlarla karşılaştırılmıştır [12].

Şekil. 2. Çok robotlu sistem senkronizasyonu için akış diyagramı

Çoklu robot dans sistemimizi RT-Toolbox robot simülatörü kullanarak farklı müzik parçaları ile test ettik ve Ed Sheeran tarafından seslendirilen popüler şarkı 'Shape of you'nun sonuçları bu bildiride gösterilmektedir. Şarkının ritimleri müzik modülünden darbe analizi ile çıkarıldı. Şekil 4'te off-line olarak analiz edilen melodinin 20 saniyelik kısmı için melodi ve darbeler gösterilmektedir. İki robotun dans hareketleri Tablo 2'de gösterilmektedir. Simülasyon videosu youtube'a [15] yüklenmiştir.

Başla

n = 0

Örüntüyü verilen setten rastgele seç Diğer robotlarla senkronizasyonu sağla robot(s) Müzikle senkronizasyonu sağla n = n + 1 n < nmax Müzik bitti mi? Bitir E E H H

Şekil. 3. Önerilen çoklu robot sisteminin bağlantı şeması.

Şekil. 4. Ed Sheeran’ın 'Shape of you' şarkısının başlarından 20 saniyelik veri ve darbeler.

6. Sonuçlar

Bu çalışmada, çoklu robot sisteminin dans ve müzik senkronizasyonu üzerinde durulmuş, müzik senkronizasyonu, darbe çıkarımını dinamik programlama mantığıyla birleştirmek yoluyla gerçekleştirilmiştir. Robotlar önceden belirlenmiş sekiz hareketli, dört hareket örüntü seti kullanarak kendi dansını tasarlamış. Robotlar arası senkronizasyonu dijital haberleşme ile sağlanmıştır.

Kaynakça

[1] V. S. Ramachandran, and W. Hirstein, "The science of art: A neurological theory of aesthetic experience," Journal of Consciousness Studies, vol. 6, No. 6-7, pp. 15– 51, 1999.

[2] I. Hagendoorn, "Emergent Patterns in Dance Improvisation and Choreography," Unifying Themes in Complex Systems IV, Springer, A. A. Minai, and Y. Bar-Yam (eds), pp. 183-195, 2008.

[3] A. Rodriguez-Ángeles, Synchronization of Mechanical Systems, Ph. D. Dissertation, Technische Universiteit Eindhoven, Netherlands, 2002, pp. 29-48.

[4] R. de Portillo-Vélez, C. A. Cruz-Villar and A. Rodriguez-Ángeles, "On-line master/slave robot system synchronization with obstacle avoidance," Studies in Informatics and Control, vol. 21, no. 1, pp. 17-26, March 2012.

[5] N. Matsunami, K. Tanaka-Ishii, I. Frank, and H. Matsubara, "Lego mindtorms cheerleading robots," in Entertainment Computing, R. Nakatsu, J. Hoshino, Eds. Springer US, 2003, pp. 199-206.

[6] A. Mahmood, and Y. Kim, "Leader-following formation control of quadcopters with heading synchronization," Aerospace Science and Technology, vol. 47, pp. 68-74, 2015.

[7] E. D. Markus, H. Yskander, J. T. Agee and A. A. Jimoh, "Coordination control of robot manipulators using flat outputs," Robotics and Autonomous Systems, vol. 83, pp. 169-176, 2016.

[8] D. Pongas, A. Billard and S. Schaal, "Rapid synchronization and accurate phase-locking of rhytmic motor primitives," IEEE/RSJ International Conference on Intelligent Robots and Systems, Alberta, Canada, 2-6 August 2005.

[9] Y. Kawai, J. Park, T. Horii, Y. Oshima, K. Tanaka, H. Mori, Y. Nagai, T. Takuma, and M. Asada, "Throwing skill optimization through synchronization and desynchronization of degree of freedom," in RoboCup 2012: Robot Soccer World Cup XVI, X. Chen, P. Stone, L. E. Sucar, T. van der Zant, Eds. Berlin Heidelberg: Springer-Verlag, 2013, pp. 178-189.

[10] H. Ahmadzadeh, and E. Masehian, "Modular robotic systems: Methods and algorithms for abstraction, planning, control and synchronization," Artificial Intelligence, vol. 223, pp. 27-64, 2015.

[11] T. Iqbal, and L. D. Riek, "Human coordination dynamics with heterogeneous robots in a team," ACM/IEEE International Conference on Human-Robot Interaction, Christchurch, New Zealand, pp. 619-620, 7-10 March 2016.

[12] F. Özen, D. B. Tükel, and G. Dimirovski, " Synchronized Dancing of an Industrial Manipulator and Humans with Arbitrary Music" Acta Polytechnica Hungarica, Journal of Applied Science, vol.14, no. 2,pp. 151-169, 2017 [13] D. Ellis, "Beat tracking by dynamic programming,"

Journal of New Music Research, Vol. 36, No. 1, pp. 51-60, March 2007.

[14] S. J. Burton, A.-A. Samadani, R. Gorbet, and D. Kulić, “Laban movement analysis and affective movement generation for robots and other near-living creatures,” Dance Notations and Robot Motion, Springer Tracts in Advanced Robotics, No. 111, J.-P. Laumond, and N. Abe (eds), pp. 25-48, 2016.

[15] https://www.youtube.com/watch?v=TuYALzZym4A&fe ature=youtu.be