A Social Navigation Approach for Mobile Assistant Robots
SUMMARY
Robots are becoming a part of our lives and we expect robots to act in a similar way to avoid interference with our safety and social being. Robots which are employed in human-robot interactive social areas such as malls or hospitals should benefit from a compliant navigation approach that is built upon a level of human aware and socially intelligent behavior. This compliance is more than mere avoidance and requires legible robot motion so that rational agents as humans are should understand and predict the robot motion (eliminate uncertainty in robot behavior) to adapt their motions accordingly. Furthermore, the robot requires understand social etiquettes and rules and anticipate social/ethical interactions as like as humans. Otherwise, no matter the robot efficiently navigates from one point to another, it will be realized as an unsocial individual because of the possibility of violating people’s social zones or block their way. Hence, the robot behavior will be realized as a inhuman-like and and affect the interaction quality with the humans negatively.
Mobile robots with enhanced social skills by considering to interact to human with verbal or non-verbal (e.g. sign language) should have unified trajectory planning algorithms that not only calculates the shortest path while avoiding obstacles to the defined goal while navigating, but also has human awareness not to annoy any human.
A large number of researchers are currently proposing socially aware navigation approaches. It is an active research field combining navigation, perception, and social intelligence. The primary motivation of all these approaches is increasing psychological safety and comfort in human-robot interactive social environments as much as possible. ROS is the de facto standard in research robotics and offers us the ability to use multiple platforms and languages and to incorporate standard solutions to robot problems. Therefore, we first integrated the Mantaro TeleMe 2 telepresence robot into ROS ecosystem to drive the robot autonomously through the newly proposed hardware architecture. Then, the robot is made ready to provide all the necessary nodes to perform social navigation by developing Teleme2 ROS packages from scratch.
Robot navigation in an unknown dynamic environment prefers to solve localization and mapping problem concurrently. As a result, the robot use simultaneous localization and mapping(SLAM) technique to localize itself (pose estimation) and map the environment as well as our socially-aware motion planning algorithm. For online motion planning, potential fields are a common approach for static environments.
This approach is first adopted as a social force model(SFM) [9] to describe the motion of pedestrians in very crowded escape scenarios. According to this model, human behavior is affected by some forces(think of a vector field over the space) for acceleration, deceleration and directional changes. The idea behind the model makes it a good candidate for local path planning and expected to generate more human-like trajectories for the robot. That enables a robot to imitate the comprehensibility of
the inner dynamics of human motion efficiently dependent on its motion constraints.
SFM-based motion planner is computationally light which is appropriate in uncertain dynamic environment to re-plan frequently. The algorithm does not directly find a collision-free path for the robot. The technique outputs the desired acceleration vector through the dynamic interactions of the robot at each time step and integrates the acceleration into its motion in order to obtain the collision-free path. At every point in time, the robot looks at the resultant total force at the point and imposes/applies as a control law to determine the direction of travel and speed. SFM may be a good choice since we don’t need to enforce that the robot exactly follows a reference path, but instead stays within the people of safety and comfortable limits.
In the thesis, we propose a social navigation system under unknown environments by integrating SFM and SLAM. Except for SFM computational time efficiency, the application of conventional SFM to social robot navigation problem present shortcomings and limitations. One problem of the integration of two technology is the noise of SLAM that causes undesired navigation of the social force model.
We introduce the idea of multi-level mapping to filter the noise within reasonable computational cost. The other problem is that the robot may oscillate because it has no incentive not to do so due to sudden changes in force lengths, discontinues at some points and sensor noise. To this end, one solution is to ensure smoothing by constraining the change in forces. That way, you impose continuity in the steering.
In addition, SFM-based local motion planner is used with A* global planner not to be stuck on local minima situation. The whole plan is not directly assigned to the robot since the global path has too many grid nodes and it is infeasible to follow the path in such a dynamic human uncertain environments. Therefore, the key path points of the global path are extracted by sub goals selection algorithm. Extracted points are incrementally passed to the robot for smooth and legible robot navigation behavior.
Finally, we conduct simulation and user experiments as well as evaluated the effect of the proposed idea. We verify the results in real environments as simulation environments have limitations with quantitative and qualitative evaluations.
A Social Navigation Approach for Mobile Assistant Robots
ÖZET
Robot gezinmesi, üzerinde çok çalı¸sılmı¸s ve çalı¸sılmaya devam eden bir konudur.
Gerçek zamanlı olarak çalı¸san robotlar için özellikle performans artırımı ve enerji tüketiminin azaltılması yönünde etkili algoritmalar geli¸stirilmektedir. Durgun ya da dinamik ortamlarda kullanılması dü¸sünülerek geli¸stirilen birçok gezinme algoritması maliyet haritalarını kullanmaktadır. Çevredeki hareketli veya static engele olan mevcut uzaklı˘ga göre çarpı¸smadan en kısa ve dü¸sük maliyetli yolun hesaplandı˘gı aynı zamanda anlık de˘gi¸simlere tepki verebilen yakla¸sımlardır. Bu yakla¸sımlar tüm durgun ve hareketli nesneleri kaçınılması gereken engeller olarak dikkate almakla birlikte ortamdaki insanların psikolojik konforunu, sosyal kuralları dikkate alan bir sosyal bir gezinme planlaması yapmamaktadır.
Sosyal robot gezinmesi, navigasyon ve insan-robot etkile¸simi çalı¸sma konularını ortak bir amaçla birle¸stiren ara¸stırma için yeni ve aktif bir alandır. Geli¸stirilen servis robotlarına sosyal kuralları ve insan fiziksel ve psikolojik güvenli˘gini dikkate alacak ¸sekilde otonom gezinme görevlerinin verilmesi yeni yakla¸sımlarını beraberinde getirmi¸stir. Bu robotların yalnızca kendilerine ayrılan özel bir ortamda belli amaçları gerçekle¸stirmek için de˘gil, insan robot etkile¸simli ortamlarda insanlara hizmet amaçlı kullanımı hedeflenmektedir. Bu a¸samada önceki geli¸stirilen hareket planlama algoritmaları özellikle insanların hareket halinde bulundu˘gu kapalı iç ortamlarda çalı¸sması dü¸sünülen servis robotları için yetersiz hale gelmektedir. Robotun hareketi esnasında belirlenen hedefe en kısa yolu hesaplamakla birlikte aynı zamanda sosyal farkındalı˘gı da olan, insanların fiziksel güvenli˘gi ile psikolojik rahatını da dikkate alan yeni birle¸sik bir sosyal navigasyon algoritması gerekmektedir. ˙Ilk olarak robotun engel türünü farketmesi, insan ve insan olmayan objeler için farklı davranı¸slar sergilemesi gereklidir. Bununla birlikte insan hareketini analiz edip, de˘gerlendirebilmelidir. Sosyal navigasyon sisteminin temel amacı, robotun hareketi sırasında çevredeki hareketli ya da durgun insanların sosyal mesafesini mümkün oldu˘gunca ihlal etmemesini sa˘glamaktır. Bu sayede robot, insan benzeri davranı¸slar sergileyecek ve sosyal bir varlık gibi algılanıp insanlardan tarafından içselle¸stirilebileceltir. Sonuç olarak, insanlarla aynı ortamı payla¸san servis robotlarına güven sa˘glanmı¸s olmakla birlikte robot varlı˘gını insanlardan tarafından kabul görecektir.
Bu çalı¸smada robota insan etkile¸simli ortamda otonom gezinmesi sırasında yol planlamasını çevresindeki insanlara göre sosyal olarak uyarlayabilme yetene˘gi kazandırılması hedeflenmi¸stir. Bu amaca uygun olarak ortak gereksinimler tespit edilmi¸s ve robot testleri için MantaroBot TeleMe 2 telepresence robot platformu kullanılmı¸stır. Robot platformu, hareketli bir robotik tabana monte edilmi¸s bir LCD ekran (tablet) ile karakterize edilebilir. Robotun taban kısmı diferansiyel sürü¸slü 3 tekerle˘ge sahip olup ayrıca üzerinde engel tespiti için iki kızılötesi optik alıcı-verici bulunmaktadır. Mevcut donanım alt yapısı sosyal gezinme görevleri için kısıtlı bir
donanım ve yazılım API’sı sa˘glamaktadır. Bu yüzden robot platformu eklenen ve geli¸stirilen yeni donanım mimarisi ile otonom sosyal gezinme görevleri için uygun hale getirilmi¸stir. Robot üzerine konum kestirimi ve engellerden sakınma için lazer mesafe ölçüm duyargası, derinlik algılayabilen kamera, planlama ve motor kontrolü gibi dü¸sük seviye ve yüksek seviye kontrol görevleri için tek bir karttan olu¸san mini bilgisayarlar (single board computer); Udoo x86 Ultra, Raspberry Pi3 Model B+ ve Arduino Uno yerle¸stirilmi¸stir. Donanım mimarisi ROS (The Robot Operating System) uyumluluk deste˘gi ile donatılmı¸stır.
ROS, (otonom) robotik projeleri ve uygulamalarında oldukça yaygın kullanılan açık kaynak kodlu bir arayüz yazılımıdır (middleware). Robot ve robot sistemini olu¸sturan donanımlar üzerinde farklı diller (C++, Python, Java, etc.) kullanma ve temel robotik problemleri için genel amaçlı yazılımlar sunmaktadır. Bu sayede hem zaman hem de i¸s gücü tasarrufu sa˘glanmı¸s olmaktadır. Bu nedenle, ilk olarak Teleme2 robotunu otonom olarak kontrol edebilmek için Teleme2 ROS paketleri sıfırdan geli¸stirilmi¸s ve otonom sürü¸sü sa˘glanmı¸stır.
˙Insan-robot etkile¸simli ortamda robotun sosyal gezinme becerileri için insanın zamansal iki boyutlu konumunu ve hızını do˘gru bir ¸sekilde takip edebilmek ve insan hareketini analiz edip, de˘gerlendirebilmek için insan takip modülü olu¸sturulmu¸stur.
Robot üzerindeki lazer ve derinlik algılayabilen sensörlerden alınan veriler yardımıyla robotun çevresindeki insanları algılaması ve insan hareket modeli tahmini yapabilmesi sa˘glanmı¸stır. Bacak detektörü (leg_detector) modülü kullanılarak iki boyutlu insan pozisyonları lazer verilerinden tahmin edilir. Lazer verileri, bacak verileri ile e˘gitilmi¸s bir sınıflandırıcıya beslenerek önce bacaklar ayrı ayrı tespit edilirek insan pozisyonu kestirimi yapılmaktadır. Buna ek olarak yanlı¸s olarak sınıflandırılan örneklerin önüne geçmek ve sınıflandırma do˘grulu˘gunu artırması bakımından insan algılama modulü derinlik algılayabilen sensör yardımıyla desteklenmi¸stir. ˙Insan üst vücut kısmı derinlik tabanlı bir üst vücut detektörü algoritmasının sisteme uyarlanmasıyla tespit edilmi¸stir.
˙Iki sensörden elde edilen verilerin zaman ve uzamsal senkronizsyonu sa˘glanarak hem bacak detektöründen hem de üst vücut detektör sensörlerinden tespit edilen pozisyon bilgileri birle¸stirilerek daha gürbüz bir insan takibi gerçekle¸stirilmi¸stir.
Robotun haritaya göre göreceli konumunun bilindi˘gi bir mekana ya da hedefe insansı hareketler sergileyerek kendi kendine gitme görevi verilen robot, e¸s zamanlı olu¸sturulan harita ve konum bilgisi ile robotun çevresindeki insan pozisyon bilgileri Sosyal Kuvvet Modeli (SKM) tabanlı proaktif sosyal hareket planlama modeline beslenmi¸stir. Raslantısal yaya hareketini modellemek için önerilen SKM, yerel planlayıcı olarak hareketli robotların sosyal biçimde insanlar arasında gezinmesi amacıyla uyarlanmı¸stır. ˙Ilk olarak SKM, kalabalık insan yo˘gunlu˘gu yaya davranı¸sını içeren acil durum senaryolarını modellemek üzere geli¸stirilmi¸stir. Ara¸stırmacılar tarafından daha sonraları bu model sosyal olarak kabul edilebilirli˘gi daha yüksek yol planları üretme amacıyla kullanılmı¸stır. Bu modele göre, insanların yürüme davranı¸sları (yön de˘gi¸siklikleri, yava¸slama ve hızlanma) çevresinden kendisine uygulanan kuvvetlerin etkisine göre belirlenmektedir. Bu kuvvetler temel olarak itici ve çekici kuvvetler olarak iki sınıfta incelenirler. Çekim merkezi hedefine do˘gru (herhangi insan veya noktaya) yönelmesini çekici kuvvet sa˘glar. Hedefe do˘gru ilerlerken insan hareketi görü¸s alanındaki di˘ger insanlar ve engellerden tarafından gelen itici güçlerden etkilenir. ˙Itici kuvvetler, insanın hedef do˘grultusundan sapmasına neden olurlar. Bu anlamda di˘ger insanlar ve engellerle arasındaki güvenli mesafeyi
korumasını ya da uzakla¸smasını sa˘glayan bu kuvvetler de itici kuvvetler olarak isimlendirilmi¸stir. SKM itici ve çekici kuvvetlerin girdi vektörlerine göre her t zamanı için bir hızlanma vektörü hesaplar. Bu yakla¸sım insan-robot sosyal etkile¸sim ortamında insan hareketini taklit etmesi beklenen robot için dü¸sünüldü˘günde çekici kuvveti olu¸sturan hedef konumları ve itici kuvvetleri olu¸sturan insanlar ve durgun engeller bulunmaktadır. ˙Itici ve çekici kuvvetlerin toplam etkisi robot hareketini belirler. Sonuç olarak, her t anı için robotun hızını belirleyen hızlanma vektörü kartezyen koordinatlarda (vx, vy) elde edildikten sonra kutupsal koordinatlarda hız komutlarına (vp, ωp) dönü¸stürülerek robot motor denetleyicisine iletilir ve robotun verilen hedefe ula¸sımı sa˘glanır. Sosyal gezinmeyi gerçekle¸stirecek yerel hareket planlıyıcı ve insan takip modülünün de sisteme entegre edilmesiyle, Teleme2 robotu sosyal otonom görevler için kullanıma hazır hale getirilmi¸stir.
Önerilen sosyal navigasyon sisteminin performansı "insan rahatı güvenlik endeksleri"
olarak tanımlanan sosyal bireysel endeks (SBE) ve rölatif hareket endeks (RHE) parametreleri ile de˘gerlendirilmi¸stir. SBE insanın fiziksel ve psikoljik rahatını belirlemek için ki¸sisel alan bölgeleri, proxemics, baz alınarak kullanılan bir kriterdir.
RHE ise insan hareketini önceden önlem alacak (proaktif) ¸sekilde bir sakınma yapıp yapamadı˘gını gösteren bir kriter olarak tanımlanmı¸stır. Bu iki kriter birlikte de˘gerlendirilerek yaptı˘gımız çalı¸smada insanın psikolojik ve fiziksel rahatını garanti eden bununla berabera robotun insan hareketini önceden tahmin ederek proaktif bir
¸sekilde sakınma yapabilen bir robot gezinmesi gösterilmi¸stir.
Bunun yanında fizyolojik sinyaller insanların duygularını ve stres seviyelerini tespit etmek için literatürde sıklıkla kullanılmaktadır. Robotun sergiledi˘gi sosyal ve sosyal olmayan gezinme davranı¸sları sırasında katılımcılara anketler yapılmı¸s ve Empatica E4 bileklik takılarak katılımcıların gerçek zamanlı fizyolojik verileri alınmı¸stır. E4 bileklik üzerinde bulunan electro-magnetic activity sensörü aracılı˘gıyla deri iletkenli˘gi verisi (EDA) , fotopletismografi sensörü ile kan hacmi nabzı (BVP), 3D ivme ölçer sensörü ile fiziksel aktivite verileri ve kızılötesi ısıpil sensörü ile deri sıcaklı˘gı (TEMP) verileri toplanmı¸stır. Bu sayede robotun sergiledi˘gi navigasyon modelinin katılımcılar tarafından sosyal olarak algınıp algılanmadı˘gı belirlenmeye çalı¸sılmı¸stır.
Katılımcılardan robotla etkile¸simleri sırasında hem E4 bileklik kullanılarak toplanan fizyolojik verileri, hem de deney öncesi ve sonrası yapılan anket sonuçları, sırasıyla geleneksel navigasyon ve sosyal navigasyon yetene˘gi kazandırılan robotla senaryolarını kar¸sıla¸stırmak için analiz edilmi¸stir. E4’ten elde edilen ham veriler normalize edilip derin ö˘grenme tabanlı bir model ile sınıflandırılmı¸stır. Sınıflandırma ba¸sarımı leave one person out çapraz geçerlilik yöntemi ile de˘gerlendirilip, do˘gruluk ve f-measure de˘gerleri verilmi¸stir.
