Эпоха аватаров стартовала?

Недавняя пандемия COVID-19 стимулировала возобновление интереса инженерного сообщества к системам виртуальной реальности и расширение применения цифровых и виртуальных систем в различных сферах жизни

Итальянские инженеры Итальянского технологического института (Istituto Italiano di Tecnologia- IIT) разработали андроидоподобного робота-аватара — iCub3.

Для проведения демонтарации робота-аватара разместили в помещении 17-й Международной архитектурной выставки в Венеции.
Оператором выступил сотрудник IIT Даниэле Пуччи, который находился в Генуе на расстоянии более чем 290 километров от аватара.

Связь робота и человек происходила напрямую  при помощи оптоволнокнного кабеля. Благодаря этому задержка при передаче была всего 25 миллисекунд.

Данная платформа iCub развивалась в нескольких направлениях в течение последних 15 лет и на сегодняшний день(по заявлению авторов) является первой полной системой оператора и на человекоподобном роботе с ногами, позволяющем осуществлять иммерсивное и дистанционное вербальное, невербальное и физическое взаимодействие.

Тест аватара включал в себя:

• виртуальное управление;
• способность перемещаться в пространстве;
• возможность манипулирования предметами;
• воспринимать раздражители;
• взаимодействовать вербально и физически с людьми и окружающей средой.

Во время проведения эксперимента iCub3 ходит по итальянскому павильону в Венеции и  воспроизводит команды, которые оператор дает ему из Генуи.

Система аватара состоит из трех компонентов, которые часто являются составляющими систем телексистенции:

• физический аватар — робот с определенной степенью свободы;
• оператор, который отвечает за переориентацию и действие на расстоянии;
• линии связи, которые обеспечивают связь между аватаром и оператором.

Рассмотрим более подробно два основных этих компонента: аватара и оператора.

 

Особенности аватара

iCub3 является человекоподобным прямоходящим роботом, имеющим черты подростка.

Его механическая часть состоит из алюминиевого сплава. Внешняя часть, закрывающая каркас и электронику сделана из пластика.

Он на 25 см выше и на 19 кг тяжелее предыдущих версий iCub, и его высота составляет 1,25 метра, а вес немногим больше 52 кг.

Длина каждой ноги робота составляет примерно 63 см, а длина рук — 56 см от плеча до кончиков пальцев. С руками вдоль тела робот имеет ширину 43 см.

iCub3 имеет 54 степени свободы включая те, что находятся в руках и в глазах – семь в каждой руке, девять в каждой руке, шесть в голове, три в туловище / талии и шесть в каждой ноге.

Они распределяются следующим образом:

• 4 сустава в голове, контролирующие веки и глаза,
• 3 сустава на шее,
• 7 суставов в каждой руке,
• 9 суставов в каждой руке,
• 3 сустава в туловище,
• 6 суставов в каждой ноге.

Вес распределяется следующим образом:

• около 45% веса приходится на ноги,
• 20% — на руки
• 35% — на туловище и голову.

На руках (манипуляторах) находятся искусственная кожа в качестве тактильных датчиков.

На предплечье и кистях также располагаются датчики, которые предоставляют информацию как о местоположении, так и об интенсивности контактного взаимодействия.

Руки аватара оснащены суставами с приводом от сухожилий, приводимыми в движение 9 двигателями, что позволяет управлять раздельно большим, указательным и средним пальцами, в то время как безымянный и мизинец движутся совместно.

Механические системы iCub3 приводятся в движение двигателями постоянного тока.

Суставы, управляющие глазами, веками, шеей, запястьями и кистями рук приводятся в действие двигателями постоянного тока, оснащенные коробкой передач с волновым редуктором с передаточным числом 1/100.

Двигатели туловища, рук и тог также используют волновую передачу,  но являются боле мощными и трехфазными. Их номинальная мощность составляет 110 Вт, номинальный крутящий момент -0,18 Нм, а крутящий момент при непрерывном торможении -0,22 Нм.

Тазобедренные, коленные и голеностопные суставы приводятся в движение более крупными и мощными. Их номинальная мощность составляет 179 Вт, номинальном крутящий момент 0,43Нм, постоянный момент остановки 0,48 Нм.

Голова робота оснащена камерами вместо глаз. Микрофоны находятся, «как положено», в ушах, а динамик – за «ртом».

«Глаза» могут передавать изображение со скоростью 15 кадров в секунду и разрешением 1024х768. Они расположены внутри глазной лампы и могут управляться с заданной точностью, версией и углом наклона. Оба глаза снабжены веками, управляемыми совместно одним двигателем постоянного тока.

В качестве мозгов (центрального блока) iCub3 использует связку: процессор Intel 4-го поколения с ядром  i7 и частотой 1.7GHz, 8 ГБ оперативной памяти, оперативная система Ubuntu.

Центральный блок представляет собой интерфейс между роботом и другими системами робота. Он поддерживает связь с другими платами,  распределенными по корпусу робота через шину Ethernet.

Встроенное ПО позволяет разделить  на высокоприоритетные и низкоприоритетные. Высокоприоритетные задачи предназначены для отслеживания траекторий для центра масс, высоты связующих звеньев.

Задачи с низким приоритетом предназначены для поддержания туловища в желаемой ориентации, контролируя при этом положение суставов.

Интерфейсы обратной связи сообщают оператору об измерениях датчиков робота.

В системе дистанционного управления iCub3 имеются следующие интерфейсы обратной связи:

• визуальный,
• слуховой,
• тактильный,
• прикосновение.

Передача данных ведется через стандартную сеть Wi-Fi 5 ГГц, но может производится и при  помощи кабеля Ethernet.

Для  приведения в движение всей этой системы у аватара имеется  аккумулятор, встроенный в каркас. Он обеспечивает около часа автономной работы

 

Особенности оператора

Оператор использует ряд устройств:

• шлем виртуальной реальности HTC Vive PRO eye;
• устройство для отслеживания мимики VIVE;
• сенсорно-тактильный костюм iFeel;
• тактильную перчатку SenseGlove DK1;
• всенаправленную беговую дорожку Cyberith Virtualizer Elite 2.

Чтобы управление роботом было как можно более точным, оператор носит специальный костюм с обратной связью «iFeel».

Данный костюм выполняет две главные функции: «читать» положение частей тела оператора и его движения и обеспечивать оператора комплексом тактильных ощущений от движений аватара и его прикосновений к окружающим объектам.

Для движения робота оператор идет по специальной платформе, которая позволяет ему перемещать как нижнюю часть тела – ноги, ток и верхнюю – голову и руки.

Кроме этого, датчики, расположенные на операторе, позволяют отслеживать его мимику и «передавать» ее  аватару.

 

Например, когда оператор кивает, робот тоже кивает, когда оператор закрывает глаза или двигает бровями, робот повторяет его действия, делая их похожими на мимику оператора с помощью светодиодов

Кроме того, робот также может общаться в устной форме с теми, с кем он встречается во время посещения.

Сам процесс тестирования можно увидеть на видео ниже.