Правда пока она знает только английский.
Девайс, который благодаря нейросетевым алгоритмам способен автоматически превращать язык жестов в человеческую речь создали ученые из США и Китая. Об этом сообщает ТАСС Наука, ссылаясь на результаты исследований, опубликованные в журнале Nature Electronics.
Изобретатели рассчитывают на то, что их разработка пригодится немым и глухонемым людям, чтобы напрямую общаться с окружающими. Перчатка способна выполнять свою задачу в режиме реального времени. Она оснащена датчиками трения и гироскопов — благодаря им устройство понимает, что его владелец двигает пальцами и руками.
При помощи этих перчаток физики записали жесты, которые в английском языке жестов соответствуют 600 распространенным словам. Затем нейросеть проанализировала эти данные и выделила в них характерные черты, по которым эти слова можно быстро переводить. Устройство способно озвучивать их через динамик смартфона или другого мобильного девайса.
Ученым даже удалось немного модернизировать разработку, добавив датчики, которые крепятся к коже лица. Таким образом можно определять изменения в мимике.
Перчатку уже протестировали на добровольцах. Она распознала жесты и короткие фразы почти со стопроцентной точностью.
В будущем ученые расширят «словарный запас» устройства. Отмечается, что на данный момент общая стоимость всех компонентов перчатки не превышает пятидесяти долларов.
VK
OK
Дзен
MAX