Американский программист создал программу, позволяющую общаться с голосовым помощником Alexa с помощью жестового языка. Она распознает жесты с помощью камеры ноутбука и преобразует их в голосовые команды для помощника, а затем распознает ответы помощника и выводит их на экран в текстовом виде. На разработку обратил внимание блог prosthetic knowledge.
Многие технологические компании рассматривают голосовое управление в качестве одного из основных способов взаимодействия человека с умным домом и другими устройствами. Голосовые помощники установлены в практически всех современных смартфонах, но многие из них позволяют давать команды и с помощью клавиатуры. Однако в последние несколько лет стали довольно популярными умные колонки, в которых голосовой ввод — единственный способ общения с устройством. Это довольно удобно и позволяет, к примеру, включать музыку в комнате, не подходя к мультимедийному центру, но использовать такой интерфейс могут только люди без нарушений слуха и речи.
Разработчик из США Абхишек Сингх (Abhishek Singh) создал программное обеспечение, выступающее в качестве посредника между глухим человеком и голосовым помощником Alexa. Программа запускается на ноутбуке и использует встроенную камеру для распознавания жестов американского жестового языка. За распознавание отвечает алгоритм глубокого обучения, реализованный с помощью фреймворка TensorFlow.js, позволяющего обучать и запускать нейросетевые модели в браузере.
Пользователь дает команды на жестовом языке, а ноутбук в реальном времени распознает слова и произносит их с помощью системы синтеза речи, а также отображает на экране. В это же время колонка слышит и распознает слова компьютера и через небольшое время отвечает голосом, который также распознается и выводится на экран. Интерфейс приложения разделен на две части и оформлен как диалог пользователя и голосового ассистента:
Пока разработчик не раскрывает технические подробности реализации алгоритма, но планирует выложить исходный код приложения на GitHub.
В прошлом году Сингх представил необычный проект, позволяющий сыграть в Super Mario Bros. в дополненной реальности. Он разработал на Unity AR-версию первого уровня игры и адаптировал ее для очков дополненной реальности Microsoft Hololens. Поскольку пользователь не может запрыгнуть на виртуальный блок, геймплей игры претерпел изменения, но многие возможности повторяют оригинал. К примеру, можно ударять по блокам, собирать монетки и давить гумб.
По информации https://nplus1.ru/news/2018/07/13/sign-language-alexa
Обозрение "Terra & Comp".
