Перчатка для преобразования жестов в речь / текст: 5 шагов

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:49

Идея / толчок реализации этого проекта заключалась в том, чтобы помочь людям, которые испытывают трудности при общении с помощью речи и общаются с помощью жестов рук или более широко известного как американский язык жестов (ASL). Этот проект может стать шагом к предоставлению этим людям возможности работать с другими людьми, которые не понимают язык жестов, в среде сотрудничества. Кроме того, этот проект позволит им выступать с публичными выступлениями без использования настоящего переводчика-человека. Вначале я только пытался обнаружить некоторые из более простых жестов, таких как алфавиты A, B, I и т. Д., А также назначил определенные жесты для общих слов / приветствий, таких как «Привет», «Доброе утро» и т. Д.

Шаг 1: Сборка схемы

Шаг 2: Детали проекта

Этот проект включает в себя носимую перчатку с 4 датчиками гибкости, вставленными / встроенными в перчатку - по одному для мизинца, среднего, указательного и большого пальцев. Датчик Flex не использовался для безымянного пальца из-за ограничений на наличие аналоговых входных контактов на Arduino Uno R3 и в целом из-за отсутствия независимого движения, отображаемого пальцем на языках жестов. Также используется акселерометр MMA8452Q, который прикреплен к тыльной стороне ладони для измерения ориентации руки. Входные данные от этих датчиков анализируются и используются для распознавания жеста. Как только жест распознается, соответствующий символ / сообщение сохраняется в переменной. Эти символы и сообщения продолжают сцепляться до тех пор, пока не будет сделан определенный заранее заданный жест, указывающий на завершение предложения. Как только этот специальный жест обнаружен, сохраненная строка предложения отправляется на Raspberry Pi через USB-кабель от Arduino. Затем Raspberry Pi отправляет полученную строку в облачный сервис Amazon с именем Polly для преобразования предложения, полученного в текстовом формате, в формат речи, а затем передает полученную речь на динамик, подключенный к Raspberry Pi через кабель AUX.

Этот проект был просто доказательством концепции, с улучшенным оборудованием и планированием, а также с лучшей калибровкой, позволяющей обнаруживать множество других жестов и движений рук. В настоящее время в этом проекте запрограммирована только ограниченная функциональность, такая как базовое обнаружение жестов и преобразование текста в речь.

Шаг 3: Код

Шаг 4: шаги

1. Подключите гибкие датчики и акселерометр MMA8452Q к Arduino в соответствии с предоставленной схемой.

2. Выгрузите программу Final_Project.ino (находится в файле Arduino_code.zip) в Arduino.

3. Подключите Arduino к Raspberry Pi через USB-кабель. (Тип кабеля A / B).

4. Включите Raspberry Pi, скопируйте файл Raspberry_pi_code.zip в Raspberry Pi и извлеките его. Подключите динамик к Raspberry Pi.

5. Скопируйте учетные данные своей учетной записи AWS, то есть aws_access_key_id, aws_secret_access_key и aws_session_token, в файл ~ /.aws / credentials. Этот шаг необходим для связи с облаком AWS и использования сервисов AWS.

6. Запустите программу seria_test.py, найденную внутри извлеченной папки на шаге 4.

7. Теперь сделайте жесты, чтобы сформировать предложение, а затем сделайте специальный жест (держите пальцы и ладонь прямо и на одной линии с ладонью, направленной от вас, а затем поверните запястье, поворачивая его вниз так, чтобы теперь ваша ладонь обращен к вам, а кончик ваших пальцев направлен вниз к вашим ногам), чтобы обозначить завершение предложения.

8. Продолжайте проверять терминал на предмет полезной информации.

9. И послушайте, как преобразованная речь транслируется через динамик.

Шаг 5: ссылки

1.

2.

3.

4.