Распознаватель движения руки: 5 шагов

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:49

Обзор

В этом проекте мы сделаем перчатку, которая может распознавать некоторые базовые движения рук с помощью MicroBit и нескольких датчиков. Мы будем использовать возможности Bluetooth на MicroBit в сочетании с приложением для Android и веб-сервером, чтобы обучить модель машинного обучения распознавать движения рук.

Начиная

Большая часть усилий, задействованных в этом проекте, приходится на программное обеспечение, и весь код, необходимый для запуска этого проекта, доступен на GitHub. База кода включает 3 компонента: код для создания HEX-файла для MicroBit, кодовую базу приложения Android, которая в значительной степени основана на приложении MicroBit Blue от MicroBit Foundation, с изменениями, внесенными для этого конкретного варианта использования, и веб-сервер с кодом для обучение модели на основе Tensorflow для определения движений рук.

Далее мы увидим, как собрать перчатку и связать ее с приложением и веб-сервером.

Запасы

• 1 BBC Microbit
• 1 батарейный отсек с 2 батареями AAA
• 1 перчатка
• Комплект перемычек, зажимов типа "крокодил"
• Датчик изгиба
• Датчик силы
• Липучка
• Электроизоляционная лента
• Телефон Android
• ПК / ноутбук

Шаг 1: Шаг 1: Настройка MicroBit и батареи

• Начните с прикрепления держателя батареи к липучке, как показано на первом изображении. Используйте изоленту, чтобы надежно прикрепить держатель батареи к ремешку на липучке.
• Затем сделайте петлю из изоленты, чтобы она была липкой с обеих сторон, и приклейте ее поверх аккумуляторной батареи.
• Прикрепите MicroBit к петле из ленты, чтобы надежно прикрепить MicroBit к держателю батареи, как показано на втором изображении.

Шаг 2: Подключите датчики

• Следуя схеме, показанной на изображении, подключите гибкий датчик к контакту 1 MicroBit, а датчик силы - к контакту 0 MicroBit.
• Закрепите датчики на перчатке изолентой, как показано на изображениях.

Шаг 3: Завершение работы с оборудованием

• Используйте концы ремешков на липучке, чтобы сформировать петлю, и наденьте петлю на пальцы перчатки, как показано на изображении.
• Вы можете использовать проволочные стяжки, чтобы закрепить провода на перчатке, чтобы они не смещались слишком далеко.

В следующем разделе мы рассмотрим, как настроить программное обеспечение.

Шаг 4: установка программного обеспечения

Сопряжение телефона с MicroBit

1. Чтобы выполнить сопряжение телефона, сначала убедитесь, что на нем включен Bluetooth.
2. Включите MicroBit, нажмите и удерживайте кнопки A и B. В то же время нажмите и отпустите кнопку сброса, все еще удерживая кнопки A и B. Теперь микробит должен войти в режим сопряжения.
3. На телефоне найдите MicroBit в списке устройств Bluetooth, куда вы обычно добавляете новое устройство Bluetooth, и начните сопряжение. На вашем MicroBit вы увидите стрелку, указывающую на кнопку A. Когда вы нажмете эту кнопку, MicroBit отобразит серию цифр, которая является кодом сопряжения, который вы должны ввести на своем телефоне. После ввода кода на телефоне и выбора пары на MicroBit должна появиться галочка.
4. Нажмите кнопку сброса на MicroBit.

Установка программного обеспечения

Следуйте руководствам ReadMe в каждой подпапке в репозитории GitHub, чтобы настроить проект приложения Android в Android Studio, создать и прошить файл HEX на MicroBit и запустить веб-сервер для запуска моделей машинного обучения.

Шаг 5: использование

Веб сервер

Откройте терминал в каталоге проекта веб-сервера и запустите `python server.py` для запуска сервера после выполнения инструкций в ReadMe для установки зависимостей

Приложение для Android

1. Соберите и создайте APK для Android-приложения из Android Studio. Запустите приложение после сопряжения телефона с MicroBit (см. Предыдущий шаг).
2. На странице акселерометра вы можете установить URL-адрес веб-сервера, используя меню настроек в правом верхнем углу. Убедитесь, что вы изменили это на IP-адрес вашего веб-сервера.
3. Подождите, пока показания акселерометра не начнут считываться с MicroBit. Вы увидите, что показания меняются с разной частотой. Чтобы изменить частоту, нажмите B на MicroBit. В идеале вы можете использовать значение частоты 10 (которое измеряет показания каждые 10 мс).
4. Как только показания будут заполнены, назовите свой жест, используя текстовое поле «Жест:», и нажмите кнопку записи. Как только вы нажмете кнопку записи, сделайте несколько движений рукой, пока кнопка снова не активируется.
5. Повторите шаг 3 для записи нескольких жестов.
6. Нажмите кнопку обучения, чтобы начать обучение модели на сервере. После завершения тренировки (около 15 секунд) можно переходить к прогнозам.
7. Нажмите кнопку прогнозирования и сделайте свое движение / жест. Приложение постарается максимально согласовать его с одним из тренированных движений.