Альтернативный коммуникационный жилет (CoCoA): 8 шагов (с изображениями)

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:50

Проект CoCoA - это носимый жилет, подключенный к Интернету, который предоставляет тактильные символы альтернативного общения, чтобы помочь людям с речевыми или невербальными нарушениями. Аббревиатура CoCoa происходит от аббревиатуры португальского названия: Colete de Comunicação Assistiva.

Нарушения речи затрагивают людей с аутизмом, афазией, церебральным параличом, частичной или полной глухотой, а также другими расстройствами. В случае аутизма часто наблюдается невербализация или задержка речи. Отсутствие речи также может быть временной нетрудоспособностью из-за болезни.

Нарушение речи, постоянное или временное, требует внимания и лечения, поскольку эта способность важна для социализации. Кроме того, речь является важным навыком для людей с другим заболеванием или инвалидностью выражать свои потребности.

В этом контексте вспомогательные ресурсы Альтернативного общения (AC) используются, чтобы помочь людям с дефектами речи общаться со своими семьями, терапевтами и другими людьми. Пиктограммы - одна из наиболее распространенных форм AC, поскольку человек может указывать на символы, закрепленные в стратегических точках дома, или использовать приложения, озвучивающие эти символы, например Proloquo2Go.

Однако физические пиктограммы могут использоваться только для общения с другими людьми в той же среде, что затрудняет общение человека со своими опекунами, если у них есть острая необходимость, и они находятся в другой среде.

Альтернативный коммуникационный жилет (CoCoA) - это носимый жилет с подключением к Интернету, который позволяет соединять альтернативные коммуникативные тактильные символы, чтобы помочь людям с речевыми или невербальными нарушениями выражать свои потребности опекунам, терапевтам, учителям и другим медицинским работникам без них. всегда находиться в одной среде с человеком с ограниченными возможностями, что облегчает наблюдение.

CoCoA позволит пользователю включать до шести символов AC, позволяя пользователю выполнять различные комбинации. При нажатии кнопки, связанной с символом, происходят два действия:

1) Звук, соответствующий выбранному действию, воспроизводится через звуковой динамик, прикрепленный к жилету. Действие в текстовом формате отправляется через Интернет любому воспитателю, терапевту или учителю, что позволяет им получать уведомления о потребностях человека, если они находятся не в одной комнате.

2) Чтобы обеспечить обратную связь с инвалидом, на нажатых кнопках также мигает светодиод, указывающий на выбранные действия. Таким образом, предлагается носимый, подключенный, ненавязчивый, портативный и удобный интерфейс, чтобы помочь людям с нарушением речи сообщать о своих потребностях на месте или удаленно. Жилет не требует физических усилий для ношения, его можно носить в разных местах и облегчает помощь инвалидам в удовлетворении их потребностей, потенциально предотвращая их дискомфорт или стресс.

Этот проект был разработан Мауро Пичилиани ([email protected]) и Талитой Пагани ([email protected])

Шаг 1. Аппаратные компоненты

Для проекта CoCoA мы использовали следующие аппаратные компоненты:

* 1x карта DragonBoard 410C. Вы можете заменить эту плату на Raspberry Pi или любой другой небольшой бортовой компьютер, но имейте в виду, что это носимое устройство.

* 1x NodeMCU ESP 8266 Arduino или другой Arduino с как минимум 13 портами GPIO PWM.

* 1x модуль считывания RFID-меток Mifare RC522.

* 8 RFID-меток Mifare.

* 8 кнопочных кнопок.

* 8 светодиодов разного цвета.

* 6 резисторов по 330 Ом.

* 5 квадратных метров коричневой ткани TNT.

* Небольшое количество хлопка для заполнения подушечек

* 1x метровый ремешок на липучке.

* 8x изображений символов, напечатанных на бумаге

* 1x USB-динамик.

* 1x USB звуковой адаптер.

* Карта памяти miniSD на 4 ГБ.

* 1x аккумулятор в качестве источника питания (2000 мА / ч и выход 12 В).

* 20 метров кабеля с 2-мя жилами

* Общие инструменты (плоскогубцы, отвертка, паяльник, клеевой пистолет и др.), Провода и изолента

Шаг 2: блок-схемы

Чтобы понять, как работает жилет, давайте объясним его использование с помощью трех схем. См. Рисунки на этом этапе для справки.

Диаграмма 1: Эта последовательность операций представляет первоначальное использование жилета, описывающее шаги, необходимые для его ношения и доступа к уже записанным аудиофайлам.

Диаграмма 2: На этой диаграмме показаны шаги по замене одной из существующих подушек (маленьких диванов) так, чтобы на жилете был размещен другой символ / звук.

Диаграмма 3: На этой диаграмме показаны шаги для переключения звука, связанного с существующим пэдом. Эти шаги не были реализованы в версии 1.0 жилета.

Шаг 3: Программное обеспечение

В проекте мы использовали следующее программное обеспечение:

IDE Arduino

Python 3.5

Внешними зависимостями проекта были библиотека arduino для работы с модулем считывателя RFID, библиотека Python twx.botapi для взаимодействия с Telegram и библиотека PySerial для чтения / записи данных через последовательный порт с помощью Python. Библиотеки Python можно установить с помощью диспетчера пакетов pip.

Все исходные коды проекта доступны в следующем репозитории GitHub:

github.com/pichiliani/CoCoA

Шаг 4: Подключение компонентов

Архитектура дизайна CoCoA основана на плате DragonBoard 410C, Arduino NodeMCU 8622, считывателе карт RFID, светодиодах, кнопках и звуковом динамике. Он также интегрируется с ботом Telegram под названием ProjectCoCoABot, который отправляет сообщение со сгенерированным звуком при каждом нажатии одной из кнопок. Посмотрите рисунок на этом шаге, чтобы получить полное представление обо всей архитектуре решения.

Начните с подключения считывателя RFID и светодиодов к Arduino, а затем загрузите код в папку / CocoaNodeMCUServer этого репозитория GitHub. Схемы подключения светодиодов и считывателя RFID показаны на рисунках, иллюстрирующих этот шаг.

Далее нам нужно подключить кнопки к карте DragonBoard. На рисунках этого шага есть диаграмма и таблицы, в которых показаны соответствующие порты и проводные соединения, которые необходимо подключить.

Шаг 5: Создание контактных площадок

Следующими должны быть созданы площадки, содержащие символы. Существует несколько символов и систем невербального общения, но мы можем использовать PECS. В этой системе есть несколько символов, которые можно распечатать и разместить на планшетах.

Подушечки представляют собой небольшие кушетки размером 10х10 см, наполненные хлопком. Важно не забыть разместить один тег RDID внутри каждого пэда, чтобы вы могли идентифицировать каждый пэд и соответствующий ему звук.

Мы поместили один и тот же символ дважды на лицевую сторону каждой панели: один с изображением вверх и один вниз. Таким образом, пользователь жилета может увидеть, какой символ был нажат. Обязательно прикрепите липучку к задней части подкладки, чтобы вы могли прикрепить / отсоединить ее в жилете.

Шаг 6: Сборка жилета

Следующий этап - строительство жилета. Мы использовали форму мужского детского жилета и сделали надрезы на ткани, чтобы получилась подкладка. По этим ссылкам мы можем найти чертежи жилетов, которые вы можете распечатать.

marlenemukaimoldeinfantil.com.br/2017/02/0…

cuttingecosting.com/Pap%20collect.html

Важно определить место на передней панели, где будут установлены накладки. В этих местах следует поставить детали на липучках, чтобы колодки правильно поместились. По-прежнему в передней части мы можем сделать отверстия, чтобы разместить светодиоды прямо над подушками.

Рядом с подушкой в жилете нам нужно разместить светодиоды и каждую из кнопок. Важно установить кнопки так, чтобы они находились точно за застежкой-липучкой на жилете. Таким образом, как только пользователь нажимает на центр подушки, он / она нажимает на «жесткую» часть подушки (тег RFID) и нажимает кнопку.

Рекомендуем закрепить все внутренние части жилета (светодиоды, резисторы, кнопки и провода) горячим клеем. Соединение проводов можно производить припоем + изолентой. Еще одна альтернатива, чтобы избежать сварки - горячий клей или использование прозрачного лака для ногтей.

Следующая часть - построить небольшие карманы для хранения компонентов каждой подушки. Также создайте карман на передней части жилета ближе к талии, чтобы держать динамик. Рекомендуется надеть несколько лямок на липучке, чтобы придать одежде упругость.

Провода, которые будут соединять светодиоды и кнопки каждой сенсорной области, должны быть сгруппированы по два. Таким образом у нас будет шесть полос по два кабеля в каждой. Обратите внимание, что каждый кабель имеет два провода: положительный и отрицательный. Важно отметить порядок кабелей и то, какой компонент подключается к каждому кабелю (светодиод или кнопка). Мы рекомендуем надевать лямки на две группы по три человека.

После того, как кабели и провода подключены, мы можем закрыть жилет, поместив подкладку. Наконец, создайте горизонтальный карман на задней части жилета для размещения электронных плат (NodeMCU и DragonBoard), звукового USB-разъема и аккумулятора, который будет подключать DragonBoard. Рекомендуется использовать небольшой футляр, чтобы лучше удерживать платы и кабели.

Шаг 7: Последние штрихи и тестирование

После того, как ремни жилета уже прикреплены к спине, вы должны выполнить соединения с досками. Требуется 12 соединений для кнопок (6x2) и 12 соединений для светодиодов.

Требуется дополнительная осторожность при подключении проводов, передающих сигнал заземления (GND), к светодиодам, так как все шесть контактов светодиодов должны быть подключены к одному проводу. Точно так же контакты кнопок заземления (GND) должны быть подключены к одному проводу.

Наконец, подключите ключ к USB-порту и подключите адаптер к динамику, который должен быть помещен в передний карман жилета. Подключите USB-кабель к NodeMCU и другому USB-порту карты DragonBoard 410c. Наконец, подключите аккумуляторный блок к контакту питания и запустите программу CoCoaServer.py на плате DragonBoard как sudo (используйте штекер SSH или подключите монитор + клавиатура + мышь непосредственно к плате):

$ sudo python CoCoaServer.py

При каждом нажатии кнопки на консоли платы появляется сообщение, воспроизводится соответствующий звук и загорается светодиод, связанный с пэдом.

Шаг 8: ссылки

Ссылки на альтернативную коммуникацию: приложение для озвучивания символов Proloquo2Go

Саба М. П., Филиппо Д., Перейра Ф. Р., Соуза П. Л. П. (2011) Эй, да: Тактильное предупреждение, которое можно носить для поддержки общения глухих людей. В: Vivacqua A. S., Gutwin C., Borges M. R. S. (ред.) Сотрудничество и технологии. CRIWG 2011. Конспект лекций по информатике, том 6969. Springer, Berlin, Heidelberg. DOI 10.1007 / 978-3-642-23801-7_17

Используемые библиотеки Python:

PySerial

Twx.botapi

Информация о плате DrabonBoard 410c

Пример использования считывателя RFID Arduino

Формы для детских жилетов

marlenemukaimoldeinfantil.com.br/2017/02/07…

cortandoecosturando.com/Pap%20colete.html