Google Glass для бедняков / Помощь тем, у кого есть туннельное зрение: 5 шагов (с картинками)

Этот проект транслирует видео в реальном времени с камеры «рыбий глаз» на носимый проекционный дисплей. Результатом является более широкое поле зрения на меньшей площади (дисплей сопоставим с 4-дюймовым экраном на расстоянии 12 дюймов от вашего глаза и выводит изображение с разрешением 720p). Основная цель - предоставить больше пространственной осведомленности людям с пигментным ретинитом (сокращенно RP), дегенеративным заболеванием глаз, которое приводит к туннельному зрению (это сравнимо с постоянным просмотром рулона туалетной бумаги). При этом, поскольку проект основан на RPi, существует огромный диапазон возможных приложений (некоторые из которых будут обсуждены в конце).

Список материалов:

(1) Raspberry Pi Zero (5 долларов США) (Raspberry Pi Zero W также работает)
(1) Карта Micro SD для Raspberry Pi (8 долларов США) (обычная карта Micro SD, ничего особенного. Рекомендуемый минимум 8 ГБ для хранения)
- RPi Externals: (они вам не нужны, если они у вас уже есть или у вас есть другая модель RPi)
  - (1) USB-адаптер (5 долларов США)
  - (1) Кабель Mini HDMI-HDMI (6 долларов США) (при достаточно хорошем зрении Vufine можно использовать в качестве монитора, что устраняет необходимость в этом кабеле)
(1) Носимый дисплей Vufine (200 долларов США)
(1) Ленточный кабель Micro-Mini HDMI (10 долларов США) (Производство прекращено, см. Маркировку ниже)
- Адаптеры HDMI
  
  (Тип C и тип D; мы надеемся указать модель позже в эти выходные (сегодня 2 марта 2018 г.)) (Adafruit также продает эти разъемы, но они дороже)
- Ленточный кабель HDMI
(2) Микрокабель USB (1-5 долларов каждый) (всего 2 обычных кабеля micro USB, ничего особенного)
(1) Камера Fish-Eye для Raspberry Pi (25 долларов США)
(1) Кабель камеры Raspberry Pi (8 долларов США)
(1) Набор маленьких галстуков на молнии (3 доллара США)

Общая стоимость: ~ 265 долларов США (зависит от того, что у вас уже есть и сколько вы платите за доставку)

Список инструментов:

Кусачки
Устройства для зачистки проводов (для проводов сечением около 26 AWG)
Пистолет для горячего клея (и клей-карандаш для указанного пистолета для горячего клея)
Клавиатура
Экран (должен поддерживать HDMI, но опять же, при достаточно хорошем зрении Vufine можно использовать в качестве монитора)
Паяльник (и припой)
X-Acto нож

Личное примечание:

На этот проект вдохновила моя бабушка. Ей давно поставили диагноз РПЖ, и с годами ее зрение ухудшилось. Недавно она решила отказаться от своей собаки-поводыря, Вентуры (по прозвищу Сеймур, игра слов) из-за возраста. Хотя это могло облегчить жизнь в некоторых аспектах, я уверен, что это сделало другие вещи более тривиальными (например, прогулку по торговому центру). Я уже какое-то время подумывал о создании такого устройства, но не было доступных (по разумной цене) экранов. Все изменилось, когда я нашел Vufine. Это отличная компания с отличным продуктом, и нет, мне не платят за это; это действительно хорошая компания. Что касается моей бабушки, она сообщила, что это устройство почти удвоило ее поле зрения (с точки зрения диаметра, а не площади).

Обновлять:

Я построил это с помощью модуля Vufine, настроенного для левого глаза (моя бабушка полностью ослепла на правый глаз), поэтому могут возникнуть некоторые проблемы для тех, кто строит это для правого глаза (ничего особенного, просто смена ориентации для некоторых части). При этом Vufine любезно прислал мне модуль для правого глаза, чтобы я мог продолжить этот проект и исправить эти проблемы. Как только я это сделаю, я обновлю это руководство.

Шаг 1. Настройка Raspberry Pi

Настройка оборудования Pi:

Примечание: если у вас есть Raspberry Pi, отличный от RPi Zero (W или обычный), вы можете внести необходимые изменения в программное обеспечение с помощью этого Pi и перенести SD-карту в Pi Zero.

Второе замечание: на самом деле я не покупал какое-то оборудование, которое подключается к Pi; Вместо этого у меня удобная шляпа. При этом изображение выше - это то, как должна выглядеть ваша установка. Он не мой и взят отсюда.

Сначала подключим клавиатуру. Поскольку ваша клавиатура имеет USB-разъем типа A (вездесущий прямоугольный), а Pi Zero - нет, нам придется использовать USB-адаптер. Подключите USB-адаптер к USB-порту, ближайшему к середине платы. Затем подключите клавиатуру к USB-адаптеру. Другой порт USB будет использоваться для питания. Два верхних кабеля на картинке - это USB-кабели, причем самый верхний кабель обеспечивает питание.

Во-вторых, подключите кабель HDMI к порту mini HDMI на Pi и порту HDMI на экране (если вы решили использовать дисплей Vufine в качестве экрана, используйте ленточный кабель HDMI).

Настройка программного обеспечения Pi:

Этот процесс документирован повсюду, но официальное руководство находится здесь. Важно отметить несколько вещей: вы будете использовать купленную вами карту micro SD (у той, которую я выбрал, есть адаптер, чтобы вы могли прошить ее с помощью обычного компьютера), вы будете устанавливать Raspbian, и вы должны включить камеру. в меню конфигурации Raspberry Pi. Кроме того, НЕ следуйте инструкциям по запуску "startx". Если да, то ничего страшного, но сейчас вам понадобится мышь. Перейдите в командную строку (она должна выглядеть как черное окно на панели задач) и используйте ее (внутри этого окна должен появиться «pi @ raspberry ~ $»). Теперь выключим Raspberry Pi, выполнив:

sudo shutdown -h сейчас

Шаг 2: установка камеры

Физические соединения:

Во-первых, позвольте мне объяснить, как работают соединения ленточного кабеля. Чтобы подключить и отсоединить ленточные кабели, необходимо сначала поднять боковые выступы (для Pi Zero это направление наружу), что позволит соединителю в некоторой степени складываться и раскладываться, таким образом позволяя ленточному кабелю выходить. и из. Чтобы закрепить ленточный кабель на месте (и, таким образом, завершить процесс подключения), необходимо прижать складывающуюся часть разъема к кабелю и снова вставить язычки. Теперь кабель должен быть закреплен в разъеме. Чтобы посмотреть официальное видео о том, как это делается, щелкните здесь.

Важно отметить, что белый кабель, идущий в комплекте с камерой, не подходит для Pi Zero; не забудьте заменить его одним из кабелей с золотой лентой. Кроме того, убедитесь, что оголенная сторона кабеля направлена вниз, в Pi и платы камеры.

Программное обеспечение:

С программной точки зрения настройка камеры относительно проста. Чтобы транслировать видео прямо с камеры на HDMI, просто выполните следующую строку в терминале:

raspivid -t 0 -rot 0

Теперь камера должна транслироваться на ваш экран. Теперь остановите поток, нажав ctrl + c. Теперь мы будем выполнять ту же команду, но если вы купили стандартный модуль Vufine (настроенный для правого глаза), измените 0 после «-rot» на 90. Аналогичным образом, если вы купили дисплей Vufine, настроенный для левого глаза, измените значение 0 после "-rot" до 270.

Теперь, если вы поднесете камеру к дисплею Vufine так, как показано на фотографии, вы должны увидеть вертикальное изображение (на вашем экране, не обязательно в Vufine). Если ваше изображение перевернуто, попробуйте другой номер (270, если вы делали 90 раньше, и 90, если вы делали 270 раньше; вам все равно нужно нажать ctrl + c, чтобы выйти из потока).

После того, как вы правильно сориентируете поток камеры (с помощью программного обеспечения), мы захотим убедиться, что он запускается всякий раз, когда Raspberry Pi включается. Первый шаг - выполнить:

sudo nano /etc/rc.local

Теперь введите команду, аналогичную той, что вы выполнили ранее («/ usr / bin / raspivid -t 0 -rot 90/270»), в строках между «fi» и «exit 0» (оставьте ее в одной строке, как показано на рисунке). на картинке). Если вам нужно изображение с более низким разрешением и более высокой частотой кадров, используйте вместо этого "/ usr / bin / raspivid -t 0 -rot 90/270 -md 6". После ввода его следует сохранить, нажав ctrl + x, введя y (да, вы хотите сохранить его), а затем нажав клавишу ВВОД, чтобы сохранить его под тем же именем. Теперь вы должны вернуться в командную строку ("pi @ raspberry ~ $"). Наконец, вы можете протестировать, чтобы убедиться, что все работает, перезагрузив Raspberry Pi с помощью:

перезагрузка sudo

Если все работает, вы должны увидеть, как камера передает потоковое видео на выход HDMI в конце процесса загрузки.

Примечания:

После того, как все вышеперечисленное будет выполнено, вы можете рассмотреть возможность нанесения небольшого количества горячего клея на ленточный кабель / разъем как на камере, так и на Pi, чтобы убедиться, что он остается на месте. Это совершенно необязательно, и я на самом деле этого не делал.
Если у вас есть дисплей Vufine, настроенный для правого глаза, и вы выбираете его ориентацию по-другому (удобнее, если USB-порты Pi находятся внизу), верхняя сторона камеры будет слева, когда вы ее носите.
Камера на картинке уже установлена. Мы вернемся к этому позже.
Я хотел опубликовать изображение разъема камеры на Pi, но я не хочу снимать Pi, если я не могу его снова надеть, и я потерял все свои застежки-молнии (которые, как вы увидите, необходимы для установки на более позднем этапе), и я не уверен, когда в следующий раз смогу купить еще, поэтому я решил просто загрузить сейчас и обновить позже.

Шаг 3. Зарядка дисплея Vufine

У дисплея Vufine есть собственная батарея, но ее хватает всего на 90 минут, и хотя этого может быть достаточно для предполагаемого использования Vufine, для наших целей этого недостаточно. При этом мы можем заряжать Vufine во время его использования и, таким образом, продлевать срок его службы. Однако обычные USB-кабели довольно большие, и, поскольку мы хотим минимизировать вес, нам придется модифицировать один (делая его меньше и легче); мы сократим кабель USB до минимума.

Примечание. В оставшейся части этого шага подробно описано, как получить разъем от USB-кабеля. При этом я узнал об этих дешевых (по стоимости) USB-разъемах. Их использование позволит вам пропустить опасную часть снятия разъема с провода. У меня нет опыта работы с ними, но я обновлю эту инструкцию о том, как их использовать, когда я это сделаю.

Подготовка кабеля USB

Примечание: это, безусловно, самая опасная часть сборки. С острыми ножами следует проявлять особую осторожность.

Первый шаг в «минимизации» кабеля USB - это отрезать его примерно на 5 дюймов (я бы сказал, около 7 для конфигурации для правого глаза) от конца микро-USB. Затем зачистите провод до конца USB-разъема.

Теперь, что касается опасной части, вам придется срезать пластиковую оболочку с помощью ножа X-Acto. Я предлагаю использовать плоскогубцы или настольные тиски, чтобы удерживать вилку, пока вы ее разрезаете, чтобы свести к минимуму риск порезаться. Лучше всего отрезать его по боковым швам (они выглядят как линии), как показано на рисунке. Вы должны приложить приличную силу, чтобы вонзить нож в кожух. Через некоторое время одна сторона может «повернуться» наружу, и в зависимости от того, насколько она свободна, вы можете использовать плоскогубцы, чтобы оторвать остаток, а не отрезать его.

Завершение работы с USB-устройством

Как только у вас останется только металлическая деталь, вы должны удалить два средних провода (не красный и черный). Вы можете сделать это, отрезав их или используя паяльник, чтобы отсоединить их соединения и просто снять их (я предлагаю выполнить демонтаж, если у вас есть достаточный опыт). Затем нанесите немного горячего клея на основание проводов (там, где они встречаются с разъемом Micro USB), чтобы обеспечить изолятор и сохранить его в безопасности. Когда вы закончите, изображение должно выглядеть примерно так, как USB на картинке (хотя мы еще не подключили его к Pi).

Подключение к Pi

Этот шаг довольно прост. Все, что вам нужно сделать, это припаять красный провод к порту 5 В, а черный провод к контакту заземления (GND) на RPi. Чтобы узнать, какие именно порты, посмотрите изображение с красным прямоугольником на Pi. Чтобы посмотреть видео об основах пайки, нажмите здесь. Я предлагаю вам использовать горячий клей с обеих сторон Pi (где вы паяли), чтобы закрепить провода и обеспечить изолятор.

Шаг 4: Соединяем все это

Обеспечение Пи

На этом этапе поместите Pi напротив модуля Vufine так, чтобы порт камеры был рядом с передней частью, а разъемы USB (установленные на Pi) были обращены вниз и внутрь. Закрепите его двумя парами (по одной паре с каждой стороны) стяжек. Сделайте это, продев стяжку через одно из отверстий в верхнем углу пирога, обернув его вокруг Vufine (вниз) и пропустив через отверстие в нижнем углу на той же стороне, что и Pi. Затем возьмите еще один галстук-молнию и закрепите его на первом. Затяните его так, чтобы Pi был прижат к Vufine. Отрежьте оставшуюся часть стяжки для обеих стяжек (все для второй и часть, которая выступает из второй стяжки, для первой). Повторите этот шаг с другой стороной Пи.

Подключение вещей

Это, пожалуй, самый простой этап всей сборки. Подключите USB-кабель, который вы припаяли к Pi, к дисплею Vufine.

Горячее приклеивание соединителя

Магнит в магнитной док-станции недостаточно силен для наших целей, поэтому мы добавим немного горячего клея, чтобы усилить соединение. Присоедините модуль Vufine к магнитной док-станции, в которую он входит (не плюс), ремнем вверх (как показано на рисунке). Убедитесь, что он почти параллелен фактическому Vufine (вы все равно сможете регулировать положение дисплея, перемещая ремешок на очках). Нанесите приличное количество горячего клея как на верх, так и на низ. Дайте ему остыть, прежде чем двигаться дальше, чтобы убедиться, что он не застрянет в странном положении, прежде чем он затвердеет.

Подключение к сети, продолжение

Хотя эта часть не так проста, как первая часть, посвященная подключению, вам не стоит слишком сильно бороться. Просто подключите ленточный кабель HDMI к Vufine и Pi (борьба больше психологическая, чем физическая; вы справитесь. Я верю в вас).

Подключение камеры

Конфигурация левого глаза:

Это простая часть, но расположение камеры затрудняет описание словами. По сути, вы будете прикреплять камеру так, чтобы она была сбоку, а ленточный кабель петлял под ней. Посмотрите на картинку, чтобы понять, что я имею в виду. Прижмите его к экрану Vufine и закрепите в этом положении, нанеся горячий клей как сверху, так и снизу. Я бы не стал класть их по бокам, так как делать это только сверху и снизу достаточно для закрепления, а выполнение этого по бокам может предотвратить любую боковую регулировку как ленты, так и экрана Vufine.

Конфигурация правого глаза:

Я раньше не настраивал правый глаз (вернусь и отредактирую, как только это сделаю), но, по сути, вам нужно убедиться, что камера находится сбоку и в разумном положении над экраном. Верх (сторона, противоположная разъему) должен быть обращен влево (влево, когда вы его носите). Используйте горячий клей, чтобы прикрепить камеру к части экрана на модуле Vufine. Кроме того, вы можете использовать горячий клей (или стяжки), чтобы убедиться, что любой лишний ленточный кабель закреплен (дайте ему немного подветренной стороны для регулировки и постарайтесь не сминать ленту, поскольку она не предназначена для выдерживания высоких градусов вращения). Вы также можете вернуться к Шагу 2: Установка камеры, если вам нужно перенастроить поток камеры в результате изменения его физического положения.

Шаг 5: Фин

Включите это

Чтобы включить его, просто включите модуль Vufine, нажав серую кнопку на задней панели. Он должен начать мигать синим. Затем подключите Pi Zero к крайнему правому USB-порту (снаружи и обозначенному PWR IN). Теперь вы должны увидеть, что в дополнение к мигающему синему светодиоду на модуле Vufine загорится постоянный красный свет. Это означает, что Vufine заряжается. Кроме того, экран должен запуститься, и вы должны увидеть, как Pi выполняет процесс загрузки, а в конце идет поток камеры. Как только экран появится, мигающий синий свет на кнопке Vufine должен стать постоянным.

Примечание: если вы сначала включите Pi (а затем Vufine), ваш экран может выглядеть странно. Чтобы исправить это, выключите Pi, а затем снова включите.

Выключить это

Выключите RPi, отсоединив USB-порт, который обеспечивает его питанием. Чтобы выключить Vufine, вы можете либо дать ему выключиться самостоятельно (что будет происходить после непродолжительного приема сигнала), либо вы можете удерживать серую кнопку (с синим светодиодом) на Vufine до тех пор, пока синий светодиод погаснет. Я предпочитаю позволить ему выключиться, но вы делаете это сами.

Дальнейшие улучшения

Как сказано в аннотации, поскольку проект основан на Raspberry Pi, у проекта есть огромные возможности для развития. Для начала, вот несколько идей, которые у меня были:

Вы можете подключить его к беспроводной клавиатуре для удобного использования в качестве компьютера под управлением Linux. Я бы использовал такую клавиатуру (и мышь), и я бы подключил ее к процессу, подобному этому.

Также было бы здорово добавить такой интерфейс, основанный на движениях рук
Добавьте сбоку кнопки для сохранения изображений и видео, а также для увеличения и уменьшения масштаба.
Добавьте собственный выключатель питания (я говорю "родной", потому что в некоторые USB-кабели встроены переключатели)
Сделайте напечатанный на 3D-принтере футляр для всего.
Добавить аудиовыход
Добавить аккумуляторную батарею

Поместите его с другой стороны очков, это было бы удобным способом добавить противовес (вес на очках в настоящее время немного наклонен)
Создайте CNN (сверточную нейронную сеть) с выводом TTS (преобразование текста в речь) для звукового описания окружающей среды. Эта нейронная сеть может работать на Movidius Neural Compute Stick для большей вычислительной мощности.

Возможное использование использования гальванической вестибулярной стимуляции для экстренных маневров

Вы можете увидеть, как некоторые из этих идей реализуются на моей странице на github.

Примечание:

Возможно, позже добавлю еще несколько картинок. Если вам нужна какая-то конкретная фотография, пожалуйста, дайте мне знать, и я сделаю все, что в моих силах. То же самое относится к объяснениям; если вы хотите, чтобы я подробно остановился на чем-то, дайте мне знать, и я постараюсь это сделать.

Спасибо

Я многому научился у этого сообщества; Надеюсь, это поможет другим, поскольку многие из присутствующих здесь уже помогали мне раньше.
Опять же, это моя первая инструкция, и любая обратная связь будет очень признательна. Если кто-то что-то с этим сделает, дайте мне знать; Мне бы хотелось посмотреть, как это воспринимает сообщество.

Особое спасибо моей бабушке за все, что она сделала для меня на протяжении всей моей жизни. Я никогда не смогу вернуть тебе деньги, но обязательно постараюсь изо всех сил.

Первый приз в конкурсе Raspberry Pi 2017