PiTextReader - простой в использовании читатель документов для людей с ослабленным зрением: 8 шагов (с изображениями)

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:52

Обзор

Обновление: короткое демонстрационное видео:

PiTextReader позволяет людям с ослабленным зрением «читать» текст с конвертов, писем и других предметов. Он делает снимки изображения элемента, преобразует его в обычный текст с помощью OCR (оптического распознавания символов), а затем произносит текст с помощью преобразования текста в речь.

Reader разработан так, чтобы быть максимально простым в использовании. Нет необходимости в Интернете, нет графического интерфейса, только одна кнопка. Просто поместите предмет для чтения на подставку и нажмите кнопку. Через несколько секунд им снова зачитают текст.

Я разработал это для пожилого родителя с проблемами зрения, такими как дегенерация желтого пятна, но может использоваться в более широком смысле для всех, кто хочет, чтобы печатный текст был переведен в звуковую речь.

Доступно множество читателей, но большинство из них стоят тысячи долларов или предназначены для тех, кто технически подкован, и им требуется подключение к Интернету и использование смартфона. Этот считыватель разработан как полностью автономный, без Интернета и без интерфейса, кроме большой кнопки.

Плюсы

• Одна кнопка для управления
• Не требуется подключение к Интернету
• Нет графического пользовательского интерфейса для навигации
• Общая стоимость менее 100 долларов США
• Всегда готов к работе

Минусы

• OCR может быть ограничено шрифтами, цветами, размером текста и т. Д.
• Речь звучит как Стивен Хокинг
• Лучше всего подходит для небольших участков черного текста на белой бумаге.

Шаг 1. Аппаратное обеспечение

• Raspberry Pi 3 (нужна мощность!)
• 8 ГБ + карта micro SD
• Блок питания постоянного тока 5v 2A для Raspberry
• Камера Raspberry Pi (обычная или без ИК)
• 24-дюймовый кабель камеры Raspberry Pi
• Крепление для камеры или чехол https://www.adafruit.com/product/3253 или
• Инструмент регулировки объектива (для фокусировки камеры)
• Монофонический динамик с питанием от USB (желательно крошечный размер!)
• Большая кнопка - мгновенная со светодиодной подсветкой
• Резистор 330 Ом для светодиода над кнопкой
• Деревянная коробка 8 дюймов x 8 дюймов x 2 дюйма от Майклса или других крупных магазинов товаров для искусства.
• Древесный лом для изготовления подставки для фотоаппарата:
• 8”Lx1” Wx1 / 2”T плоская полоса
• 5”Lx1” Wx1 / 4”T плоская полоса
• Квадратный дюбель 6”Lx1 / 2” x1 / 2”для направляющей установки
• Винты, клей, проволока, припой и т. Д.

Шаг 2: Конструкция оборудования

Используя коробку 8 "x8":

1. Просверлите сзади отверстие для шнура питания.

2. Просверлите отверстие в правом переднем углу для кнопки фиксации 3. Просверлите отверстие (а) для динамика. (см. звуковой шаг 12 ниже)

4. Для крепления камеры я использовал кусок алюминиевой ленты 2 x 1/4 x 13 дюймов, но деревянные полоски тоже подойдут.

а. Установите 8-дюймовую плоскую деревянную планку на заднюю часть крышки коробки. (убедитесь, что он прикреплен к крышке, а не к дну коробки, иначе вы не сможете его открыть!)

б. Закрепите 5-дюймовую плоскую деревянную планку поверх 8-дюймовой вертикали с помощью винтов и клея. ОБРАТИТЕ ВНИМАНИЕ, что высота камеры определяет размер документа и необходимый фокус. Возможно, вы захотите пойти выше для документов большей площади.

5. Вырежьте прорезь размером 1 дюйм x 1/16 дюйма в верхней части коробки рядом с вертикалью 8 дюймов, через которую будет проходить кабель камеры.

ПРИМЕЧАНИЕ. Что касается электроники, я предлагаю НЕ устанавливать компоненты на постоянной основе, чтобы вы могли легко выполнить регулировку.

6. Подключите 24-дюймовый кабель камеры к камере. НЕ ПОДКЛЮЧАЙТЕСЬ К МАЛИНЕ.

Шаг 3. Продолжение аппаратного обеспечения…

7. Установите камеру лицевой стороной вниз от конца 5-дюймовой деревянной планки. Я предлагаю подождать, прежде чем класть камеру в футляр, чтобы вам было легче сфокусировать объектив во время работы!

Для начальной фокусировки используйте инструмент регулировки и поверните объектив против часовой стрелки на 1/4! перемена.

8. Протяните кабель камеры через слот и прикрепите его к Pi. (Убедитесь, что Pi выключен!)

9. Установите кнопку без фиксации и подключите провода между ней и контактами 24 GPIO Pi и GND. И подключите светодиод кнопки через резистор 220 Ом к контактам 18 Pi GPIO и GND.

10. Вставьте блок питания в коробку и подключите к Pi. Вам необходимо использовать устройство для снятия натяжения, например термоклей или что-то подобное, чтобы закрыть отверстие в коробке, чтобы кабель не мог выдергиваться.

Шаг 4. Установка аудиооборудования…

11. Для звука я использовал монофонический динамик с питанием от USB и аудиоразъемом с мини-разъемом. Я вынул электронику и динамик из оригинального пластикового корпуса и подключил аудиоразъем к аудиоразъему Pi, а кабель USB - к Pi USB. Я также заменил оригинальный крошечный динамик на более крупный 3-дюймовый динамик для гораздо лучшего качества звука.

Поскольку я установил динамик под крышкой коробки, я просверлил несколько небольших отверстий в форме решетки динамика.

12. Наконец, проверьте соединения, особенно кабель камеры и соединения GPIO.

ЕЩЕ НЕ ВКЛЮЧАЙТЕ ПИ. Сначала перейдите к настройке программного обеспечения…

Переключателя включения / выключения нет, так как предполагается, что Pi должен работать все время, поэтому он готов что-то немедленно прочитать. Он потребляет всего несколько ватт и может работать круглосуточно без выходных.

SD-карта может быть повреждена при отключении от сети или сбое питания, но это случается редко. У меня еще никогда не было незагружаемой SD-карты. Но не подключайтесь к удлинителю, который регулярно выключается / включается.

Шаг 5: Установка и конфигурация операционной системы

Отформатируйте карту microSD объемом 8 ГБ или больше с помощью Raspbian Jessie (или Stretch) Lite (без графического интерфейса для этого проекта).

www.raspberrypi.org/downloads/raspbian/

Вам нужно будет получить доступ к Raspberry удаленно через SSH. В Windows вы можете использовать терминальную программу PUTTY SSH. На Mac просто откройте окно командного терминала. Кроме того, вы можете временно подключить клавиатуру и монитор HDMI, чтобы собрать их, но SSH упрощает дальнейшую работу.

Знаете ли вы, что если вы устанавливаете Raspbian Jessie на SD-карту с помощью ПК с Windows, вы можете создать на карте два файла для настройки доступа Wi-Fi и SSH, прежде чем загружать его на Raspberry?

Для этого предположим, что ваша SD-карта в настоящее время смонтирована как K: на вашем ПК:

1) Установите последний образ Raspbian Jessie на SD. Для этого проекта должна работать Jessie Lite.

2) С помощью блокнота создайте файл с именем «ssh» и используйте команду «Сохранить как« все файлы »в K: / ssh. Файл может содержать что угодно. Важно имя файла. НЕ ДОЛЖЕН быть «ssh.txt» !!!

3) С помощью блокнота создайте файл с именем «wpa_supplicant.conf» со следующим:

ctrl_interface = DIR = / var / run / wpa_supplicant GROUP = netdevupdate_config = 1

network = {

ssid = "mySSID" psk = "mypassword" key_mgmt = WPA-PSK}

Используйте «Сохранить как все файлы» в K: / wpa_supplicant.conf. Опять же, не позволяйте Блокноте изменять его на «wpa_supplicant.conf.txt» !!

Когда вы загружаете Raspberry в первый раз, Джесси будет искать их и подключаться к вашему Wi-Fi. Однако вам придется искать IP-адрес на своем маршрутизаторе, поскольку он автоматически назначается с помощью DHCP.

Теперь все готово к установке на ваш Pi:

1. Вставьте карту microSD в Pi и подключите питание.

2. Чтобы удаленно войти в Raspberry Pi, вам нужно будет найти его IP-адрес. Ты можешь попробовать:

$ ssh [email protected]

Или из Putty введите имя хоста: [email protected]

В противном случае вам нужно будет посмотреть, будет ли ваш маршрутизатор отображать IP-адреса ваших локальных устройств.

После входа в систему как пользователь pi:

3. Обновите свою ОС Raspbian:

$ sudo подходящее обновление

$ sudo подходящее обновление

4. Настроить Raspberry и включить камеру:

$ sudo raspi-config

а. Изменить пароль пользователя

б. Параметры интерфейса -> Камера -> Включить

c. Заканчивать

d. Перезагрузить

Шаг 6: Установка прикладного программного обеспечения

Теперь снова войдите в свой Pi, и вы готовы к установке приложения PiTextReader.

1. Установите начальное необходимое программное обеспечение: $ sudo apt install git –y

2. Загрузите программное обеспечение:

$ cd / home / pi

$ git clone

$ cd PiTextReader

$ sh install.sh

При необходимости вы можете безопасно повторно запустить install.sh несколько раз.

3. Поместите простой документ для чтения и запустите тестовую программу, которая устанавливает громкость, воспроизводит звук в виде текста в речь и делает снимок.

$ sh test.sh

Если вы получаете какие-либо сообщения об ошибках, см. Раздел «Устранение неполадок» ниже. Отредактируйте программу test.sh, чтобы при необходимости отрегулировать громкость.

4. Тестовая программа сохраняет фотографию в «test.jpg». Вам нужно будет скопировать это изображение на ПК, чтобы вы могли видеть фокус и поле обзора. Быстрый и грязный способ сделать это - запустить крошечный веб-сервер на вашем Pi и использовать браузер:

$ python -m SimpleHTTPServer 8080 и

Затем перейдите по адресу https:// {IPaddress}: 8080 /

Нажмите на test.jpg

Используйте инструмент настройки объектива, чтобы сфокусировать камеру.

Повторно запускайте программу test.sh по мере необходимости.

ПРИМЕЧАНИЕ: если вам нужно отрегулировать настройки распечатанной камеры, вам также нужно будет отредактировать программу pitextreader.py с новыми настройками.

КАМЕРА = "raspistill -cfx 128: 128 --awb auto -rot 90 -t 500 -o /tmp/image.jpg"

5. $ sudo перезагрузка

Pi должен включиться и запуститься автоматически, готовый к работе.

Шаг 7: Эксплуатация

Когда вы загрузите Pi, вы услышите «OK Ready», а также увидите, как загорится индикатор кнопки.

Когда светодиод горит, устройство готово к работе.

Положите под камеру печатный текст, желательно всего несколько строк черного текста на белой бумаге.

Обратите внимание, что камере не нужно много света, особенно NoIR. Окружающий свет в комнате мне подходил. Слишком много света приводит к неравномерному освещению и искажению OCR.

Нажать на кнопку.

Должен загореться светодиод, должен прозвучать щелчок камеры и сообщение «Работает нормально».

Через несколько секунд текст должен быть прочитан. Если текст искажен, шрифт слишком темный или слишком светлый, перевернут или перевернут, то в результате получится жуткая речь!

Преобразование и начало чтения может занять от 5 до 30 секунд, так что наберитесь терпения. Чем больше текста, тем больше времени потребуется.

Если вам нужно прекратить чтение, вы можете нажать кнопку во время воспроизведения звука (светодиод не горит).

После того, как речь будет завершена, через пару секунд снова загорится светодиод, и вы снова услышите «ОК, готово». Готово к повторному сканированию.

Обратите внимание, что расстояние камеры установлено для камеры Raspi и только для части документа размером 8x10. Я обнаружил, что лучше всего читать по частям документа за раз, так как целые страницы бывает трудно слушать. Многие вещи, которые необходимо прочитать, представляют собой мелкий текст, поэтому, если камера находится слишком далеко, он не может разрешить.

Чтобы устранить неполадки, проверьте ниже, особенно в разделе СКАНИРОВАНИЕ И ОПИСАНИЕ

Если все в порядке, окончательно смонтируйте все компоненты, чтобы завершить строительство.

Шаг 8: Устранение неполадок

1. КАМЕРА

Убедитесь, что камера включена через

$ sudo raspi-config

Параметры интерфейса -> Камера

Переустановите ленточный кабель, поскольку это деликатно и необходимо точно выровнять. При необходимости погуглите «Устранение неполадок с камерой raspberry pi», чтобы найти похожие проблемы. Также погуглите сообщение об ошибке, которое вы получаете при запуске программы test.sh.

2. АУДИО

У тебя есть громкость?

$ sudo amixer -q sset PCM, 0100%

Запустить аудиотест

$ aplay /usr/share/sounds/alsa/Front_Center.wav

По-прежнему нет звука? Принудительно вывести звук из гнезда:

$ sudo raspi-config Дополнительные параметры -> Аудио -> Разъем для наушников

3. РЕЧЬ

Если звук выше звучит хорошо, попробуйте:

$ flite -t ТЕСТ

Сообщения об ошибках Google, если есть.

Перезапустите install.sh

Да, речь немного напоминает Стивена Хокинга.

4. СКАНИРОВАНИЕ И OCR

Это самая большая необходимая область настройки. Для правильной работы OCR необходимо, чтобы изображение с камеры было хорошего качества; документ должен быть хорошо освещен, но не обязательно ярко.

Текст должен быть ровным и четким. Не все шрифты читаются.

Чтобы проверить качество, изучите два файла:

/tmp/text.txt и /tmp/image.jpg

Вы можете запустить крошечный веб-сервер и использовать браузер:

$ cd / tmp $ python -m SimpleHTTPServer 8080 и

Текст на изображении должен быть простым и читабельным. Изображение должно быть правильным, контрастным, в фокусе. Возможно, вам придется перевернуть документ, если он перевернут. (напомните пользователю, что если он услышит гудение, попробуйте перевернуть документ.) Если изображение имеет плохой контраст, вам необходимо улучшить освещение, слишком много или слишком мало может вызвать проблемы. Неравномерное освещение также приведет к сбою частей текста. Дополнительную помощь можно получить, набрав «tesseract-ocr help».

5. HDMI-МОНИТОР / КЛАВИАТУРА

Да, вы можете подключить к Pi клавиатуру и монитор, особенно. если вы не можете найти IP-адрес или не можете получить доступ через SSH. Интерфейса графического интерфейса пользователя нет, и звук может отключиться, если на вашем мониторе нет динамика.

6. ИНТЕРНЕТ / WIFI

Если Wi-Fi не работает, вы можете временно подключить кабель Ethernet и использовать его.

После завершения установки и настройки этому проекту не требуется Интернет или Wi-Fi.