SEER - Интеллектуальный персональный помощник на основе InternetOfThings: 12 шагов (с изображениями)

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:53

Seer - это устройство, которое будет играть роль ускорителя в области умных домов и автоматизации. По сути, это приложение Интернета вещей.

SEER - это 9-дюймовый беспроводной динамик с функцией громкой связи, созданный на основе Raspberry Pi 3 модели B со встроенной камерой, которой вы управляете с помощью голоса. SEER работает на веб-сервисах Amazon и требует USB-модема Hologram Nova для высокоскоростного подключения к Интернету. Чтобы инициировать команду, SEER должен услышать «пробуждающее слово». Слово по умолчанию - «SEER», хотя вы можете изменить его через наше приложение.

С SEER совместимое устройство может воспроизводить музыку, отвечать на вопросы, управлять светом и многое другое.

SECURITY-SEER - это новый подход к безопасности умного дома, автоматизации, голосового управления.

01 Seer автоматически подключает ближайших к вашему дому сотрудников полиции, пожарных и скорой помощи, предоставляя вам доступ в одно касание к соответствующим органам власти независимо от того, где вы находитесь. Благодаря видео и аудио свидетельствам происходящих краж со взломом ваш звонок получит заслуженный приоритет.

02 Автоматическое переключение режимов. Не надо возиться с клавиатурой или вообще вытаскивать? Ваш телефон. Провидец чувствует, когда вы приходите и уходите, и автоматически меняет режимы.

03 Качественное видео днем и ночью. Благодаря превосходному качеству видео от Seer, превосходному ночному видению и широкоугольному объективу 147 градусов вы всегда можете быть в курсе того, что происходит дома. Смотрите в прямом эфире в любое время и транслируйте полнометражные HD-клипы без дополнительной платы.

04 Конфиденциальность, которой можно доверять. Благодаря встроенной настройке конфиденциальности Seer позволяет полностью выключить камеру и микрофон в любое время. При записи Seer применяет обширные меры безопасности для защиты личных данных.

СИСТЕМА-

01 Seer воспроизводит всю вашу музыку из Spotify, Pandora, Heart Radio, TuneIn, Amazon Music и других, используя только свой голос. Всем нам нравится знать, как идут дела у наших любимых спортивных команд. С помощью Seer вы можете услышать подробности, такие как результаты и предстоящие расписания для ИНДИЙСКИХ видов спорта. Все, что вам нужно сделать, это сказать: «Провидец, дай мне мою спортивную информацию».

02 С помощью всего лишь голоса вы можете управлять своим светом. Вы можете попросить Seer включить или выключить все индикаторы или изменить цвет ваших индикаторов каждый раз, когда на вашем устройстве Seer воспроизводится новая песня.

03 Если вы не работаете из дома, условия движения к месту работы - важная деталь, которую нужно знать каждый день. К счастью, Seer поможет вам избежать пробок.

04 Domino's Pizza теперь позволяет заказывать еду, просто отправив твит. Благодаря IFTTT эта функция была дополнительно автоматизирована, так что вы можете заказывать пиццу своим голосом. Для этого вы должны использовать IFTTT и иметь учетную запись Twitter.

05 Да, вы можете делать заказы в Uber с помощью нашего Провидца. Для этого нам нужно добавить возможности в приложение Seer. Выберите Навыки в главном меню приложения. Найдите «Uber» и выберите «Включить навык». Вы должны «Принять и включить», чтобы Uber мог получить доступ к местоположению вашего устройства.

06 Это золото для людей с особыми способностями, так как те, кто не видит, должны страдать от многодневной суеты, в качестве руки помощи у нас есть навык, который в зависимости от настроения он поет, говорит, болтает и много кобыл, чего хочет человек.

07 С помощью Seer вы можете создавать будильники, напоминания, даже звонки, сообщения, отвечать на них и создавать полноценную среду умного дома.

08 Помощь Слабовидящим / пожилым людям соединиться с миром, предоставив им доступ к Википедии, Gmail, музыке, новостям, калькулятору с голосовым управлением.

Шаг 1: необходимое оборудование

Прежде чем начать, давайте рассмотрим, что вам понадобится.

Raspberry Pi 3 (рекомендуется) или Pi 2 Model B (поддерживается)

Голограмма Global IoT SIM-карта

Голограмма Huawei E303 / 353 USB сотовый модем

STEVAL-STLKT01V1 - Используя ST Microelectronics STEVAL-STLKT01V1, мы создадим умную камеру безопасности, которая уведомит вас, когда кто-то посторонний войдет в ваш магазин / дом. STEVAL-STLKT01V1, датчики движения будут использоваться для обнаружения движения на 360 градусов, а затем Raspberry Pi 3B с помощью двигателя будет двигаться в этом направлении и делать фотографии и автоматически информировать заинтересованных лиц. через приложение для Android мы можем следить за происходящим и вызывать скорую помощь. Подставка Sensor Tile Cradle с зарядным устройством, датчиком влажности и температуры, слотом для карты памяти SD, портом USB Подключается к Pi и отправляет данные в голосовые службы Amazon.

Кабель питания Micro-USB для Raspberry Pi.

Карта Micro SD (минимум 8 ГБ) - для начала вам понадобится операционная система. NOOBS (New Out of the Box Software) - это простой в использовании менеджер установки операционной системы для Raspberry Pi. Самый простой способ получить NOOBS - это купить SD-карту с предустановленной NOOBS - предварительно загруженную карту Micro SD Raspberry Pi 8 ГБ (NOOBS). Кроме того, вы можете загрузить и установить его на SD-карту (следуйте инструкциям здесь).

USB 2.0 Mini Microphone - Raspberry Pi не имеет встроенного микрофона; для взаимодействия с Alexa вам понадобится внешний для подключения.

Внешний динамик с аудиокабелем 3,5 мм.

USB-клавиатура и мышь, а также внешний монитор HDMI - мы также рекомендуем иметь под рукой USB-клавиатуру и мышь, а также монитор HDMI, если вы не можете удаленно (SSH) подключиться к вашему Pi.

Беспроводной адаптер Wi-Fi для Pi 2. Примечание: Pi 3 имеет встроенный Wi-Fi. В качестве дополнительной награды мы покажем вам, как удаленно (SSH) подключиться к вашему устройству, устраняя необходимость в мониторе, клавиатуре и мыши - и как отслеживать журналы для устранения неполадок.

Шаг 2: подключите Raspberry Pi к сотовой сети с помощью модема Huawei E303

Raspberry Pi - отличная платформа IoT, и еще лучше с сотовым подключением к Интернету.

Наличие сотовой связи на вашем Raspberry Pi может открыть для вас целый мир других интересных проектов. Везде, где Wi-Fi может быть недоступен, теперь вы можете подключиться к Интернету.

Просто следуйте этим простым инструкциям:

• Установите последнюю версию Raspbian, следуя инструкциям на сайте Raspberry Pi.
• Вставьте SIM-карту Hologram в модем Huawei, сдвинув крышку и вставив ее контактами вниз. Учтите, что требуется размер мини-SIM-карты.
• Подключите модем к Raspberry Pi и загрузите Pi
• Откройте окно терминала и введите ifconfig. Вы должны увидеть запись для eth1, как показано на изображении.
• Типыudo dhclient eth1 для присвоения модему внутреннего IP-адреса.
• Откройте веб-браузер на Pi и перейдите по адресу
• Перейдите на страницу управления профилем в настройках модема и создайте новый профиль. Вы захотите установить APN на «голограмму» и оставить поле имени пользователя и пароля пустыми, как показано на изображении.
• Затем перейдите на страницу «Мобильное подключение» и убедитесь, что для сети установлено значение «Авто» и включен роуминг.
• Теперь модем должен подключиться к сотовой сети (вы увидите, что светодиод на модеме загорится, когда он успешно подключится).
• Попробуйте выполнить эхо-запрос или перейдите на веб-сайт (например, https://hologram.io/test.html). Теперь вы можете делать все, что захотите, через Интернет.
• Модем сохранит ваши настройки APN, поэтому вам не нужно настраивать его снова.
• Более новые версии Raspbian не нуждаются в дополнительной настройке для автоматического установления соединения при подключении платы, но если у вас возникнут проблемы, добавьте эти строки в / etc / network / interfaces

разрешить hotplug eth1

iface eth1 inet Dhcp

Шаг 3: настройка вашего Pi

Если на вашем Pi еще не установлен Raspbian Jessie, следуйте нашему руководству - Настройка Raspberry Pi - которое проведет вас через загрузку и установку Raspbian Jessie и подключение оборудования (если вы не знакомы с Raspberry Pi, мы настоятельно рекомендуем вы следуете приведенному выше руководству, чтобы подготовить свой Pi, прежде чем двигаться дальше).

Шаг 4. Зарегистрируйте учетную запись разработчика Amazon

Если у вас его еще нет, создайте бесплатную учетную запись разработчика на сайте developer.amazon.com. Вы должны ознакомиться с Условиями и соглашениями AVS здесь.

Шаг 5. Создайте профиль устройства и безопасности

Следуйте приведенным здесь инструкциям, чтобы зарегистрировать продукт и создать профиль безопасности.

Обратите внимание на следующие параметры. Они понадобятся вам на шаге 5 ниже.

• ProductID (также известный как идентификатор типа устройства),
• ClientID и
• ClientSecret

Важно: убедитесь, что ваши URL-адреса разрешенного происхождения и разрешенного возврата установлены в разделе Профиль безопасности> Настройки Интернета (см. Раздел Создание профиля устройства и безопасности):

• Разрешенное происхождение: https:// localhost: 3000
• Разрешенные URL-адреса возврата: https:// localhost: 3000 / authresponse

Шаг 6. Клонируйте образец приложения

Откройте терминал и введите следующее:

cd Desktopgit clone

Шаг 7. Обновите сценарий установки своими учетными данными

Перед запуском сценария установки вам необходимо обновить сценарий учетными данными, полученными на шаге 3 - ProductID, ClientID, ClientSecret. Введите в терминал следующее:

cd ~ / Desktop / alexa-avs-sample-appnano automatic_install.sh

Вставьте значения ProductID, ClientID и ClientSecret, полученные на шаге 3 выше. Изменения должны выглядеть следующим образом:

• ProductID = "RaspberryPi3"
• ClientID = "amzn.xxxxx.xxxxxxxxx"
• ClientSecret = "4e8cb14xxxxxxxxxxxxxxxxxxxxxxxxxxxxx6b4f9"

Введите ctrl-X, а затем Y, а затем нажмите Enter, чтобы сохранить изменения в файле.

Шаг 8: запустите сценарий установки

Теперь вы готовы запустить сценарий установки. Это установит все зависимости, включая два механизма пробуждения от Sensory и KITT. AI.

Примечание. Сценарий установки установит все файлы проекта в папку, из которой запускается сценарий. Чтобы запустить сценарий, откройте терминал и перейдите в папку, в которую был клонирован проект. Затем выполните следующую команду:

cd ~ / Рабочий стол / alexa-avs-sample-app. automatic_install.sh

Вам будет предложено ответить на несколько простых вопросов. Это поможет убедиться, что вы выполнили все необходимые предварительные условия, прежде чем продолжить.

Когда мастер запустится, идите и возьмите чашку кофе - это займет около 30 минут.

Шаг 9. Запустите веб-службу, образец приложения и механизм пробуждения Word

Теперь, когда установка завершена, вам нужно запустить три команды в 3 отдельных окнах терминала:

• Окно терминала 1: для запуска веб-службы для авторизации
• Окно терминала 2: для запуска примера приложения для связи с AVS
• Терминальное окно 3: для запуска механизма пробуждения, который позволяет вам начать взаимодействие, используя фразу «Alexa».

Примечание. Эти команды необходимо запускать по порядку.

Окно терминала 1

Откройте новое окно терминала и введите следующие команды, чтобы вызвать веб-службу, которая используется для авторизации вашего образца приложения с помощью AVS:

cd ~ / Desktop / alexa-avs-sample-app / samplescd companionService && npm start

Теперь сервер работает на порту 3000, и вы готовы к запуску клиента. См. Раздел «Авторизация в обзоре API», чтобы узнать больше об авторизации.

Окно терминала 2

Откройте новое окно терминала и введите следующие команды для запуска примера приложения, которое взаимодействует с AVS:

cd ~ / Рабочий стол / alexa-avs-sample-app / samplescd javaclient && mvn exec: exec

См. Раздел «Интерфейсы обзора API», чтобы узнать больше о сообщениях, отправляемых в / из AVS.

Давайте рассмотрим следующие несколько шагов, относящихся к Window

1. При запуске клиента должно появиться окно с сообщением - Пожалуйста, зарегистрируйте свое устройство, посетив следующий URL-адрес в веб-браузере и следуя инструкциям:

localhost: 3000 / Provision / d340f629bd685deeff28a917. Хотите, чтобы URL-адрес автоматически открывался в браузере по умолчанию?

Нажмите «Да», чтобы открыть URL-адрес в браузере по умолчанию.

2. Если вы используете Raspbian Jessie на рабочем столе Pixel (и в браузере Chromium), вы можете получить предупреждение от браузера. Вы можете обойти это, нажав Advanced -> Proceed to localhost (небезопасно).

3. Вы попадете на страницу входа с помощью Amazon. Введите свои учетные данные Amazon.

4. Вы попадете на страницу авторизации разработчика, подтверждающую, что вы хотите, чтобы ваше устройство получило доступ к ранее созданному профилю безопасности. Нажмите «ОК».

5. Теперь вы будете перенаправлены на URL, начинающийся с

6. Вернитесь в приложение Java и нажмите кнопку ОК. Теперь клиент готов принимать запросы Alexa.

Окно терминала 3

Примечание. Пропустите этот шаг, чтобы запустить то же приложение без механизма пробуждения.

Этот проект поддерживает два сторонних движка пробуждающих слов: TrulyHandsFree от Sensory и Snowboy от KITT. AI. Параметр -e используется для выбора агента и поддерживает два значения для {{engine}}: kitt_ai и sensory.

Откройте новое окно терминала и используйте следующие команды, чтобы вызвать механизм пробуждения от Sensory или KITT. AI. Механизм пробуждения слов позволит вам инициировать взаимодействие, используя фразу «Алекса».

Чтобы использовать механизм слова сенсорного пробуждения, введите -

cd ~ / Desktop / alexa-avs-sample-app / samplescd wakeWordAgent / src &&./wakeWordAgent -e сенсор

или введите это, чтобы использовать механизм пробуждения KITT. AI -

cd ~ / Desktop / alexa-avs-sample-app / samplescd wakeWordAgent / src &&./wakeWordAgent -e kitt_ai

Теперь у вас есть работающий прототип AVS с функцией громкой связи! Используйте следующие ресурсы, чтобы узнать больше о доступных механизмах пробуждения слов:

• Сенсорный
• KITT. AI

Шаг 10: поговорите с Алекса

Теперь вы можете поговорить с Alexa, просто используя слово для пробуждения «Alexa». Попробуйте следующее -

Скажите «Алекса» и дождитесь звукового сигнала. Теперь скажите "сколько времени?" Скажите «Алекса» и дождитесь звукового сигнала. Теперь спросите: "Какая погода в Сиэтле?" Если хотите, вы также можете нажать кнопку «Слушать» вместо использования слова пробуждения. Нажмите один раз на кнопку «Слушать», после того, как отпустите кнопку, дождитесь звукового сигнала, прежде чем начать говорить. Может пройти секунду или две, прежде чем вы услышите звуковой сигнал.

Шаг 11: как выйти из примера приложения

См. Пример инструкций по выходу из приложения.

Шаг 12: оставьте голову без головы и избавьтесь от монитора, клавиатуры и мыши

Теперь, когда у вас запущен прототип AVS, вы можете избавиться от монитора, клавиатуры и мыши. Вы можете сделать это с помощью SSH и VNC.