Персональный тренер английского языка - голосовой помощник AI: 15 шагов

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:51

Этот проект поможет студентам, которые готовятся к любому лингвистическому экзамену, где они могут пройти обучение, взаимодействуя с Snips AI.

Шаг 1: история

Почему мы это построили?

Исходя из моего личного опыта, я видел, как многие люди готовились к различным лингвистическим тестам, таким как GRE, TOEFL, IELTS. Им нужен человек, который поможет им запоминать и понимать слова. Как правило, когда человек готовится к любым таким экзаменам, ему нужен человек, который проверяет и исправляет ошибки. С помощью этого решения мы можем сократить трудозатраты за счет использования голосового помощника.

Шаг 2: Сборка оборудования

Прежде всего, я хотел бы поблагодарить SNIPS и SEEED за поддержку этого проекта с помощью потрясающего комплекта для разработки голосового взаимодействия Snips (базовый комплект), я действительно почувствовал себя информативным, используя эту плату и смог реализовать некоторые из сложных проектов, интегрированных в печатную плату.

Вы можете приобрести базовый комплект для голосового взаимодействия Snips за 115 долларов и спутниковый комплект для голосового взаимодействия Snips за 85 долларов.

Шаг 3: Начало работы с СНИПС

Прежде чем начать, давайте рассмотрим, что вам понадобится.

• Raspberry Pi 3B / B + (рекомендуется) или Pi 2 Model B (поддерживается).
• Кабель Micro-USB и адаптер питания Micro-USB для Raspberry Pi.
• Карта Micro SD (минимум 8 ГБ) - для начала работы требуется операционная система. Вы можете скачать Raspbian Stretch и использовать руководства для Mac OS, Linux и Windows на веб-сайте Raspberry Pi.
• USB-клавиатура и мышь и внешний монитор HDMI - мы также рекомендуем иметь под рукой USB-клавиатуру и мышь, а также монитор HDMI.
• Интернет-соединение (Ethernet или WiFi)

Базовый комплект для голосового взаимодействия Snips

Наборы для разработки голосового взаимодействия Snips позволяют пользователям быстро приступить к разработке голосовых интерфейсов и легко интегрировать голосовую платформу Snips AI с оборудованием. Snips запускаются на устройстве, что означает, что все ваши голосовые команды и данные обрабатываются локально, а не отправляются в облако. Эта обработка на устройстве приводит к созданию полностью безопасного автономного голосового помощника, который сохраняет ваши личные данные в тайне, как и должно быть.

Базовый комплект голосового взаимодействия позволяет запускать всю голосовую платформу Snips AI. Работая на Raspberry Pi 3 Model B + и ReSpeaker 2-Mics Pi HAT, он может работать как ваш домашний умный динамик. Вместе с комплектом идет динамик, датчик температуры и влажности Grove (SHT31), реле Grove и подставка, чтобы повесить его на стену или создать изящную подставку.

Но это не все! Спутниковый комплект голосового взаимодействия расширит вашу базовую станцию до каждой комнаты вашего дома и позволит вам взаимодействовать с оборудованием в зависимости от того, где вы отдаете свои команды!

Этот комплект содержит плату Raspberry Pi3 B +, ReSpeaker 2-Mics Pi HAT, Grove - Relay, Grove - Датчик температуры и влажности (SHT31), динамик 6 Ом, 2 Вт, карту MicroSD, адаптер питания с разъемом Micro USB, кабель Grove x 2, акриловую основу панель.

Этапы сборки: (Содержание из СНиПС) На следующем рисунке представлен обзор сборочных деталей.

Здесь сборочные детали монтируются на опорной панели.

Затем все электронные компоненты устанавливаются на плату.

После этого установите акриловую защитную крышку поверх Grove-Relay.

Эти 2 части используются для превращения набора в настольную подставку.

Наконец, вы готовы играть со Snips.

В комплекте предусмотрено два способа размещения. Его можно разместить на горизонтальной поверхности, например на подставке, или повесить на стену с помощью проволоки или ниток. Будьте осторожны с реле, когда комплект включен, так как рабочее напряжение будет высоким.

ПРИМЕЧАНИЕ: у нас также есть спутниковый комплект для голосового взаимодействия Snips, в котором вместо Raspberry Pi 3B + есть ноль Raspberry Pi.

Шаг 4: взаимодействие с Snips AI (базовый проект)

• Включите комплект с помощью адаптера питания по умолчанию, входящего в комплект, или используйте адаптер постоянного тока 5 В-2 А с разъемом Micro USB.
• Следующим шагом будет установка помощника Snips в Raspberry Pi. Чтобы сэкономить время на настройку, карта MicroSD в комплекте имеет полный функциональный образ системы, что означает, что помощник Snips готов к вашим триггерным словам.
• Мы настоятельно рекомендуем вам изучить пошаговое руководство по установке, посетив: https://docs.snips.ai/getting-started/quick-start… и изучить инструмент sam в командной строке.
• Запустите помощника, сказав «Эй, ножка», и выполните команду:

Вы можете найти видео примера, предварительно установленного в базовом комплекте Snips Voice Interaction ниже.

Шаг 5: взаимодействие с Snips AI (Project AI)

Вот как это работает. Во-первых, мы используем горячее слово, чтобы инициировать распознавание фрагментов. Он понимает предложение с помощью Snips NLU и определяет намерение. Затем, используя намерение, извлеките слоты соответственно. С помощью кода действия мы программируем ответ AI в соответствии с слотами.

Шаг 6: Создание приложения и намерений

• Создайте Ассистента. В моем случае я создал помощника с именем JARVIS и горячим словом JARVIS.
• Создайте собственное приложение или для новичков используйте приложение из библиотеки.
• Я создал приложение с названием Words
• Создайте намерение и начните тренировать ИИ. Это играет важную роль в повышении надежности вашего ИИ. Тренируйте его со всеми возможными входами.
• Создайте слот для обозначения слов. Поместите ячейку в ожидаемую фразу предложения. В моем примере givenword - это имя слота, выделенное синим цветом.
• Как только это будет сделано, ваш собственный ASR будет готов. Попробуй с входами. Мы можем найти ответ справа от вас, под помощником. Это дает вам извлечение необработанного значения, имени намерения и слота.
• Определите слоты с дополнительными примерами, как указано ниже
• Наконец, разверните своего помощника, чтобы испытать свой персонализированный ИИ.

Шаг 7: запишите Raspbian на SD-карту

Raspbian - это предпочтительный дистрибутив Linux, работающий на Raspberry Pi. В этом руководстве мы будем использовать версию Lite, но также можно использовать версию для ПК (которая поставляется с графической средой).

• Скачайте Etcher и установите его.
• Подключите устройство чтения SD-карт с SD-картой внутри.
• Откройте Etcher и выберите на своем жестком диске файл Raspberry Pi.img или.zip, который вы хотите записать на SD-карту.
• Выберите SD-карту, на которую хотите записать изображение.
• Проверьте свой выбор и нажмите "Вспышка!" чтобы начать запись данных на SD-карту

Подключите устройство к вашей сети

• Включите доступ по SSH, добавив пустой файл ssh, снова помещенный в корень загрузочного тома на SD-карте.
• Вставьте SD-карту в Raspberry Pi. Он загрузится примерно через 20 секунд. Теперь у вас должен быть SSH-доступ к вашему Raspberry Pi. По умолчанию его имя хоста будет raspberrypi.local. На вашем компьютере откройте окно терминала и введите следующее:

ssh [email protected]

Пароль по умолчанию - малиновый.

Шаг 8: Установите платформу Snips

Если вы еще этого не сделали, установите Sam Command Line Interface на свой компьютер. Откройте окно терминала и введите:

sudo npm install -g snips-samor npm install -g snips-sam // Windows

Найдите свой Raspberry Pi в сети, запустив:

Сэм устройства

Далее устанавливаем соединение с устройством. Вам будет предложено ввести имя пользователя и пароль устройства (по умолчанию pi и raspberry соответственно):

Сэм коннект

Теперь мы готовы установить платформу Snips на Raspberry Pi. Введите команду:

Sam init

Шаг 9: Настройте оборудование

Сэм предоставляет несколько команд для простой установки и настройки аппаратных компонентов. В этом разделе мы настроим динамик и микрофон. В зависимости от вашей настройки необходимо выполнить некоторую индивидуальную настройку.

Сэм настраивает аудио

Протестируйте динамик

Чтобы проверить работу динамика, запустите

Сэм тестовый спикер

Если все работает нормально, вы должны услышать в динамике голос, произносящий несколько слов. Настройте микрофон Вы можете проверить, что ваш микрофон работает:

Сэм тестовый микрофон

Предполагая, что у вас есть динамик, если вы четко слышите то, что только что сказали, вы можете продолжить без дополнительной настройки микрофона.

Убедившись, что настройка вашего оборудования работает, вы готовы перейти к следующему шагу, на котором вы развернете своего первого помощника.

Шаг 10: Импорт модели AI из консоли

После того, как вы создали своего помощника из предыдущих шагов, войдите в консоль из окна терминала, запустив:

Сэм логин

Вам будет предложено ввести свои учетные данные Snips Console.

Далее устанавливаем помощника:

Сэм помощник по установке

Если вы создали несколько помощников в консоли, вам будет предложено выбрать из списка, какой из них установить.

Шаг 11: Обработчик и код действий

Чтобы Raspberry Pi отреагировал, нам нужно будет написать код обработчика. Это код, который выполняется, когда на платформе Snips происходит определенное событие, например, при обнаружении намерения.

У вас есть разные методы для создания обработчика в зависимости от функции.

Создайте на своем компьютере папку, в которой вы хотите сохранить код обработчика. В окне терминала перейдите в этот каталог и введите:

npm init

Это создаст файл с именем package.json, который содержит описание вашего проекта, зависимости и многое другое. Затем добавьте зависимость пакета mqtt:

npm install mqtt --save

Теперь создайте файл с именем index.js и вставьте следующий код, заменив переменную hostname на имя хоста вашего Raspberry Pi (если оно отличается от raspberrypi по умолчанию):

var mqtt = require ('mqtt');

var hostname = "mqtt: //raspberrypi.local"; var client = mqtt.connect (имя хоста); client.on ('connect', function () {console.log ("[Журнал фрагментов] Подключено к брокеру MQTT" + имя хоста); client.subscribe ('hermes / #');}); client.on ('сообщение', функция (тема, сообщение) {if (topic === "hermes / asr / startListening") {onListeningStateChanged (true);} else if (topic === "hermes / asr / stopListening") {onListeningStateChanged (false);} else if (topic.match (/ hermes / / hotword / /.+ / / detect / g)! == null) {onHotwordDetected ()} else if (topic.match (/ hermes / /intent\/.+/g)! == null) {onIntentDetected (JSON.parse (сообщение));}}); функция onIntentDetected (намерение) {console.log ("[Журнал фрагментов] Обнаружено намерение:" + JSON.stringify (намерение)); } function onHotwordDetected () {console.log («[Журнал фрагментов] Обнаружено ключевое слово»); } функция onListeningStateChanged (прослушивание) {console.log ("[Snips Log]" + (прослушивание? "Старт": "Стоп") + "прослушивание"); }

Запустите этот код с помощью Node:

узел index.js

Вы должны увидеть сообщение об успешном подключении к брокеру Snips MQTT. Как и раньше, выполните голосовое взаимодействие с Raspberry Pi:

Привет, Снипс, какая погода в Ченнаи?

Вы должны увидеть обновление журналов:

[Snips Log] Подключено к брокеру MQTT mqtt: //raspberrypi.local

[Журнал фрагментов] Обнаружено ключевое слово [Журнал фрагментов] Начать прослушивание [Журнал фрагментов] Прекратить прослушивание [Журнал фрагментов] Обнаружено намерение: {"sessionId": "c84b5aa5-3f14-4218-975e-8872b9217933", "customData": null, "siteId ":" по умолчанию "," ввод ":" какая погода в Ченнае "," намерение ": {" intentName ":" searchWeatherForecast "," вероятность ": 0,73845243}," слоты ": [{" rawValue ":" chennai "," value ": {" kind ":" Custom "," value ":" Chennai "}," range ": {" start ": 44," end ": 53}," entity ":" locality ", "slotName": "прогноз_локальность"}]}

Шаг 12: Устранение неполадок

Удалите предыдущего помощника, если он есть

$ sudo rm -rf / usr / share / snips / assistant /

Чтобы изменить каталог на помощника

cd / var / lib / snips / skills /

Клонировать содержимое репо на локальный

git clone

Чтобы запустить сценарий setup.sh

./setup.sh

Активировать виртуальную среду

источник venv / bin / активировать

Запустите код действия

./action-.py

Чтобы дать разрешение скрипту Python

chmod + x действие-.py

Шаг 13: корпус

• Для этого проекта я использовал корпус с классом защиты IP.
• Во-первых, я проделал необходимые отверстия для крепления схем и разъемов для кабеля питания и кабеля HDMI.
• Затем я поместил все Raspberry Pi внутрь корпуса и плотно прикрутил.
• Я сделал небольшое отверстие для динамика и микрофона и прикрыл его небольшим куском акрилового листа.
• Надежно подсоедините динамик к шляпе ReSpeaker.
• Наконец, все винты надежно закреплены, и кабель питания вставляется через прорезь.
• Вот так наконец выглядит ИИ: D

Шаг 14: Работа ИИ

Вы можете найти данные, которые отслеживаются с помощью Snips-watch

Теперь пришло время шоу. Я начал делать простые поздравления с AI. Посмотрите, как он работает.

AI Trainer был запрограммирован на ограниченное количество слов. Это можно расширить с небольшими изменениями. Это помогает ученикам запоминать значение быстрее, чем при использовании традиционного метода.

Доброе внимание: Этот проект обучен примерно на 25 слов. Его можно расширить, внеся небольшие изменения в код действия.

Вы можете найти скрипты действий в моем репозитории Github.

Репозиторий проекта для AI Greetings -

Репозиторий проекта для тренера AI -

Ссылка на Мое приложение:

Вся установка стоит около 115 долларов, которые можно купить в СНИПС, и это решение очень дешево и эффективно по сравнению с традиционными методами. Примерно более 100 000 тестов было проведено в Индии, и этот продукт станет лучшим дополнением для тех, кто принимает GRE.

Поднимите палец вверх, если это действительно помогло вам, и подписывайтесь на мой канал за интересными проектами.:) Поделитесь этим видео, если хотите. Рад, что вы подписались: https://console.snips.ai/store/en/skill_xBKlxnE5K… Спасибо за чтение!