Добавление звука запуска триггера в Google AIY Voice Kit: 6 шагов (с изображениями)

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:53

Этот учебник довольно прост. Мне очень нравится голосовой набор Google AIY, но мне очень нравится мой обычный Google Home, шум, который они издают, чтобы подтвердить, что они активно слушают. Это не установлено по умолчанию ни в одном из примеров, которые предварительно загружены в образ AIY Voice Kit.

Я также включаю ссылку на стандартные шумы Start и Confirm, которые я записал с моего настоящего Google Home с помощью своего рекордера Zoom.

Вот и началось мое первое обучение!

Шаг 1. Необходимые материалы и файлы

1. Полнофункциональный голосовой комплект Google AIY - чтобы настроить свой комплект, посетите официальную страницу AIY Voice Kit.
2. Возможность доступа к терминалу вашего Pi через SSH, VNC или с помощью монитора и клавиатуры.
3. . Wav файл, который вы хотите воспроизвести, когда Pi прослушивает голосовой ввод. Если пользовательский файл не используется, загрузите стандартный файл St art Talking здесь или загрузите его по прикрепленной ссылке.
4. (Необязательно) Аудио редактор, который может конвертировать файлы и изменять их бит и частоту дискретизации.

Шаг 2: Шаг 2: просмотрите файл Voicehat.py для получения дополнительной информации

ВАЖНЫЙ

Я не использую последнее изображение в своем голосовом комплекте, которое включает код для набора Voice и Vision (например, aiyprojects-2018-01-03.img). Я использую код из ветки Voice Kit, который можно найти на GitHub Google AIY Raspbian. Мое личное мнение - просто использовать ветку Voice Kit, чтобы она была простой и вам не приходилось иметь дело с кодом Vision, когда вы работаете со своим голосовым комплектом

Двигаемся дальше…

Этот шаг не является полностью обязательным, но он покажет вам, где Google похоронил инструкции для того, чтобы это работало, если вы хотите сделать еще один шаг или понять, почему код, который я добавляю, работает.

пи @ малина: cd AIY-voice-kit-python / src / aiy /

Затем мы собираемся проверить файл voicehat.py в этой папке:

пи @ малина: ~ / AIY-voice-kit-python / src / aiy / sudo nano voicehat.py

На прилагаемом рисунке показано, где можно узнать об интерфейсах состояния и о том, как использовать звук во время триггера.

Хорошо, теперь давайте добавим код в один из файлов примеров, чтобы эта штука заработала.

Шаг 3: Шаг 3: Добавьте звуковой код триггера в демонстрационный код

Сначала перейдите в папку AIY-voice-kit-python и запустите исходный код.

компакт-диск AIY-voice-kit-python

исходный env / bin / активировать

cd src

Затем используйте sudo nano в файле assistant_grpc_demo.py или assistant_library_demo.py

Разница между двумя файлами заключается в том, что assistant_grpc_demo.py использует кнопку для запуска Google Assistant, а assistant_library_demo.py использует слово активации «Окей, Google» для запуска Google Assistant.

Для обоих этих файлов вам нужно добавить только ОДНУ строку кода:

status_ui.set_trigger_sound_wave ('/ home / pi / googlestart.wav')

Предполагается, что вы поместили свой стартовый звук в папку / home / pi / и назвали его googlestart.wav. Измените их в зависимости от того, как вы назвали свой файл и где бы вы его ни находили.

Строка кода, которую мы ищем, находится ниже:

status_ui.status ('прослушивание')

Мы хотим добавить нашу новую строку кода ПЕРЕД этой строкой кода …

Для примера "assistant_library_demo.py" его можно найти здесь:

elif event.type == EventType. ON_CONVERSATION_TURN_STARTED:

# А теперь добавляем наш код status_ui.set_trigger_sound_wave ('home / pi / googlestart.wav') status_ui.status ('прослушивание')

Для примера "assistant_grpc_demo.py" его можно найти здесь:

button.wait_for_press ()

# А теперь добавляем наш код status_ui.set_trigger_sound_wave ('/ home / pi / googlestart.wav') status_ui.status ('прослушивание')

Предполагается, что вы поместили свой стартовый звук в папку / home / pi / и назвали его googlestart.wav. Измените их в зависимости от того, как вы назвали свой файл и где бы вы его ни находили.

Нажмите CTRL-X и Y, чтобы все сохранить.

*** ПРИМЕЧАНИЕ: я нашел что-то немного глупое. Для 'assistant_library_demo.py' добавление звука триггера, похоже, не влияет на функцию распознавания речи. Однако для «assistant_grpc_demo.py» кажется, что когда у вас реализован звук триггера, он обрезает первое или два слова, которые вы говорите. Не совсем уверен, почему. Все еще пытаюсь понять это.

Шаг 4. Шаг 4. Запустите код и убедитесь, что все в порядке

пи @ малина: cd AIY-voice-kit-python

и загрузите virtualenv

pi @ raspberry: ~ / AIY-voice-kit-python $ исходный код env / bin / activate

и запускай!

(env) pi @ raspberry: ~ / AIY-voice-kit-python $ src / assistant_library_demo.py

или

(env) pi @ raspberry: ~ / AIY-voice-kit-python $ src / assistant_grpc_demo.py

Теперь скажите «Окей, Google» или нажмите эту кнопку и посмотрите, работает ли это!

Следующая страница поможет вам, если у вас есть собственный пользовательский файл и соответствующие биты и частота дискретизации для вашего файла.wav.

Шаг 5: Шаг 5: Создайте свой собственный файл.wav

Если вас не интересует мой.wav-файл со стандартным стартовым звуком Google Home, вам нужно создать свой собственный.wav-файл. Чтобы получить правильный бит и частоту дискретизации, мне потребовалось немного проб и ошибок.

Я использовал Logic Pro X для всего своего редактирования (на фото), который представляет собой полноценную DAW для создания и производства музыки. Я нашел два подходящих варианта: Switch или MediaHuman Audio Converter. Я предполагаю, что вы могли бы сделать это с помощью Garageband, если у вас есть Mac, но я этого не пробовал.

Для работы с демонстрационным кодом необходимы три ключевые части вашего файла.

1. Должен быть аудиофайл в формате MONO
2. Частота дискретизации должна быть 32000
3. Должен быть файл.wav.
4. (Необязательно) 16-битное разрешение мне подошло лучше всего

Шаг 6: Шаг 6: Добавление звука подтверждения?

Вот где я застрял, если у кого-то есть мысли. Я хотел бы добавить шум подтверждения, если система распознает голосовой ввод, как на обычном Google Home.

Для вашего удобства я приложил ниже шум подтверждения.

Наслаждаться!