Часть 2. Модель ThinkBioT с Google AutoML: 8 шагов

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:51

ThinkBioT разработан по принципу «подключи и работай» с моделями TensorFlow Lite, совместимыми с Edge TPU.

В этой документации мы рассмотрим создание спектрограмм, форматирование данных и использование Google AutoML.

Код в этом руководстве будет написан на bash, поэтому он будет совместим с несколькими платформами.

Зависимости

• Однако перед началом вам необходимо установить Sox звуковую программу командной строки, совместимую с устройствами Windows, Mac и Linux.
• Если вы используете устройство Windows, самый простой способ запускать сценарии bash - через Git, поэтому я бы рекомендовал загрузить и установить его, поскольку он полезен во многих отношениях,
• Для редактирования кода используйте свой любимый редактор или установите NotePad ++ для Windows или Atom для других операционных систем.

** Если у вас есть существующая модель TensorFlow или вы хотите попробовать перенести обучение с существующей моделью, обратитесь к документации Google Coral.

Шаг 1. Настройте сегмент облачного хранилища Google

1. Войдите в свою учетную запись Gmail (или создайте ее, если у вас нет учетной записи Google)

2. Перейдите на страницу выбора проекта и создайте новый проект для файлов модели и спектрограммы. Вам нужно будет включить биллинг для дальнейшего продвижения.

3. Посетите https://cloud.google.com/storage/ и нажмите кнопку создания корзины вверху страницы.

4. Введите желаемое имя корзины и создайте корзину, приняв настройки по умолчанию.

Шаг 2. Отформатируйте данные и создайте набор данных CSV

Я разработал полезный сценарий для создания файла dataset.csv, необходимого для создания вашей модели. Файл набора данных связывает изображения в вашем сегменте с их метками в наборе данных.

1. Загрузите репозиторий ThinkBioT с GitHub и

2. Скопируйте файл tbt_spect_example.sh из каталога Tools в новую папку на рабочем столе.

3. Добавьте аудиофайлы, которые вы хотели бы использовать в своей модели, поместив их в папки с их метками (то есть так, как вы хотели бы, чтобы они были отсортированы. Например, если вы хотите идентифицировать собак или кошек, у вас может быть папка собака, со звуками лая ИЛИ папка с именем кошка со звуками кошки и т. д.

4. Откройте tbt_spect_example.sh с помощью Notepad ++ и замените «yourbucknamename» в строке 54 на имя вашего хранилища Google Storage Bucket. Например, если ваша корзина называется myModelBucket, строка будет изменена на

bucket = "gs: // myModelBucket / spectro-data /"

5. Запустите код, набрав следующее в терминале Bash, код запустится и создаст ваш csv-файл меток и каталог с именем spectro-data на вашем рабочем столе с результирующими спектрограммами.

ш tbt_spect_example.sh

Шаг 3. Загрузите свои спектрограммы в корзину

Есть несколько способов загрузки в Google Storage, самый простой - выполнить прямую загрузку папки;

1. Щелкните название корзины на странице Хранилища Google.

2. Нажмите кнопку «ЗАГРУЗИТЬ ПАПКУ» и выберите каталог «spectro-data /», созданный на последнем шаге.

ИЛИ

2. Если у вас есть большое количество файлов, вы можете вручную создать каталог «spectro-data /», выбрав «СОЗДАТЬ ПАПКУ», затем перейдите в папку и выберите «ЗАГРУЗИТЬ ФАЙЛЫ». Это может быть отличным вариантом для больших наборов данных, поскольку вы можете загружать спектрограммы по разделам, даже используя несколько компьютеров для увеличения скорости загрузки.

ИЛИ

2. Если вы опытный пользователь, вы также можете загружать файлы через Google Cloud Shell;

gsutil cp спектро-данные / * gs: // имя-вашего-ведра / спектро-данные /

Теперь у вас должно быть целое ведро с красивыми спектрограммами!

Шаг 4. Загрузите свой набор данных в формате CSV

Теперь нам нужно загрузить файл model-labels.csv в вашу директорию "spectro-data /" в Google Storage, по сути, это то же самое, что и на последнем шаге, вы просто загружаете один файл вместо многих.

1. Щелкните название корзины на странице Хранилища Google.

2. Нажмите кнопку «ЗАГРУЗИТЬ ФАЙЛ» и выберите файл model-labels.csv, который вы создали ранее.

Шаг 5. Создайте набор данных

1. Сначала вам нужно найти API AutoML VIsion, это может быть немного сложно! Самый простой способ - выполнить поиск "automl vision" в строке поиска вашего облачного хранилища Google (на фото).

2. После того, как вы нажмете ссылку API, вам нужно будет включить API.

3. Теперь вы окажетесь на панели инструментов AutoML Vision (на рисунке), нажмите кнопку нового набора данных и выберите «Одна метка» и «Выбрать файл CSV». Затем вы включите ссылку на свой файл model-labels.csv в свою корзину хранилища. Если вы следовали этому руководству, оно будет таким, как показано ниже.

gs: //yourBucketName/spectro-data/model-labelsBal.csv

4. Затем нажмите «Продолжить», чтобы создать набор данных. На создание может уйти некоторое время.

Шаг 6. Создайте свою модель AutoML

Получив электронное письмо с уведомлением о создании набора данных, вы готовы к созданию новой модели.

1. Нажмите кнопку ПОЕЗД.
2. Выберите тип модели: Edge и Оценка задержки модели: Edge TPU и оставьте другие параметры по умолчанию изначально, но вы можете поэкспериментировать с ними позже.
3. Теперь ваша модель будет обучена, это займет некоторое время, и вы получите электронное письмо, когда она будет готова к загрузке.

Примечание. Если кнопка тренировки недоступна, у вас могут возникнуть проблемы с набором данных. Если у вас меньше 10 экземпляров каждого класса (метки), система не позволит вам обучить модель, поэтому вам, возможно, придется добавить дополнительные изображения. Если вам нужны пояснения, стоит взглянуть на видео Google AutoML.

Шаг 7: Протестируйте свою модель

Получив электронное письмо о завершении модели, нажмите ссылку, чтобы вернуться к AutoML Vision API.

1. Теперь вы сможете просмотреть свои результаты и матрицу неточностей для вашей модели.

2. Следующий шаг - протестировать вашу модель, перейти к «ТЕСТИРОВАТЬ и ИСПОЛЬЗОВАТЬ» или «ПРОГНОЗИРОВАТЬ», как ни странно, кажется, есть 2 пользовательских графических интерфейса пользователя, оба из которых я изображал, но обе опции имеют одинаковую функциональность.

3. Теперь вы можете загрузить тестовую спектрограмму. Чтобы создать единую спектрограмму, вы можете использовать программу tbt_make_one_spect.sh из ThinkBioT Github. Просто поместите его в папку с wav, который вы хотите преобразовать в спектрограмму, откройте окно Git Bash (или терминал) и используйте приведенный ниже код, подставив свое имя файла.

sh tbt_make_one_spect.sh yourWavName.wav

4. Теперь просто загрузите спектрограмму и проверьте результат!

Шаг 8: установите вашу модель в ThinkBioT

Чтобы использовать новую блестящую модель, просто поместите модель и текстовый файл в папку CModel;

pi> ThinkBioT> ClassProcess> CModel

Теперь вы готовы использовать ThinkBioT:)

** NB ** Если вы используете свою модель вне фреймворка ThinkBioT, вам нужно будет отредактировать документ метки, добавив элементы в начало каждой строки, поскольку встроенная функция "readlabels" последних интерпретаторов tflite предполагает, что они там есть. Я написал специальную функцию classify_spect.py во фреймворке ThinkBioT как работу, которую вы можете использовать в своем собственном коде:)

def ReadLabelFile (путь к файлу):

counter = 0 с open (file_path, 'r', encoding = 'utf-8') как f: lines = f.readlines () ret = {} для строки в строках: ret [int (counter)] = line.strip () counter = counter + 1 return ret