Начало работы с камерой M5StickV AI + IOT: 6 шагов (с изображениями)

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:51

Краткий обзор

M5StickV - это крошечная камера AI + IOT размером почти в 2 монеты, цена составляет около 27 долларов США, что для некоторых может показаться дорогим для такой крошечной камеры, но у нее есть некоторые приличные характеристики. Камера оснащена невероятно мощным ИИ-чипом машинного обучения Kendryte K210, периферийной вычислительной системой на кристалле с двухъядерным 64-битным процессором RISC-V и современным процессором нейронной сети, что делает ее идеальной и готовой к работе. использовать для:

• Распознавание / обнаружение лиц
• Обнаружение / классификация объектов
• Получение размеров и координат цели в реальном времени
• Получение типа обнаруженной цели в реальном времени
• Распознавание формы
• Симулятор игры

M5StickV поставляется в красивой упаковке, содержащей сам M5StickV и кабель USB-A - USB-C.

Аппаратные особенности

SoC - двухъядерный 64-разрядный процессор RISC-V Kendryte K210 @ 400 МГц с двумя независимыми FPU двойной точности, 8 МБ встроенной SRAM, процессор нейронной сети (KPU) @ 0,8 вершины, программируемый массив ввода-вывода (FPIOA) и более

• Хранилище - флеш-память 16 МБ, слот для карты microSD
• Дисплей - 1,14-дюймовый SPI-дисплей с разрешением 240 × 135 (драйвер ST7789)
• Камера - VGA (640 × 480) камера через датчик OV7740
• Аудио - MAX98357 усилитель моно аудио, динамик
• Датчик - 3-осевой гироскоп MPU6886, 3-осевой акселерометр
• USB - 1x порт USB-C для питания и программирования
• Разное - Передняя и боковые кнопки (A / B), кнопка питания, светодиод RGBW
• Расширение - 4-контактный порт «CONNEXT»
• Источник питания
• Аккумулятор 200 мАч
• AXP192 PMIC

Более подробную спецификацию можно найти на официальном сайте M5Stack. Прежде всего, нам необходимо скачать последнюю версию прошивки.

Шаг 1: Как записать прошивку на M5StickV

• Подключите M5StickV к компьютеру с помощью кабеля Type-C.
• Загрузите последнюю версию прошивки для M5StickV по этой ссылке.

Для Windows:

Есть 3 метода записи прошивки для ОС Windows:

Использование инструмента EasyLoader

1. Выберите правильный COM-порт
2. Нажмите Burn
3. После завершения обновления прошивки вы увидите, что она успешно записана.

Использование графического интерфейса Kflash

1. Откройте загруженную прошивку с помощью кнопки Open File.
2. Выберите плату как M5StickV
3. Нажмите Скачать

Используя командную строку

• Проверьте COM-порт вашего M5StickV в диспетчере устройств Windows.
• В Windows у вас должен быть Python3 с установленным pip3, а также пакет pyserial. Вы можете скачать последнюю версию Python с официального сайта.
• Откройте командную строку от имени администратора и введите следующую команду

pip3 установить kflash

После завершения установки выполните следующую команду

kflash.exe -p COM3 M5StickV_Firmware_1022_beta.kfpkg

Для Linux:

• Использование графического интерфейса Kflash
• Используя терминал

Выполните следующую команду на терминале:

sudo pip3 установить kflash

Использование образа прошивки Kflash burn

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Для MacOS:

Откройте терминал и выполните следующую команду

sudo pip3 установить kflash

Если вы получили сообщение об ошибке после установки, попробуйте следующую команду:

sudo python -m pip установить kflash

sudo python3 -m pip install kflash sudo pip install kflash sudo pip2 install kflash

Введите следующую команду

sudo kflash -b 1500000 -B goE M5StickV_Firmware_1022_beta.kfpkg

Шаг 2: первая загрузка M5stickV

Для MacOS и Linux:

1. Откройте утилиту установки экрана терминала для MacOS и Linux.
2. Его можно установить следующей командой:

sudo apt-get экран установки

Используя экранную утилиту, подключитесь к M5stickV через последовательную связь

экран sudo / dev / ttyUSB0 115200

Он напечатает:

[MAIXPY] Pll0: freq: 832000000 [MAIXPY] Pll1: freq: 398666666 [MAIXPY] Pll2: freq: 45066666 [MAIXPY] cpu: freq: 416000000 [MAIXPY] kpu: freq: 398666666 [MAIXPY] Flash: 0x ядро… gc heap = 0x80215060-0x80295060 [MaixPy] init end _ _ _ _ _ _ _ _ | / / | / / | _ _ | / \ / / | _ / \ / / / | / / | / / | | / V / | | _) | / \ _ / / | | / / | | / / / \ | | > <| _ / / / | | | | / _ / _ | | _ /. / | | | | | _ | | _ | / _ / / _ / | _ | / _ / / _ / | _ | | _ | M5StickV от M5Stack: https://m5stack.com/ M5StickV Wiki: https://m5stack.com/ Кооператив от Sipeed: https://m5stack.com/ [MAIXPY]: result = 0 [MAIXPY]: numchannels = 1 [MAIXPY]: samplerate = 44100 [MAIXPY]: byterate = 88200 [MAIXPY]: blockalign = 2 [MAIXPY]: bitspersample = 16 [MAIXPY]: datasize = 158760 init i2c2 [MAIXPY]: find ov7740

При подключении он автоматически войдет в пользовательский интерфейс Maixpy. Теперь на устройстве работает программный код по умолчанию, вы можете завершить его, нажав Ctrl + C

Для Windows

1. Скачайте PuTTY - бесплатный клиент SSH и telnet для Windows
2. Установите и откройте PuTTY
3. Выберите COM-порт и скорость передачи
4. Нажмите кнопку «Открыть», и вы получите тот же экран, что и выше.
5. Завершите его, нажав Ctrl + C.

Шаг 3. Распечатайте пример Hello World на дисплее M5StickV

Введите следующие команды в свой терминал MacOS и Linux. Для Windows используйте PuTTY

import lcdlcd.init () lcd.draw_string (100, 100, "привет, мир", lcd. RED, lcd. BLACK)

Шаг 4: MaixPy IDE

MaixPY IDE - это клонированная версия OpenMV IDE. M5StickV поддерживает среды разработки OpenMV и MicroPython.

• Загрузите MaixPy IDE отсюда.
• Установите MaixPy IDE
• Запустите MaixPy IDE
• Выберите модель отладочной платы - Инструменты-> Выбрать плату-> M5StickV.
• Нажмите зеленую кнопку «Подключить» в нижнем левом углу и выберите последовательный порт USB, нажмите «ОК».
• Когда цвет кнопки подключения изменится с зеленого на красный, подключение выполнено успешно.
• Нажмите кнопку «Выполнить» в нижнем левом углу, чтобы выполнить код и проверить его.
• Щелкните вкладку последовательного терминала ниже.
• Наконец, вы увидите результат в окне MaxPy.

Шаг 5: Распознавание лиц с помощью M5StickV

• По умолчанию модель распознавания лиц и программный код уже предустановлены. Вот как это работает.
• Пример с распознаванием лиц работает довольно хорошо.
• Чтобы иметь возможность использовать другие модели, нам нужно записать его во флэш-память M5StickV с помощью kflash_gui. Остальные модели можно скачать здесь. Существует предварительно обученная модель мобильной сети, которая предварительно обучена распознавать 1000 объектов. Он может легко обнаруживать многие предметы повседневного обихода.
• Скопируйте приведенный ниже код в MaixPy IDE.

import sensorimport image import KPU as kpu sensor.reset () sensor.set_pixformat (sensor. RGB565) sensor.set_framesize (sensor. QVGA) sensor.run (1) task = kpu.load (0x300000) anchor = (1.889, 2.5245, 2.9465), 3.94056, 3.99987, 5.3658, 5.155437, 6.92275, 6.718375, 9.01025) a = kpu.init_yolo2 (задача, 0.5, 0.3, 5, привязка) while (True): img = sensor.snapshot () code = kpu.run_yolo2 (task, img) если код: для i в коде: print (i) a = img.draw_rectangle (i.rect ()) a = kpu.deinit (task)

• Нажмите кнопку Run, и плата отобразит видео в реальном времени с камеры на MaixPyIDE.
• Точность довольно хорошая, учитывая, что мы запускаем его на плате за 27 долларов. Это действительно впечатляюще и революционно.

Шаг 6: Заключение

Однако эта плата не идеальна, в ней отсутствуют аналоговые входы, микрофон, Wi-Fi и Bluetooth. Тем не менее, это отличная камера с возможностями искусственного интеллекта, которую можно использовать для распознавания лиц, обнаружения объектов или форм и многих других действий по обнаружению. Кроме того, это отличный набор для разработчиков, чтобы начать работу с ядром Kendryte K210 RISC-V.

Я надеюсь, что вы нашли это руководство полезным, и спасибо, что прочитали. Если у вас есть вопросы или отзывы? Оставьте комментарий ниже. Будьте на связи!