AI с Grove Zero и Codecraft (Scratch 3.0): 5 шагов (с изображениями)

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:49

В этой статье мы собираемся создать три проекта, использующих функции искусственного интеллекта Codecraft, графической среды программирования, основанной на Scratch 3.0. Codecraft разработан и поддерживается TinkerGen education, и его можно использовать бесплатно.

Искусственный интеллект и его подмножество, машинное обучение, стали неотъемлемой частью нашей жизни за последние 10 лет. Школьные программы во многих странах включают знания в области искусственного интеллекта и машинного обучения, но среднему учителю может быть сложно создать материалы уроков для преподавания этой темы без правильных инструментов. Использование библиотек машинного обучения, даже самых удобных для пользователя, таких как Keras, для создания приложения, с которым студенты могут взаимодействовать, может быть трудоемкой и сложной задачей. Здесь может помочь Codecraft - он имеет богатый набор приложений на базе машинного обучения, которые преподаватель может использовать для объяснения и демонстрации концепций, связанных с искусственным интеллектом. Посмотрим на них!

Шаг 1. Обзор расширений AI

Откройте онлайн-редактор Codecraft по адресу

Нажмите на режим «Сцена», а затем на кнопку «Добавить расширение» в нижней части вкладки навигации по блокам.

Вы увидите, что доступно три расширения AI:

- Cognitive Services --- модели машинного обучения для обработки видео и звука в реальном времени.

- Обучаемая машина --- может использоваться для обучения классификационной модели с изображениями, сделанными с помощью вашей камеры.

- Translate --- использует машинное обучение для перевода

В этой статье мы сосредоточимся на Cognitive Services и использовании этих функций для управления оборудованием Grove Zero. Беспроводная связь между компьютером и Grove Zero все еще продолжается, и я обновлю статью, как только она станет доступна. На данный момент мы будем использовать проводное соединение для передачи сообщений между модулем Grove Zero и компьютером.

Шаг 2: играйте в Space Invaders своим носом

Для первой задачи мы будем использовать только этапный режим без какого-либо оборудования. В Codecraft есть множество примеров для начала программирования - один из таких примеров - программирование классической игры Space Invaders в режиме Codecraft Stage. Мы собираемся расширить этот пример и добавить возможность управлять внутриигровым бойцом с помощью носа с помощью когнитивных сервисов.

Нажмите кнопку "Примеры". Пример Open SpaceInvaders. Нам нужно изменить только ту часть, которая имеет отношение к движению. Для этого мы получим x-позицию носа на лице, обнаруженную в прямом видео, сохраним его в переменной pos. Затем, если значение pos больше 50, мы перемещаем нашего космического истребителя вправо, если оно меньше -50, мы перемещаем истребитель влево. Это оно. Попробуйте! Если вы чувствуете, что скорость движения истребителя слишком высока, вы можете изменить x на… блок на меньшее число.

Далее мы расширим эту функциональность, чтобы управлять машиной Grove Zero и заставлять ее двигаться вперед / назад / влево / вправо.

Шаг 3. Управляйте машиной Grove Zero с помощью Codecraft AI

Начнем с написания кода в режиме сцены - это часть, которая отвечает за анализ видеопотока и вывод команд в Grove Zero.

1) Выполняем код на первом скриншоте до тех пор, пока не будет нажата клавиша пробела. После этого отправляем команду остановки.

2) Внутри повторяем до блока, мы проверяем x-pos и y-pos носа обнаруженного лица и сохраняем их в соответствующие переменные.

3) Если абсолютное значение x-pos меньше 21 (то есть между -20 и 20, так что близко к центру изображения), тогда мы переходим к проверке y-pos, чтобы определить, должна ли машина двигаться вперед или назад.

4) В противном случае проверяем, должна ли машина ехать налево или направо.

Теперь перейдем на вкладку «Устройство» и напишем короткий код для машины Grove Zero. Мы будем использовать блок When I receive, который отвечает за прием внутренних широковещательных команд. Не путать с «Когда радио принимает», который используется для связи по Bluetooth. Подробности смотрите на скриншоте, код довольно прост.

Подключите собранный автомобиль Grove Zero к компьютеру и нажмите кнопку Connect в Codecraft. Переключитесь в режим онлайн-отладки - это позволит Grove Mainboard получать широковещательные команды по сети. Затем перейдите в сценический режим и нажмите на флаг. Теперь машина должна двигаться, попробуйте контролировать ее носом:)

Шаг 4: Следование по строке с помощью голосового управления

В автомобильном комплекте Grove Zero есть карта, которая изначально предназначена для мини-игры Collect the Coins. Мы можем перепрофилировать его для использования распознавания голоса в Codecraft, чтобы давать команду автомобилю, в какую сторону свернуть на перекресток.

Часть сценического режима здесь менее сложна, чем в предыдущем примере. Что мы делаем:

1) При получении широковещательного сообщения choose_direction распознать фрагмент речи и сохранить его в переменной результата.

2) Продолжайте распознавать, пока результат НЕ станет неизвестным.

3) Сравните результат с двумя строками - «слева» и «справа». Передайте соответствующее сообщение машине Grove Zero.

Код, работающий в машине Grove Zero, на этот раз немного сложнее, но по сути он следует такой логике:

1) При запуске широковещательное сообщение переадресации

2) После получения сообщения пересылки начните движение по строке. Если линия потеряна, остановите двигатели и транслируйте

select_direction. Здесь запускается код в режиме Stage.

3) Если сообщение осталось полученным, поверните налево, а затем вернитесь в режим следования по строке.

Если сообщение получено правильно, начните поворот вправо, а затем переключитесь обратно в режим следования строкой.

Шаг 5: за кулисами

Все модели нейронных сетей, используемые в приведенном выше приложении, запускаются локально в вашем браузере, что дает несколько явных преимуществ по сравнению с отправкой данных в облако для обработки: меньшая задержка и лучшая конфиденциальность. В когнитивных сервисах используется ряд нейронных сетей - классификация звуков для речевых команд (, распознавание ориентиров по лицам, распознавание выражений лиц и оценка возраста.

В этой статье мы исследовали базовую функциональность одного из расширений Codecraft AI - Cognitive Services. Есть несколько способов, которыми вы можете использовать эти примеры, чтобы создавать еще более увлекательные и увлекательные приложения!

Если вы решите попробовать, будь то Grove Zero или просто режим сцены, поделитесь в комментариях ниже. Для получения дополнительной информации о серии Grove Zero, Codecraft и другом оборудовании для производителей и преподавателей STEM посетите наш веб-сайт

TinkerGen создал кампанию на Kickstarter для MARK (Make A Robot Kit), набора роботов для обучения программированию, робототехнике и искусственному интеллекту!