Автономный дрон с инфракрасной камерой для оказания первой помощи: 7 шагов

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:51

Согласно отчету Всемирной организации здравоохранения, ежегодно стихийные бедствия убивают около 90 000 человек и затрагивают около 160 миллионов человек во всем мире. Стихийные бедствия включают землетрясения, цунами, извержения вулканов, оползни, ураганы, наводнения, лесные пожары, волны тепла и засухи. Время имеет существенное значение, так как шанс на выживание падает с каждой минутой. Лицам, оказывающим первую помощь, может быть сложно найти выживших в поврежденных домах, которые рискуют своей жизнью, разыскивая их. Наличие системы, которая может удаленно определять местонахождение людей, значительно увеличит скорость, с которой службы быстрого реагирования смогут эвакуировать их из зданий. Изучив другие системы, я обнаружил, что некоторые компании создали наземных роботов или создали дроны, которые могут отслеживать людей, но функционируют только вне зданий. Комбинация камер глубины вместе со специальными инфракрасными камерами позволяет точно отслеживать внутреннюю территорию и обнаруживать изменения температуры, связанные с огнем, людьми и животными. Внедрив датчики с настраиваемым алгоритмом на беспилотный летательный аппарат (БПЛА), можно будет автономно обследовать дома и определять местонахождение людей и животных, чтобы как можно быстрее их спасти.

Пожалуйста, проголосуйте за меня в конкурсе оптики!

Шаг 1. Требования к дизайну

Изучив доступные технологии, я обсудил возможные решения со специалистами по машинному зрению и первым респондентом, чтобы найти лучший метод для обнаружения выживших в опасных зонах. В приведенной ниже информации перечислены наиболее важные необходимые функции и элементы дизайна системы.

• Обработка изображения - система должна обеспечивать высокую скорость обработки информации, передаваемой между датчиками, и отклика искусственного интеллекта (ИИ). Например, система должна уметь обнаруживать стены и препятствия, чтобы избегать их, а также находить людей, которые находятся в опасности.
• Автономность - система должна работать без участия пользователя или оператора. Персонал с минимальным опытом работы с технологиями БПЛА должен иметь возможность нажать одну или несколько кнопок, чтобы система начала сканирование сама.
• Дальность - Дальность - это расстояние между системой и всеми другими объектами, находящимися поблизости. Система должна обнаруживать коридоры и входы на расстоянии не менее 5 метров. Идеальная минимальная дальность - 0,25 м, чтобы можно было обнаруживать близкие объекты. Чем больше дальность обнаружения, тем короче время обнаружения выживших.
• Точность навигации и обнаружения - система должна быть способна точно находить все входы и не сталкиваться с какими-либо объектами, а также обнаруживать внезапное появление объектов. Система должна уметь определять разницу между людьми и неживыми объектами с помощью различных датчиков.
• Продолжительность работы - система должна работать 10 минут или дольше, в зависимости от того, сколько комнат ей необходимо просканировать.
• Скорость - он должен иметь возможность сканировать все здание менее чем за 10 минут.

Шаг 2: Выбор оборудования: метод мобильности

Квадрокоптер был выбран вместо автомобиля с дистанционным управлением, потому что, хотя квадрокоптер хрупок, им легче управлять и менять высоту, чтобы избежать препятствий. Квадрокоптер может удерживать все датчики и стабилизировать их, чтобы они были более точными при перемещении по разным комнатам. Пропеллеры изготовлены из углеродного волокна, устойчивого к высоким температурам. Датчики направлены от стен, чтобы предотвратить несчастные случаи.

• Дистанционное управление наземным транспортным средством

  • Плюсы - Может быстро двигаться, не падая и не подвержен влиянию температуры.
  • Минусы - автомобиль будет ставить датчики низко на землю, покрывая меньшую площадь за раз, и может быть заблокирован препятствиями.

• Квадрокоптер

  • Плюсы - Поднимает датчики в воздух, чтобы получить 360-градусный обзор окрестностей.
  • Минусы - Если он врежется в стену, он может упасть и не восстановиться.

Шаг 3: Выбор оборудования: микроконтроллеры

Два основных требования к микроконтроллерам - это небольшой размер для уменьшения полезной нагрузки на квадрокоптер и скорость для быстрой обработки вводимой информации. Комбинация Rock64 и DJI Naza представляет собой идеальное сочетание микроконтроллеров, поскольку Rock64 обладает достаточной вычислительной мощностью для быстрого обнаружения людей и предотвращения столкновения квадрокоптера со стенами и препятствиями. DJI Naza хорошо его дополняет, выполняя все функции стабилизации и управления двигателем, которых Rock64 не может. Микроконтроллеры обмениваются данными через последовательный порт и при необходимости позволяют управлять пользователем. Raspberry Pi был бы хорошей альтернативой, но поскольку Rock64 имел лучший процессор и лучшее подключение к датчикам, перечисленным в следующей таблице, Pi не был выбран. Intel Edison и Pixhawk не были выбраны из-за отсутствия поддержки и возможности подключения.

• Raspberry Pi

  • Плюсы - Может обнаруживать стены и неподвижные объекты.
  • Минусы: не удается отслеживать данные со всех датчиков, поэтому входы не видны достаточно быстро. Не может выводить сигналы двигателя и не имеет датчиков стабилизации для квадрокоптера.

• Рок64

  • Плюсы - Возможность обнаруживать стены и входы с небольшой задержкой.
  • Минусы - Также можно управлять системой по всему дому, не сталкиваясь ни с чем, используя все датчики. Невозможно посылать сигналы достаточно быстро, чтобы контролировать скорость двигателя, и у него отсутствуют стабилизирующие датчики для квадрокоптера.

• Intel Эдисон

  • Плюсы - Возможность обнаруживать стены и входы с некоторым запаздыванием.
  • Минусы - устаревшая технология, для многих датчиков потребуются новые библиотеки, создание которых занимает очень много времени.
• DJI Naza
  • Плюсы - Имеет встроенный гироскоп, акселерометр и магнитометр, чтобы квадрокоптер мог устойчиво находиться в воздухе с микронастройками скорости двигателя.
  • Минусы - Невозможно выполнить какую-либо обработку зрения.

• Pixhawk

  • Плюсы - Компактность и совместимость с датчиками, используемыми в проекте, за счет использования универсального ввода-вывода (GPIO).
  • Минусы - Невозможно выполнить какую-либо обработку зрения.

Шаг 4: Выбор оборудования: датчики

Комбинация нескольких датчиков используется для получения всей информации, необходимой для поиска людей в опасных зонах. Два основных выбранных датчика включают в себя инфракрасную стереокамеру вместе с SOund Navigation And Ranging (SONAR). После некоторого тестирования я решил использовать камеру Realsense D435, потому что она небольшая и может точно отслеживать расстояния до 20 метров. Он работает со скоростью 90 кадров в секунду, что позволяет выполнить множество измерений, прежде чем принять решение о том, где находятся объекты и в каком направлении направить квадрокоптер. Датчики SONAR размещаются сверху и снизу системы, чтобы квадрокоптер мог определить, насколько высоко или низко ему разрешено подниматься, прежде чем он войдет в контакт с поверхностью. Еще один расположен лицом вперед, чтобы система могла обнаруживать такие объекты, как стекло, которые датчик стереофонической инфракрасной камеры не может обнаружить. Люди и животные обнаруживаются с помощью алгоритмов распознавания движения и объектов. Камера FLIR будет реализована, чтобы помочь инфракрасной стереокамере отслеживать, что живое, а что нет, чтобы повысить эффективность сканирования в неблагоприятных условиях.

• Kinect V1

  • Плюсы - легко отслеживает 3D-объекты на расстоянии до 6 метров.
  • Минусы - Имеет только 1 инфракрасный датчик и слишком тяжелый для квадрокоптера.

• Realsense D435

  • Плюсы - Имеет 2 инфракрасные камеры и камеру с красной, зеленой, синей и глубиной (RGB-D) для высокоточного обнаружения 3D-объектов на расстоянии до 25 метров. Его ширина 6 см, что позволяет легко поместиться в квадрокоптер.
  • Минусы - Может нагреваться и может потребоваться охлаждающий вентилятор.

• ЛИДАР

  • Плюсы - Луч, который может отслеживать местоположения на расстоянии до 40 метров в зоне прямой видимости.
  • Минусы - тепло в окружающей среде может повлиять на точность измерения.

• СОНАР

  • Плюсы - Луч, который может отслеживать расстояние до 15 м, но может обнаруживать прозрачные объекты, такие как стекло и акрил.
  • Минусы - только точки на одной линии обзора, но квадрокоптер может их перемещать для сканирования области.

• Ультразвуковой

  • Плюсы - Имеет дальность действия до 3 м и очень недорого.
  • Минусы - указывает только на одну линию обзора и очень легко может быть вне зоны видимости.

• Камера FLIR

  • Плюсы - возможность снимать глубину сквозь дым без помех и обнаруживать живых людей по тепловым сигнатурам.
  • Минусы - Если что-то мешает датчикам, расчеты расстояния могут быть неправильно рассчитаны.

• Датчик PIR

  • Плюсы - Возможность определять изменение температуры.
  • Минусы - Невозможно определить разницу температур.

Шаг 5: Выбор оборудования: программное обеспечение

Я использовал Realsense SDK вместе с операционной системой роботов (ROS), чтобы создать бесшовную интеграцию между всеми датчиками с микроконтроллером. SDK обеспечивал постоянный поток данных облака точек, который идеально подходил для отслеживания всех объектов и границ квадрокоптера. ROS помогла мне отправить все данные датчиков в созданную мной программу, реализующую искусственный интеллект. AI состоит из алгоритмов обнаружения объектов и алгоритмов обнаружения движения, которые позволяют квадрокоптеру обнаруживать движение в окружающей среде. Контроллер использует широтно-импульсную модуляцию (ШИМ) для управления положением квадрокоптера.

• Freenect

  • Плюсы - Имеет более низкий уровень доступа для управления всем.
  • Минусы - поддерживает только Kinect V1.

• Realsense SDK

  • Плюсы - Можно легко создавать данные облака точек из информационного потока с камеры Realsense.
  • Минусы - поддерживает только камеру Realsense D435.

• Драйвер FLIR для Linux

  • Плюсы - Может получать поток данных с камеры FLIR.
  • Минусы - документация очень ограничена

• Операционная система роботов (ROS)

  • Плюсы - Операционная система, идеально подходящая для программирования функций камеры.
  • Минусы - необходимо установить на быструю SD-карту для эффективного сбора данных.

Шаг 6: Разработка системы

«Глазами» устройства является стереофонический инфракрасный датчик Realsense D435, который является стандартным датчиком, который в основном используется для роботизированных приложений, таких как трехмерное картографирование (рис. 1). Когда этот датчик установлен на квадрокоптере, инфракрасная камера может направлять и позволять квадрокоптеру двигаться автономно. Данные, генерируемые камерой, называются облаком точек, которое состоит из серии точек в пространстве, которые имеют информацию о положении определенного объекта в поле зрения камеры. Это облако точек можно преобразовать в карту глубины, на которой цвета отображаются с разной глубиной (рис. 2). Красный - дальше, синий - ближе метров.

Чтобы обеспечить бесперебойную работу этой системы, использовалась операционная система с открытым исходным кодом под названием ROS, которая обычно используется на роботах. Это позволяет выполнять управление устройством на низком уровне, а также получать доступ ко всем датчикам и собирать данные для использования другими программами. ROS будет взаимодействовать с Realsense SDK, который позволяет включать и выключать различные камеры, чтобы отслеживать, насколько далеко объекты находятся от системы. Связь между ними позволяет мне получить доступ к потоку данных с камеры, которая создает облако точек. Информация об облаке точек может определять границы и объекты в пределах 30 метров с точностью до 2 см. Другие датчики, такие как датчики SONAR и встроенные датчики в контроллере DJI Naza, позволяют более точно определять местоположение квадрокоптера. Мое программное обеспечение использует алгоритмы искусственного интеллекта для доступа к облаку точек и посредством локализации создает карту всего пространства, окружающего устройство. После того, как система будет запущена и начнет сканирование, она будет перемещаться по коридорам и находить входы в другие комнаты, где затем может произвести осмотр комнаты в поисках людей. Система повторяет этот процесс до тех пор, пока не будут просканированы все комнаты. В настоящее время квадрокоптер может летать около 10 минут, что достаточно для полного обзора, но его можно улучшить с помощью других батарей. Первые респонденты получат уведомления, когда люди будут обнаружены, чтобы они могли сосредоточить свои усилия на выбранных зданиях.

Шаг 7: Обсуждение и заключение

После многих испытаний я создал рабочий прототип, который удовлетворял требованиям, перечисленным в таблице 1. С помощью инфракрасной стереокамеры Realsense D435 с Realsense SDK была создана карта глубины с высоким разрешением передней части квадрокоптера. Сначала у меня были проблемы с инфракрасной камерой, которая не могла обнаруживать определенные объекты, такие как стекло. Добавив датчик SONAR, я смог решить эту проблему. Комбинация Rock64 и DJI Naza оказалась успешной, поскольку система смогла стабилизировать квадрокоптер, при этом обнаруживая объекты и стены с помощью специально созданных алгоритмов компьютерного зрения с использованием OpenCV. Несмотря на то, что текущая система является функциональной и удовлетворяет требованиям, некоторые будущие прототипы могут быть полезны для нее.

Эту систему можно улучшить, используя камеры более высокого качества для более точного обнаружения людей. Некоторые из более дорогих камер FLIR могут обнаруживать тепловые сигнатуры, что может обеспечить более точное обнаружение. Система также может работать в различных средах, например, в пыльных и задымленных помещениях. Благодаря новым технологиям и противопожарной защите эта система может быть отправлена в горящие дома и быстро обнаруживает, где находятся люди, чтобы лица, оказывающие первую помощь, могли спасти выживших от опасности.

Спасибо за прочтение! Не забудьте проголосовать за меня в конкурсе «Оптика»!