Количественная обработка изображений: 5 шагов

2025 Автор: John Day | [email protected]. Последнее изменение: 2025-01-13 06:58

(На приведенном выше рисунке показано сравнение существующего метода обработки изображений с количественной обработкой изображений. Обратите внимание на улучшенный результат. На верхнем правом изображении видны странные артефакты, возникающие из-за неправильного предположения, что изображения измеряют что-то, например свет. Нижнее правое изображение показывает лучший результат при выполнении того же действия. количественно.)

В этом руководстве вы узнаете, как значительно улучшить характеристики существующих систем визуализации или визуального восприятия, используя очень простую концепцию: количественное распознавание изображений

Квантиметрическая обработка изображений значительно улучшает любое из следующего:

• Существующая обработка изображений, такая как устранение размытости изображения;
• Машинное обучение, компьютерное зрение и распознавание образов;
• Носимый распознаватель лиц (см. Http://wearcam.org/vmp.pdf), зрение на основе AI и HI и т. Д.

Основная идея заключается в количественной предварительной и постобработке изображений следующим образом:

1. Расширить динамический диапазон изображения или изображений;
2. Обработайте изображение или изображения как обычно;
3. Сжать динамический диапазон изображения или изображений (т. Е. Отменить шаг 1).

В предыдущих инструкциях я преподавал некоторые аспекты восприятия HDR (расширенного динамического диапазона) и количественного определения, например линейность, суперпозиция и т. д.

Теперь давайте применим эти знания.

Возьмите любой существующий процесс, который вы хотите использовать. Пример, который я покажу, - это удаление размытия изображения, но вы также можете использовать его для чего угодно.

Шаг 1. Расширьте динамический диапазон вашего изображения или изображений

(Рисунки адаптированы из «Интеллектуальной обработки изображений», John Wiley and Sons Interscience Series, Стив Манн, ноябрь 2001 г.)

Первый шаг - расширить динамический диапазон входного изображения.

В идеале вы должны сначала определить функцию отклика камеры f, а затем применить к изображению обратный отклик f inverse.

Типичные камеры имеют сжатый динамический диапазон, поэтому мы обычно хотим применить расширяющую функцию.

Если вы не знаете функцию ответа, начните с попытки чего-то простого, например, загрузки изображения в массив изображений, преобразования переменных в тип данных, например (float) или (double), и повышения значения каждого пикселя до экспоненты., например, возведение в квадрат каждого значения пикселя.

Обоснование:

Почему мы это делаем?

Ответ заключается в том, что большинство камер сжимают свой динамический диапазон. Причина, по которой они это делают, заключается в том, что большинство средств отображения расширяют динамический диапазон. Это совершенно случайно: количество света, излучаемого телевизионным дисплеем с электронно-лучевой трубкой, примерно равно напряжению, поднятому до показателя степени 2,22, так что, когда входное видео напряжение составляет примерно половину пути, количество излучаемого света значительно меньше половины.

Фотографические носители также расширяют динамический диапазон. Например, фотографическая «нейтральная» серая карта излучает 18% падающего света (а не 50% падающего света). Считается, что такое большое количество света (18%) находится в середине ответа. Итак, как вы можете видеть, если мы посмотрим на график вывода как функцию ввода, средства отображения ведут себя так, как если бы они были идеальными линейными дисплеями, которые содержат расширитель динамического диапазона до идеального линейного отклика.

На верхнем рисунке выше вы можете увидеть дисплей, обведенный пунктирной линией, и это эквивалентно наличию расширителя перед идеальным линейным дисплеем.

Поскольку дисплеи по своей природе являются расширяющимися, камеры должны быть сконструированы с учетом сжатия, чтобы изображения хорошо смотрелись на существующих дисплеях.

В былые времена, когда были тысячи телевизионных приемников и всего одна или две радиовещательные станции (например, всего одна или две телекамеры), было легче исправить нелинейность сжатия в камере, чем вызывать все телевизоры и вставьте по одному в каждый телевизионный приемник.

Случайно это также помогло снизить уровень шума. В аудио мы называем это «Dolby» («компандирование») и выдаем на это патент. На видео это произошло совершенно случайно. Стокхэм предложил логарифмировать изображения перед их обработкой, а затем проводить антилогарифмический анализ. Он не осознавал, что большинство камер и дисплеев уже делают это совершенно случайно. Вместо этого я предложил сделать прямо противоположное тому, что предлагал Стокхэм. (См. «Интеллектуальная обработка изображений», серия John Wiley and Sons Interscience, стр. 109–111.)

На нижнем рисунке вы видите предложенную антигомоморфную (квантиметрическую) обработку изображений, где мы добавили шаг расширения и сжатия динамического диапазона.

Шаг 2. Обработайте изображения или выполните компьютерное зрение, машинное обучение и т. Д

Второй шаг после расширения динамического диапазона - обработка изображений.

В моем случае я просто выполнил деконволюцию изображения с помощью функции размытия, то есть устранения размытости изображения, как это обычно известно в предшествующем уровне техники.

Существует две широких категории количественного распознавания изображений:

• Помогать людям видеть;
• Помогая машинам видеть.

Если мы пытаемся помочь людям увидеть (это пример, который я показываю здесь), мы еще не закончили: нам нужно вернуть обработанный результат обратно в пространство изображений.

Если мы помогаем машинам видеть (например, распознавание лиц), на этом все готово (переходить к шагу 3 не нужно).

Шаг 3. Повторное сжатие динамического диапазона результата

Когда мы работаем в расширенном динамическом диапазоне, говорят, что мы находимся в «пространстве света» (квантиметрическое пространство изображений).

В конце шага 2 мы находимся в пространстве света, и нам нужно вернуться в пространство изображений.

Итак, на этом шаге 3 мы возвращаемся в пространство изображений.

Чтобы выполнить шаг 3, просто сожмите динамический диапазон выходного сигнала шага 2.

Если вам известна функция отклика камеры, просто примените ее, чтобы получить результат f (p (q)).

Если вы не знаете функцию отклика камеры, просто примените хорошее предположение.

Если вы возводили в квадрат пиксели изображения на шаге 1, сейчас самое время извлечь квадратный корень из каждого пикселя изображения, чтобы вернуться к своему предположению относительно пространства изображений.

Шаг 4. Возможно, вы захотите попробовать другие варианты

Удаление размытия - лишь один из многих возможных примеров. Рассмотрим, например, объединение нескольких снимков.

Сделайте любые два снимка, такие как два, которые у меня есть выше. Один был снят днем, а другой - ночью.

Соедините их, чтобы получилась картина, похожая на сумрак.

Если вы просто усредните их вместе, это будет похоже на мусор. Попробуйте сами!

Но если вы сначала расширяете динамический диапазон каждого изображения, затем добавляете их, а затем сжимаете динамический диапазон суммы, это выглядит великолепно.

Сравните обработку изображений (добавление изображений) с количественной обработкой изображений (расширение, добавление, а затем сжатие).

Вы можете скачать мой код и другие примеры материалов отсюда:

Шаг 5. Идем дальше: теперь попробуйте с помощью композитов изображений HDR

(Изображение вверху: сварочный шлем HDR использует количественную обработку изображений для наложения дополненной реальности. См. Slashgear 2012, 12 сентября).

В итоге:

сделайте снимок и выполните следующие действия:

1. расширить динамический диапазон изображения;
2. обработать изображение;
3. сжать динамический диапазон результата.

А если вы хотите еще лучшего результата, попробуйте следующее:

захватить множество по-разному экспонированных изображений;

1. расширить динамический диапазон до светового пространства, как в моей предыдущей инструкции по HDR;
2. обработать полученное квантиметрическое изображение q в световом пространстве;
3. сжимайте динамический диапазон с помощью тональной карты.

Удачи и, пожалуйста, нажмите «Я сделал это» и опубликуйте свои результаты, и я буду рад прокомментировать или предоставить конструктивную помощь.