Использование фотограмметрии для создания моделей: 9 шагов

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:49

Кто я?

Меня зовут Сэмюэл Конклин, я учусь на втором курсе в E. L. Средняя школа Мейерса. Я экспериментировал с фотограмметрией последние пару месяцев и надеюсь помочь вам, если вы решите воссоздать этот продукт. Мне интересно узнать, как другие люди могут использовать эту новую и постоянно развивающуюся технологию.

Что такое виртуальная реальность и SteamVR?

Виртуальная реальность - это новая форма художественного выражения и опыта. Это все еще новый рубеж технологий, поскольку бесчисленные компании и люди работают над улучшением среды. Вы оказываете себе большую медвежью услугу, если никогда не пробовали VR, поскольку она полностью скрывает чувство зрения и звука пользователя. Одна из основных платформ для виртуальной реальности - SteamVR от Valve. SteamVR позволяет пользователям бесплатно делиться друг с другом средами и настраивать друг друга. Он в основном с открытым исходным кодом и позволяет использовать множество гарнитур. К ним относятся, помимо прочего, серия HTC Vive, Oculus Rifts, Oculus Quest, Valve Index, Windows Mixed Reality и т. Д. SteamVR - это платформа, которую мы используем для создания нашей среды.

Что такое фотограмметрия и как ее использовать?

Фотограмметрия - это процесс съемки фотографий или видео и превращения изображений в 3D-модель. Самый известный пример использования этой технологии - Google Earth. Google использует спутниковые снимки и виды улиц для воссоздания ландшафтов и зданий. Глядя на Google Earth, становится ясно, что у них было мало изображений для работы, поэтому некоторые здания будут выглядеть деформированными. При правильном использовании фотограмметрия - чрезвычайно убедительный способ создания 3D-моделей. Этот проект использует эту технологию для сохранения исторических памятников. Эрозия и подверженность стихиям означают, что исторические достопримечательности со временем придут в упадок, и люди забудут о них. Используя фотограмметрию, мы можем сохранить все в цифровом виде, чтобы будущие поколения могли испытать и оценить эти структуры. Это также означает, что больше людей во всем мире могут познакомиться с другими культурами без затрат или риска путешествий.

Какие расходные материалы мне нужны?

Для этого проекта я использовал Reality Capture, SteamVR и Krita. Существуют программы Autodesk, Agisoft и Zephyr, которые можно использовать вместо Reality Capture, если у вас нет необходимого графического процессора Nvidia для его запуска. Вместо Krita можно использовать Photoshop или другие программы для редактирования фотографий, но, поскольку они бесплатны и общедоступны, я решил использовать их в этом проекте. Вам также понадобится настольная гарнитура VR, которую можно подключить непосредственно к компьютеру. Наконец, нужна качественная камера. Мобильная камера - это неплохо, но я использовал Nikon D7000, поскольку Reality Capture может автоматически определять диафрагму камеры, что приводит к моделям более высокого качества.

Шаг 1. Фотосъемка

Это самая важная часть этого проекта, так как вам нужно сделать все правильно за один раз. Если вы этого не сделаете, вам нужно будет вернуться на локацию и все заново захватить.

Во-первых, вам нужно будет найти подходящее место и структуру. Структура должна быть большой и легко узнаваемой. Это означает, что программное обеспечение для фотограмметрии сможет обнаружить различия между структурой и фоном.

Как правило, лучше всего делать снимки в пасмурный день. Это связано с тем, что в солнечный день некоторые фотографии могут быть переэкспонированы, а другие - недоэкспонированы. Он также может создавать нежелательные тени. Модель с небольшим количеством теней или без них упростит освещение в разделе разработки уровней. Кроме того, программе требуется, чтобы цветовой баланс оставался неизменным для каждой фотографии, поскольку она использует цвета для расчета размера объекта. Однако фотографирование в пасмурный день улучшит качество конструкции. Облака в небе будут действовать как естественный рассеиватель для камеры. Это будет более равномерно распределять свет и означает, что модель станет точной в процессе рендеринга.

Последний совет - сделайте как можно больше фотографий. Большинство программ выбирают, какие фотографии будут использоваться для конечного продукта. Сделав больше фотографий, все станет точнее и даст программе передышку. У меня было около 150-300 фото на каждую модель.

Шаг 2. Начало работы с программным обеспечением для фотограмметрии

Теперь мы собираемся импортировать фотографии в программу. Обратите внимание, что для Reality Capture требуется видеокарта Nvidia. Без него вы не сможете пройти раздел «Выровнять изображения».

Если у вас есть папка со всеми изображениями, которые вы хотите использовать, выберите опцию «Папка» в верхнем левом углу. Вы попадете в диспетчер файлов, где сможете выбрать папку. Входные данные позволят вам выбрать отдельные фотографии с помощью файлового менеджера.

Далее мы собираемся начать процесс построения модели. В верхней части экрана в разделе «Рабочий процесс» есть раздел «Процесс». Мы хотим нажать большую кнопку «Пуск». Это начнет выравнивать изображения. Четвертое фото вкратце показывает, что происходит во время этого процесса. Он распознает левый глаз оленя и сравнит расстояние с другими фотографиями. Он будет продолжать сравнивать разные фотографии, пока не пройдут все возможные комбинации. Этот шаг завершен, если вы видите маленькие точки, напоминающие структуру.

Шаг 3. Рассчитайте и упростите

Следующим шагом будет расчет модели. Для этого мы нажимаем на Calculate Model в разделе Process. Это будет напрямую переводить все, что находится на фотографиях, в трехмерную форму. Результаты довольно близки к тому, как мы хотим, чтобы модель выглядела, но с этой версией модели есть три проблемы. Во-первых, в модели есть дыры, которых нет в реальной структуре. Во-вторых, поверхность слишком неровная. Поскольку программа приближает свои расчеты, она неправильно сделает некоторые гладкие поверхности неровными. В-третьих, треугольников слишком много. Каждая модель в Reality Capture создана из маленьких треугольников. Каждый треугольник представляет собой небольшую поверхность модели. Мы хотим как можно меньше треугольников для оптимизации модели. Если треугольников слишком много, это может вызвать проблемы с производительностью.

Эти проблемы можно решить с помощью инструмента Упростить. Все модели будут иметь 3 000 000 треугольников после этапа Calculate Model, и мы можем сделать это число больше или меньше. Для всех моделей, подобных тем, что были найдены в этом проекте, я уменьшил количество треугольников до 1 000 000. Результат можно увидеть на втором изображении, где все неровности поверхности более гладкие, а дырок меньше. Кроме того, с меньшим количеством треугольников для рендеринга производительность будет лучше, когда мы перейдем в VR.

Шаг 4: цвет и текстура

Теперь модели потребуются цвет и текстура, чтобы сделать ее еще более реалистичной. Эти две части похожи в том, чего они достигают, но по-разному работают. Используя Color, который находится в разделе Process, программа раскрасит модель. Инструмент сделает снимки, которые он использовал для создания модели, и обернет ваши изображения на различных поверхностях вашей модели. С другой стороны, текстура будет окрашивать упрощенные части модели. Глядя на первое изображение, хорошо видно, как программа обернула изображения вокруг модели, но на втором изображении после обработки текстуры резкие стороны изображений теперь сглажены.

Шаг 5: Экспорт и SteamVR

В Reality Capture мы собираемся перенести модели в SteamVR. В верхней части экрана в разделе «Экспорт» выберите «Сетка», которая находится рядом с разделом «Процесс». Вы должны увидеть это всплывающее окно, которое позволяет вам изменять настройки и параметры модели. Лучше оставить все настройки по умолчанию, за исключением изменения формата текстуры JPEG. Программа теперь экспортирует файл в формате OBJ, который представляет собой файл сетки, и JPEG, который является файлом текстуры для модели. Для справки JPEG должен выглядеть как второе изображение на этом шаге.

Теперь нам нужно импортировать наши модели в SteamVR. Сначала откройте SteamVR, затем перейдите в раздел «Создать / изменить среду», который находится на вкладке «Мастерская». Инструменты мастерской SteamVR откроются. Выберите Create Empty Addon и нажмите Launch Tools.

Браузер активов откроется с уже включенными различными материалами и моделями. В левом верхнем углу есть значок с изображением молотка. Это встроенный редактор SteamVR Hammer, который дает вам возможность создавать карты. Карты - это среда, в которой пользователь VR будет обитать во время игры.

Шаг 6: Создание карты SteamVR

Теперь, когда в SteamVR открыт редактор Hammer, мы можем создать куб. Мы хотим создать куб, чтобы начать создание среды. Программа позволяет изменять размер куба до того, как он будет закреплен на месте. Сейчас видны только внешние поверхности куба. При нажатии CTRL + F все поверхности будут перевернуты и превратят куб в комнату. Кроме того, вам нужно будет добавить объект с именем info_player_start, который сообщит Hammer, где создать пользователя при загрузке программы.

Чтобы сделать комнату более реалистичной, нам также нужно добавить текстуры. Мы можем добавить несколько пользовательских изображений через редактор материалов. Это круглый значок справа от кнопки Hammer в браузере ресурсов. Выбор редактора материалов приведет вас к новому окну, которое позволит вам импортировать изображение, которое будет преобразовано в текстуру. Вы можете использовать свои собственные изображения или получать изображения с веб-сайтов с текстурами, таких как textures.com. Нажмите кнопку «Файл» под полем «Выбор цвета», чтобы выбрать изображение, которое вы хотите использовать. После выбора изображения убедитесь, что вы сохранили его, нажав значок гибкого диска в верхнем левом углу окна редактора материалов. Теперь закройте редактор материалов и вернитесь в браузер активов. Здесь найдите файл текстуры, который вы хотите использовать, а затем щелкните и перетащите его в редактор Hammer. В этом окне вы можете применить текстуру к разным граням куба.

Также нам нужно добавить освещение в комнату. Для этого мы помещаем light_omni или light_spot на нашу карту, которая находится в разделе Entity Section слева от вида карты. Light_omni будет светить во всех направлениях, в то время как light_spot светит в одном определенном направлении. В этом проекте я использовал как минимум два световых пятна для каждого объекта и одно световое пятно, чтобы осветить комнату.

Шаг 7: добавляем наши объекты на карту

Теперь пора начать перемещать наши объекты на нашу карту. В браузере активов справа от значка редактора материалов находится редактор моделей, который напоминает значок гуманоида. После открытия редактора моделей вы получите возможность просмотреть или создать новый VDML, который является версией файла OBJ в редакторе Hammer. Выберите вариант создания нового VDML, и вам потребуется создать папку. В этой папке будет храниться файл VDML. Убедитесь, что он находится в папке «Добавить», и нажмите «Продолжить».

Вы попадете на экран с вашей моделью, имеющей белую текстуру. Чтобы добавить текстуру для этой модели, выберите «Материалы» на панели инструментов слева. Это приведет вас к редактору материалов, где вы сможете выбрать JPEG из экспорта Reality Capture. Обязательно сохраните текстуру и модель, щелкнув значок дискеты. Вернитесь в редактор Hammer.

В Hammer вы можете перетащить модель из браузера активов на карту. Модель, скорее всего, будет крошечной, и вам нужно будет изменить ее размер. Нажав T на клавиатуре, вы можете изменить его положение на карте. Нажатие E изменит пропорции модели, а R повернет ее.

Шаг 8: Создание меток объектов

Ярлыки объектов, отображаемые рядом с каждым ориентиром, предоставляют контекст и историю, чтобы улучшить взаимодействие с пользователем. Для своих меток объектов я просто сфотографировал информационные таблички в каждом месте, чтобы легко записать важную информацию, которую я хотел использовать позже. Затем я использовал Krita, бесплатную программу для редактирования фотографий, чтобы создать метки объектов, включая дополнительные изображения и текст.

Для стороны Miner Park и Anchor в комнате не было проблем с добавлением надписей в качестве текстур. Просто добавьте их в свой браузер ресурсов через редактор материалов и добавьте изображение в блок, который можно создать в редакторе Hammer. Проблемы возникли, когда я создал доски для другой стороны комнаты. Весь текст и изображения были перевернуты, и не было четкого способа перевернуть текстуры в редакторе. Чтобы исправить это, я вернулся в Krita и поменял местами доски для оленя и медведя, и, к счастью, это устранило проблему.

Кроме того, я добавил разные изображения Уилкс-Барре, так как я хотел создать комнату, в которой было бы ощущение и атмосфера бутик-музея.

Шаг 9: Заключение

В заключение, виртуальная реальность и фотограмметрия могут значительно улучшить бесчисленные отрасли, включая, помимо прочего, спорт, недвижимость и судебную экспертизу. Сегодня я использовал фотограмметрию, чтобы сохранить некоторые небольшие, но важные части местной истории моего родного города. VR и фотограмметрия - все еще экспериментальные технологии, которые иногда могут бросить вам вызов. Несмотря на некоторые недостатки, количество инновационных применений обоих процессов захватывающе и безгранично. Благодарю вас за то, что вы прочитали об этом проекте, и надеюсь, что это вдохновило вас попробовать что-то новое с виртуальной реальностью.

Ссылку для скачивания проекта можно найти здесь.