Мультимодальный пюпитр: 9 ступеней (с изображениями)

2024 Автор: John Day | [email protected]. Последнее изменение: 2024-01-30 11:54

Мультимодальная музыкальная подставка (MMMS) - это новый способ управления синтезом звука и эффектами при игре на традиционном инструменте (саксофоне, флейте, скрипке и т. Д.), Который предлагает довольно много дополнительных возможностей для расширенных техник, которые можно использовать во время игры. ! В Калифорнийском университете в Санта-Барбаре уже есть веб-страница о нашем групповом проекте, на котором мы разработали MMMS, поэтому вместо того, чтобы повторять это здесь, я размещу ссылку - проверьте! Веб-сайт мультимодального музыкального стенда Короткий видеоролик о MMMS в действии здесь, но на сайте выше есть видео получше… Мультимодальность относится к способности распознавать вход в более чем одной модальности (аудиовход, видеовход и сенсорный вход). Аудио- и видеовход довольно просты, включая обычный микрофон и веб-камеру, подключенные к вашему компьютеру, но вход датчика немного сложнее, поэтому его можно проинструктировать … Мы используем интерфейс CREATE USB, простую схему, которую я разработал для класса Я преподаю в UCSB вместе с комплектом ThereminVision II для электронного поля (также известным как емкостное зондирование), как показано здесь: СОЗДАТЬ USB-интерфейсThereminVisionII kit Если вы не знаете, что такое терменвокс, сделайте себе одолжение и выполните поиск на Youtube, вы выиграли Не разочаровывайтесь! MMMS в основном эквивалентен 2 терменвоксам, так как он имеет 4 антенны, считывающие электрическое поле, в дополнение к аудио / видео входу. не хотите использовать простые ножные педали, сделайте себе мультимодальную пюпитру и начните практиковаться с ней!

Шаг 1. Об интерфейсе CREATE USB

CREATE USB Interface (CUI) - это простая программируемая схема на основе PIC, которая может быть либо полностью построена своими руками, либо вы можете получить предварительно собранную схему непосредственно у меня за 50 долларов (+ 5 за доставку), и вам не понадобится чтобы купить программатор PIC, так как я поставил на него загрузчик для вас … подробности см. на веб-сайте или просто напишите мне, чтобы запросить его: СОЗДАТЬ веб-сайт интерфейса USB. интересные проекты со всего мира… несколько примеров от студентов Калифорнийского университета в Санта-Барбаре представлены в этом документе конференции (PDF). CUI можно перепрограммировать через USB-кабель с помощью загрузчика, поэтому его так легко адаптировать - просто смените прошивку, и это будет что-то еще. Например, легко превратить CUI в интерфейс беспроводного датчика, используя один из модули Bluetooth от Spark Fun - если кто-то заинтересован в этом, оставьте заметку в комментариях с запросом другого инструктажа. CUI имеет 13 каналов 10-битных аналоговых входов и 16 контактов ввода / вывода общего назначения. Прошивка по умолчанию, поставляемая с платами CUI v1.0, отправляет их все в качестве входных данных на главный компьютер и прекрасно работает с интерактивными средами для создания изображений, такими как Max / MSP / Jitter, Pd / Gem, SuperCollider, Chuck и т. Д. одна из плат CUI v1.0 для создания мультимодальной музыкальной стойки в этом руководстве. Мы используем Max / MSP / Jitter в качестве среды, но не стесняйтесь адаптировать это к Pd или вашему выбору программного обеспечения. Я большой поклонник открытого исходного кода (сам CUI является открытым исходным кодом), и это очень помогает, если мы все будем стоять на плечах друг друга и улучшать то, что мы делаем!

Шаг 2: О наборе ThereminVision II

ThereminVision II доступен как в наборе (50 долларов США), так и в готовом виде (80 долларов США) на сайте поставщика, RobotLand, а также имеет открытый исходный код - руководство по терменвоксу (PDF) включает принципиальные схемы. Для MMMS я купил комплект, а затем решил на этот раз использовать предварительно собранный (это вторая MMMS, которую я построил). Кроме того, на случай, если вам интересно, почему я не предлагаю Комплектная форма интерфейса CREATE USB, потому что загрузчик CUI должен быть запрограммирован с помощью обычного программатора PIC, прежде чем новая прошивка может быть отправлена через USB - в противном случае я определенно предложил бы комплект, хотя он будет включать пайку для поверхностного монтажа … Итак, вернемся к Терменвидение II - если вы купили его в форм-факторе комплекта, следуйте (отличным!) инструкциям в pdf: Руководство по терменвоксу II Есть много хороших схем электропроводки, которые вам нужно будет сделать - единственное, что он не показывает - это подключения к интерфейсу CREATE USB, поэтому я опубликую фотографии, которые я сделал, на следующих нескольких шагах … о, и я получил антенны для терменвокса (не входит в комплект) от All Electronics.

Шаг 3: Подготовка пюпитра

Сделайте свой мультимодальный музыкальный стенд из красивого пюпитра, такого как «дирижерский стенд», показанный здесь, или используйте то, что у вас есть под рукой - еще лучше, сделайте свой собственный!

Независимо от того, какую стойку вы используете, для четырех антенн по углам стойки потребуются изолированные крепления. Начните с просверливания отверстий в углах - крепежные детали, которые я лежал вокруг, работали с сверлом 1/4 дюйма, ваше, вероятно, будет другим. Старайтесь держать лицевую часть поверхности как можно более заподлицо, чтобы избежать помех при воспроизведении нот.

Шаг 4: Подключение модулей датчиков ThereminVision

Подключение «сенсорных» модулей ThereminVision (555 цепей таймера) к «процессорному» модулю ThereminVision также более подробно обсуждается в руководстве ThereminVision II, но вот несколько изображений процесса …

Шаг 5: Подключение ThereminVision к интерфейсу CREATE USB

Как мы видели на последнем шаге, есть 4 провода, соединяющие каждый из сенсорных модулей с модулем процессора ThereminVision. Также есть 6 проводов, соединяющих модуль процессора ThereminVision с интерфейсом CREATE USB - это питание, заземление, выход датчика, выбор датчика A, выбор датчика B и останов датчика.

Поскольку ThereminVision II будет получать питание от интерфейса CREATE USB (который, в свою очередь, получает питание от USB), я решил подключить питание каждого из сенсорных модулей ThereminVision непосредственно к интерфейсу CREATE USB - это немного меньше птичьего гнезда на проводке, поскольку к плате процессора TherminVision уже подключено много проводов. Подключите «+» на ThereminVision к «5V» на CUI Connect «-» на ThereminVision на «GND» на CUI Connect «4» (деление на 4 выхода) на ThereminVision на «D7» на CUI Connect «SEL B» на ThereminVision к «D5» на CUI подключить «SEL A» на ThereminVision к «D4» на CUI Подключить «S» на ThereminVision к «D6» на CUI

Шаг 6: Установка всего на подставку

Итак, электроника готова, теперь просто устанавливаем ее на подставку - есть много способов сделать это, и вы можете поместить электронику в защитную коробку и т. Д.

Вот несколько фотографий самых простых способов крепления.

Шаг 7: загрузка прошивки для ThereminVision в CUI

ThereminVision отправляет временные сигналы для своих датчиков вместо аналоговых выходов (или любого из стандартных цифровых протоколов, таких как I2C или SPI). Поэтому потребовалась некоторая специальная прошивка для измерения времени этих сигналов … Первая версия прошивки мультимодальной музыкальной подставки находится в zip-файле ниже, включая исходный код и скомпилированный шестнадцатеричный файл (вместе с тестовым патчем для Max / MSP / Jitter): Прошивка CUI-ThereminVision На снимке экрана ниже показана программа OS X Boot Down, созданная Крейгом Шиммелем - загрузочная утилита Macintosh для CUI. Если вы работаете в Windows, проще всего использовать собственный инструмент Microchip, PDFSUSB.exe, который можно загрузить с их веб-сайта или включить в этот пример кода для интерфейса CREATE USB. Чтобы перевести CUI в «режим загрузчика», нажмите и удерживайте нажмите кнопку программы и нажмите кнопку сброса (или просто подключите кабель USB, удерживая кнопку программы нажатой). Светодиодный индикатор состояния CUI будет постоянно мигать, указывая на то, что он находится в режиме загрузчика. Теперь вы можете использовать Boot Down для отправки файла CUIEfieldBootDown.hex в интерфейс CREATE USB. Если вы когда-нибудь захотите изменить прошивку для интерфейса CREATE USB на исходную, она находится здесь, и есть другие примеры прошивки для CUI здесь тоже.

Шаг 8: Тестирование мультимодальной пюпитры в режиме Max / MSP / Jitter

Откройте пример патча в Max / MSP / Jitter (30-дневную демонстрацию можно загрузить с www.cycling74.com, также доступна «исполняемая» версия, которая не позволяет сохранять патчи) или следуйте соглашениям в патче Max. и сделайте свой собственный патч в PureData (Pd)… Джиттер используется для отображения трехмерного положения жестов, где ось z (по направлению к подставке и от нее) сопоставляется с общей интенсивностью всех 4 антенн - не очень научно, но это работает! Данные от отдельных датчиков также отправляются как OSC на 127.0.0.1 (localhost) для использования другими приложениями, если это необходимо. Полезный объект в Max / MSP / Jitter для фильтрации всплесков данных датчика (вызванных электрическими помехами) - это «плавный» Тристана Джехана, который можно загрузить здесь: smoothother max object На сайте Тристана также есть множество внешних MSP для Max, которые мы используем для части анализа звука на входе мультимодальной музыкальной подставки - они включают высоту звука ~, громкость ~, яркость ~, шумность ~ и объект-анализатор все-в-одном ~. Как только у вас есть данные, поступающие в Max, вам нужно будет индивидуально настроить чувствительность датчиков ThereminVision с помощью небольшой отвертки. Для этого полностью вытяните антенны, затем поверните синий подстроечный резистор против часовой стрелки до тех пор, пока он не перейдет в режим «обратного зондирования», а затем поверните его обратно по часовой стрелке, пока не вернетесь в нормальный диапазон зондирования. Небольшие корректировки (настройка чувствительности, как настройка гитары) можно сделать, изменив длину антенн, так что вам не придется носить с собой крошечную отвертку на концерты.

Шаг 9: Использование мультимодальной пюпитры во время выступления! (и его расширение)

Не забывайте, что новые методы исполнения, которые обеспечивает мультимодальная музыкальная подставка, требуют практики и разработки новых сопоставлений и идей для того, что вы хотите контролировать с ее помощью! Кроме того, если вы хотите расширить свою MMMS, включив в нее другие типы датчиков, можно будет использовать 13 аналоговых входов на CUI в дополнение к датчикам ThereminVision в будущих версиях прошивки MMMS, поэтому с некоторыми простыми датчиками (ползунки / ручки / педали) или другими типами датчиков (ИК / ультразвук и т. д.), их можно использовать вместе с аудиовходом и видео для компьютера. В настоящее время микропрограммное обеспечение использует протокол «последовательный порт через USB», но в конечном итоге планируется перейти на протокол «HID» (устройство ввода данных человеком), обычно используемый интерфейсом CREATE USB. Пожалуйста, не стесняйтесь вносить свой вклад в усилия … Существует аналогичный проект с открытым исходным кодом для измерения электрического поля (также известного как емкостное измерение), в котором используется та же топология схемы (на основе дизайна ThereminVision) под названием CapToolKit - он использует "младшего брата" »PIC18F4550, PIC18F2550, у которого меньше аналоговых входов (10 вместо 13). Прошивка для CapToolKit будет немного отличаться, поскольку они не используют плату процессора ThereminVision. Мы используем простую камеру Firewire (стиль веб-камеры), установленную на верхней части пюпитра для оптического распознавания физических жестов и обнаружения взгляда - если вы заинтересованы в компьютерном зрении или аудиоанализе и аспектах синтеза в исследованиях нашей группы, пожалуйста, ознакомьтесь с статьями на веб-сайте Multimodal Music Stand. И, пожалуйста, опубликуйте свои впечатления, если вы построите мультимодальный музыкальный стенд… Теперь у нас есть два из них в UCSB, как показано на фотографии ниже - было бы здорово, если бы больше композиций, выступлений и музыкантов использовали их там! Доктор Джоанн Кучера-Морин написала первую композицию с использованием MMMS, которую исполнила флейтистка Джилл Фелбер в музыкальной школе Истмана в марте 2007 года.