Визуальный ряд давно стал полноправной частью живой электронной музыки. Но есть разница между заранее отрендеренным видео и генеративной визуализацией, которая рождается на сцене вместе со звуком. MIDI входит в число самых надёжных способов связать музыку и картинку.
Что такое MIDI-визуализация
По протоколу MIDI инструменты обмениваются нотами и параметрами. Если направить тот же поток данных и в синтезатор, и в визуальный движок, каждая нота становится событием на экране: вспышкой, частицей, изменением формы. Картинка здесь не подложена под музыку: это та же музыка, переведённая в свет.
Как ноты управляют графикой
Типовая схема выглядит так: секвенсор отправляет ноты по MIDI-каналам 1–8, где каждый канал отвечает за свой инструмент и за свой визуальный слой тоже. Примеры связок, проверенных на живых сетах D-module:
- Частицы: каждая нота порождает облако анимированных частиц;
- Фейерверки: ноты запускают вспышки в случайных точках экрана;
- Пульсирующие круги: форма в центре экрана реагирует на каждый канал;
- Калейдоскоп: симметричная фигура перестраивается в реальном времени;
- Осциллограф: классика, живая волна аудиосигнала прямо с устройства.
Чем это лучше готового видео
Генеративная визуализация честна: если музыкант импровизирует, картинка импровизирует вместе с ним. Ни один прогон не повторяется, ошибки становятся частью перформанса, а зритель видит прямую связь между действием на сцене и изображением.
Визуализация на этом сайте
Принцип «звук управляет картинкой» можно попробовать прямо здесь: в плеере с визуализацией аудиопоток анализируется через Web Audio API и в реальном времени рисует осциллограф с вращающейся спиралью. Выбирайте трек из каталога и смотрите, как звучит изображение.