Etkileşimli Ses Enstalasyonu

Biri ses çıkarana kadar kendine ait gösterecek hiçbir şeyi olmayan beş yüzeyli bir oda — TouchDesigner'da canlı ses analizi, burada çalan bir perküsyoncuyla.

Infinia'nın sürükleyici odası için 2024'te kurulan, odanın kendine ait gösterecek hiçbir şeyinin olmadığı bir enstalasyon. Sessizlik odayı durgun bırakıyor; görseller ancak onları var edecek bir ses olduğu sürece var.

Tanıtım gösterisinde bir perküsyoncu çaldı — odanın ortasında bir perküsyon seti, ona yanıt veren beş yüzey ve aralarında önceden prova edilmiş hiçbir şey yok. Her ses kaynağı aynı şekilde işliyor: bir insan sesi, bir telefon hoparlörü, konuşan insanlarla dolu bir oda.

Yapan: Özgür Kahraman — 3D ve Sürükleyici Deneyim Sanatçısı
Müşteri: Infinia
Yıl: 2024
Rol: Etkileşimli Görseller · TouchDesigner
Araçlar: TouchDesigner
HeavyM
Parçacık Sistemleri
GLSL

Odanın içinde

Kumanda olarak ses

Odadaki bir mikrofon, bir ses kartı üzerinden iş istasyonunu besliyor; TouchDesigner'ın kendi ses CHOP'ları mikrofonun duyduğunu bas, orta ve tiz olarak ayırıyor. Bu bantlar her desenin rengini, yoğunluğunu ve tohum değerini kontrol ediyor; parçacıklar da desenlere doğru çekilerek simatik benzeri figürler oluşturuyor — titreşen bir levhanın üzerinde kumun çizdiği şekillerin görsel akrabaları. Hiçbir şey önceden programlanmış değil: oda yalnızca biri ses çıkardığında hareket ediyor.

Yukarıdan perküsyoncu: elleri kongalarda, çevresindeki zemin mavi ışıkla aydınlanmış

Mor simatik desenli bir duvarın önünde beyaz gömlekli perküsyoncu

Çalan perküsyoncu, arkasındaki duvarda hareket eden yeşil desen

Kongaya vuran eller, arkada bulanık yeşil desen

Duvarda sarı ve camgöbeği çizgi desenleri, zemine yayılan beyaz bir ışık kavisi

Yukarıdan görünüm: yeşil, kaleydoskopik bir zeminin ortasında perküsyoncu

Yukarıdan görünüm: mor, kaleydoskopik bir zeminin ortasında perküsyoncu

Infinia kurgusu, sesli

Projeksiyon haritalama

Sesin sarsacağı tohumlar

Desenler aynı ağda, kurulumdaki en-boy oranında duvar panoramaları ve zemin görüntüleri olarak üretiliyor; böylece oda tek ve kesintisiz bir yüzey gibi algılanıyor. Her biri bir başlangıç hâli; ardından ses onu canlı olarak sarsıyor, bu yüzden iki performans asla aynı izi bırakmıyor.

Duvar panoraması: kırmızı, kaleydoskopik bir kafes

Duvar panoraması: kesişen çapraz çizgilerden oluşan magenta bir kafes

Duvar panoraması: her biri bir sonrakinde aynalanan baklava dilimlerinden oluşan kehribar rengi bir kafes

Duvar panoraması: aynalanmış figürlü pembe bir kafes

Zemin görüntüsü: parçacıklardan magenta bir X

Zemin görüntüsü: ince, magenta bir kafes

Zemin görüntüsü: kesişen çapraz çizgilerden oluşan kehribar rengi bir kafes, her gözünde bir halka

İş akışı

Tamamen TouchDesigner'da kuruldu

Ses analizi, parçacık sistemleri ve gerçek zamanlı shader kontrolü; hepsi TouchDesigner'ın içinde — harici bir analiz kütüphanesi yok. Renk, hareket ve desen üretimi gibi görsel parametreleri canlı ses yönetiyor ve bir zaman çizelgesi yok: iş, performans ne kadar sürüyorsa tam o kadar sürüyor.

TouchDesigner ağı: magenta bir simatik desenin üzerinde, bir operatör zincirini besleyen ses analizi

Kurulum

On iki projektör, tek iş istasyonu

On iki projektör üç GPU'lu tek bir iş istasyonundan besleniyor, çıkışlar HeavyM ile bükülüp harmanlanıyor; mikrofon, analiz ve render da aynı makinede çalışıyor, bu yüzden oda sese bir kare içinde tepki veriyor.

Projektör: 12
GPU: 3
İş istasyonu: 1
Frekans bandı: 3

Bir çift konganın başında bir perküsyoncu; çevresindeki duvarlara ve zemine yansıtılmış yeşil bir simatik desen