Silnik do instalacji art-tech: TouchDesigner, Unity czy Unreal?

W praktyce równie istotne są: sposób podłączenia czujników, obsługa protokołów OSC, DMX i MIDI, opóźnienia przesyłania obrazu, rozdzielczość projekcji oraz to, czy instalacja ma działać jako jednorazowy prototyp, czy jako stabilny system w galerii, muzeum albo przestrzeni publicznej.

TouchDesigner, Unity i Unreal Engine rozwiązują różne problemy. TouchDesigner jest przede wszystkim środowiskiem do pracy z danymi, obrazem i urządzeniami. Unreal Engine 5 daje najwyższy potencjał w zakresie złożonej grafiki 3D. Unity znajduje się pomiędzy tymi światami: oferuje rozbudowane narzędzia programistyczne, gotowe komponenty i łatwe przygotowywanie aplikacji na różne platformy. W wielu profesjonalnych realizacjach nie wybiera się jednego programu, lecz buduje układ, w którym każdy silnik odpowiada za swoją część zadania.

Najpierw trzeba nazwać problem, nie narzędzie

Instalacja artystyczna może wyglądać jak aplikacja czasu rzeczywistego, ale często nią nie jest. Nie zawsze potrzebuje systemu z logiką gry, postaciami sterowanymi przez sztuczną inteligencję czy skomplikowaną fizyką. Czasem najtrudniejszym elementem projektu jest odczyt danych z kilkudziesięciu czujników, synchronizacja obrazu z dźwiękiem albo przełożenie ruchu widza na parametry generowanej grafiki.

W takim układzie klasyczny silnik 3D nie musi być najlepszym punktem startowym. Jeżeli instalacja reaguje na nacisk, odległość, ruch, światło, sygnały MIDI lub sterowanie oświetleniem DMX, środowisko wyspecjalizowane w przetwarzaniu danych może skrócić pracę bardziej niż dodatkowa jakość renderowania.

Z kolei przy scenie z realistyczną architekturą, dużą liczbą obiektów, dynamicznym oświetleniem i efektami cząsteczkowymi przewaga przechodzi na stronę Unreal Engine. Unity będzie naturalnym wyborem wtedy, gdy projekt wymaga własnej logiki aplikacji, wielu ekranów docelowych, rozbudowanego interfejsu albo szybkiego wykorzystania gotowych zasobów.

Najpraktyczniejszy podział wygląda tak:

• TouchDesigner — dane, sygnały, czujniki, prototypowanie i wizualne sterowanie instalacją;
• Unreal Engine 5 — zaawansowane sceny 3D, fotorealizm, światło i efekty;
• Unity — aplikacyjna elastyczność, skrypty w C#, gotowe zasoby i wdrażanie na wielu platformach.

W instalacji immersyjnej obraz jest tylko jedną warstwą. O powodzeniu projektu często decyduje to, czy silnik potrafi bez tarcia rozmawiać ze sprzętem.

TouchDesigner jako centrum dowodzenia

TouchDesigner wykorzystuje architekturę węzłową. Zamiast budować całą logikę w klasycznym kodzie, twórca łączy operatory odpowiadające za dane, obraz, geometrię i przepływ sygnałów. Dla instalacji interaktywnych ma to konkretną zaletę: można szybko zobaczyć, skąd przychodzi sygnał, jak jest filtrowany i w jaki sposób wpływa na obraz.

Szczególnie istotne są trzy rodzaje operatorów:

• CHOP służy do pracy z sygnałami i danymi, między innymi z czujników, kontrolerów czy urządzeń sterujących;
• TOP odpowiada za tekstury i operacje na obrazie;
• SOP pracuje z geometrią i strukturami przestrzennymi.

Taki układ dobrze pasuje do projektów, w których relacja między wejściem a reakcją wizualną jest częścią dzieła. Twórca może mapować wartość z czujnika odległości na intensywność światła, położenie obiektu, deformację obrazu albo tempo generowania cząsteczek. Nie musi od razu tworzyć pełnej aplikacji z osobnymi klasami, systemem scen i rozbudowaną warstwą interfejsu.

TouchDesigner jest też mocny w komunikacji. W instalacjach artystycznych spotyka się między innymi:

• OSC do przesyłania komunikatów między aplikacjami i urządzeniami;
• DMX do sterowania oświetleniem scenicznym, oprawami i innymi urządzeniami;
• MIDI do współpracy z kontrolerami i sprzętem muzycznym;
• NDI do przesyłania obrazu w sieci;
• Spout w systemie Windows oraz Syphon w systemie macOS do wymiany tekstur między aplikacjami.

To sprawia, że TouchDesigner często pełni funkcję warstwy integracyjnej. Nie musi samodzielnie renderować całej sceny. Może odbierać dane z urządzeń, przetwarzać je i przekazywać dalej do programu odpowiedzialnego za obraz końcowy.

Gdzie TouchDesigner zaczyna ustępować?

Największym ograniczeniem TouchDesignera nie jest brak możliwości tworzenia 3D, lecz skala i charakter sceny. Program może generować geometrię, pracować z teksturami i budować złożone efekty, jednak nie należy traktować go jako pełnego zamiennika silnika do skomplikowanych, fotorealistycznych środowisk trójwymiarowych.

Jeżeli projekt wymaga rozbudowanej nawigacji po świecie, zaawansowanego oświetlenia globalnego, realistycznych materiałów, dużych środowisk i systemów typowych dla gier, Unreal Engine albo Unity będą wygodniejszym zapleczem.

Trzeba też uważać na wersję licencyjną. Bezpłatna wersja TouchDesigner Non-Commercial ogranicza maksymalną rozdzielczość renderowanego obrazu do 1280 × 1280 pikseli. Nie pozwala również na zastosowanie komercyjne ani monetyzację. Przy instalacji przygotowywanej dla instytucji, klienta lub wydarzenia nie jest to drobny szczegół organizacyjny, lecz warunek wpływający na całą architekturę projektu.

Unreal Engine 5: kiedy obraz ma pierwszeństwo

Unreal Engine 5 jest wyborem dla projektów, w których główną trudnością jest stworzenie przekonującego świata 3D. Jego przewaga nie polega wyłącznie na tym, że potrafi wyświetlić atrakcyjną scenę. Liczy się zestaw narzędzi zaprojektowanych do pracy z dużą geometrią, światłem i efektami w czasie rzeczywistym.

Trzy technologie są szczególnie istotne dla sztuki interaktywnej:

• Nanite — system geometrii pozwalający pracować z bardzo szczegółowymi modelami;
• Lumen — dynamiczne oświetlenie i odbicia, które mogą reagować na zmiany w scenie;
• Niagara — rozbudowany system efektów cząsteczkowych.

W instalacji immersyjnej można dzięki temu budować przestrzenie, które zmieniają się pod wpływem ruchu widza, danych z czujników lub sygnałów z zewnętrznego systemu. Zmiana nie musi ograniczać się do koloru tła. Może obejmować zachowanie światła, gęstość atmosfery, wygląd materiałów, ruch setek elementów albo transformację całego środowiska.

Unreal Engine dobrze sprawdza się również wtedy, gdy instalacja ma jakość zbliżoną do produkcji filmowej. Dotyczy to projekcji wielkoformatowej, doświadczeń w kopułach, scenografii cyfrowej i przestrzeni, w której widz ma wrażenie wejścia do kompletnego świata, a nie oglądania pojedynczego efektu na ekranie.

Fotorealizm ma swoją cenę

Większy potencjał graficzny oznacza bardziej wymagający proces produkcyjny. W Unreal Engine trzeba zarządzać sceną, materiałami, oświetleniem, geometrią, pamięcią karty graficznej i konfiguracją docelowego stanowiska. Przy projekcji wielokanałowej dochodzą jeszcze kwestie synchronizacji, rozdzielczości i rozdzielenia renderowania między komputery.

Nie ma jednego uniwersalnego progu wydajności, przy którym można powiedzieć, że kilka silników będzie działało poprawnie na jednym komputerze. Zależy to od karty graficznej, rozdzielczości renderowania, liczby wyświetlanych kanałów, złożoności sceny i liczby efektów aktywnych jednocześnie. To właśnie dlatego architekturę techniczną warto ustalić przed przygotowaniem finalnych assetów, a nie dopiero podczas montażu instalacji.

Unreal Engine nie jest także najwygodniejszym narzędziem do bezpośredniego podłączania każdego rodzaju sprzętu. Można integrować go z urządzeniami i protokołami, ale w wielu realizacjach TouchDesigner przejmuje obsługę czujników, MIDI, OSC i DMX, a Unreal otrzymuje już uporządkowane dane.

Unity: aplikacja interaktywna zamiast samego renderera

Unity ma inną filozofię pracy niż TouchDesigner. Opiera się na modularnej architekturze komponentowej, a głównym językiem skryptowym jest C#. Dzięki temu dobrze pasuje do instalacji, która jest jednocześnie aplikacją: ma rozbudowaną logikę, stany doświadczenia, system użytkowników, menu, zapis danych albo wiele trybów działania.

Dużym atutem pozostaje Asset Store. Gotowe modele, materiały, narzędzia i komponenty mogą przyspieszyć budowę prototypu. Nie oznacza to, że zasób pobrany ze sklepu automatycznie rozwiązuje problem artystyczny. Nadal trzeba sprawdzić jego jakość, licencję, wydajność i możliwość dostosowania do konkretnej przestrzeni. Jednak w projektach z krótkim terminem przygotowania dostęp do gotowych elementów bywa realną przewagą.

Unity ułatwia również przygotowanie aplikacji wykonywalnych na różne platformy sprzętowe. Format .exe może być przydatny przy instalacjach działających na komputerach wystawienniczych, stanowiskach interaktywnych czy systemach uruchamianych bez nadzoru. Zespół może zbudować osobne aplikacje dla różnych konfiguracji, zamiast opierać całe doświadczenie na jednym środowisku roboczym.

TouchDesigner czy Unity w instalacji?

To porównanie ma sens tylko wtedy, gdy pytanie dotyczy konkretnej funkcji. TouchDesigner zwykle szybciej prowadzi od sygnału z urządzenia do reakcji wizualnej. Unity daje większą kontrolę nad strukturą aplikacji, kodem i zachowaniem wielu elementów sceny.

Unity będzie rozsądnym wyborem, gdy instalacja musi zachowywać się jak stabilny produkt cyfrowy. Jeżeli natomiast sednem pracy jest eksperyment z sygnałem, obrazem i urządzeniem, TouchDesigner zazwyczaj pozwala szybciej dojść do pierwszej działającej wersji.

Łączenie silników: rozwiązanie produkcyjne, nie kompromis

Najczęściej powtarzany błąd przy planowaniu instalacji polega na traktowaniu połączenia dwóch programów jako oznaki nieudanego wyboru. W rzeczywistości rozdzielenie odpowiedzialności może być najrozsądniejszą architekturą.

TouchDesigner może pełnić rolę centrali danych:

1. odbiera sygnały z czujników i kontrolerów;

2. filtruje je, skaluje i porządkuje;

3. tłumaczy komunikaty na wartości zrozumiałe dla drugiego środowiska;

4. przesyła dane lub tekstury do silnika renderującego;

5. obsługuje elementy instalacji niezwiązane bezpośrednio z geometrią 3D.

Unreal Engine albo Unity mogą w tym czasie renderować scenę, której TouchDesigner nie musi budować samodzielnie. Taki podział jest spotykany również w pracy profesjonalnych studiów zajmujących się dużymi doświadczeniami immersyjnymi. Nie chodzi o konkretną markę programu, tylko o wykorzystanie mocnych stron każdego narzędzia.

Spout i Syphon: tekstura bez niepotrzebnej drogi

Na jednym komputerze najbardziej eleganckim sposobem przekazywania obrazu między aplikacjami może być użycie Spout w systemie Windows albo Syphon w systemie macOS. Protokoły te pozwalają dzielić się teksturami bezpośrednio w pamięci karty graficznej.

W praktyce oznacza to brak konieczności kodowania obrazu do strumienia wideo i przesyłania go przez pamięć RAM systemu. Odpada też część narzutu związanego z klasycznym przesyłaniem obrazu między procesami. Przy instalacji reagującej na ruch lub dotyk ta różnica może mieć znaczenie, bo każda dodatkowa warstwa pośrednia zwiększa ryzyko opóźnienia i problemów z synchronizacją.

Spout jest rozwiązaniem przeznaczonym dla systemu Windows, natomiast Syphon działa w środowisku macOS. Nie są więc wymiennymi nazwami jednego uniwersalnego protokołu, tylko odpowiednikami zależnymi od platformy.

NDI: wygoda sieci kosztem opóźnienia

NDI przydaje się wtedy, gdy aplikacje działają na różnych komputerach albo obraz trzeba przesłać przez sieć. Jest bardziej elastyczny organizacyjnie niż rozwiązania ograniczone do jednego GPU, ale wprowadza dodatkową warstwę przetwarzania.

Przy 60 kl./s opóźnienie związane z kodowaniem obrazu przez procesor może mieścić się w zakresie 10–60 ms. To nie musi dyskwalifikować NDI. W instalacji, w której obraz reaguje na zmianę światła powoli albo jest częścią projekcji o charakterze filmowym, taki poziom opóźnienia może być akceptowalny. Przy interakcji dotykowej, śledzeniu gestu lub precyzyjnej synchronizacji z ruchem widza będzie jednak bardziej odczuwalny.

Wybór metody przesyłu powinien wynikać z układu instalacji:

• Spout lub Syphon — gdy oba programy działają na jednym komputerze i liczy się możliwie bezpośredni dostęp do tekstury;
• NDI — gdy potrzebne jest przesyłanie obrazu między komputerami w sieci;
• OSC, DMX lub MIDI — gdy drugi silnik nie musi otrzymywać gotowego obrazu, lecz tylko dane sterujące.

Im wcześniej zespół rozdzieli dane, tekstury i finalny render, tym mniej niespodzianek pojawia się podczas montażu instalacji.

Jak dobrać silnik do skali projektu?

Nie istnieje jedna tabela, która zastąpi decyzję projektową, ale kilka scenariuszy pozwala szybko zawęzić wybór.

Mały prototyp reagujący na ruch lub dźwięk

Jeśli celem jest sprawdzenie, jak instalacja odpowie na dane z kamery, czujnika odległości, kontrolera MIDI albo mikrofonu, najrozsądniej zacząć od TouchDesignera. Jego wizualny sposób budowania połączeń ułatwia eksperymentowanie. Można szybko zmienić zakres wartości, dodać filtr, odwrócić reakcję albo połączyć kilka sygnałów bez przebudowy całej aplikacji.

Unity również się nada, ale jego przewaga pojawi się dopiero wtedy, gdy prototyp ma od początku rozwijać się w stronę kompletnej aplikacji.

Interaktywna scenografia 3D

Przy środowisku, po którym widz się porusza, Unreal Engine 5 będzie naturalnym kandydatem, szczególnie gdy potrzebna jest wysoka jakość materiałów, dynamiczne światło i rozbudowane efekty. TouchDesigner może w takim projekcie obsługiwać wejścia i sterowanie, ale nie musi być głównym rendererem.

Unity ma sens wtedy, gdy jakość wizualna jest istotna, lecz równie ważne są mechanizmy aplikacyjne, wieloplatformowość albo wykorzystanie gotowych zasobów z Asset Store.

Instalacja muzealna działająca bez nadzoru

W muzeum liczy się nie tylko efekt pierwszego uruchomienia. System musi zachowywać się przewidywalnie po wielu godzinach pracy, reagować na nietypowe zachowania odbiorców i dać się szybko uruchomić po restarcie komputera.

Unity bywa wygodny jako podstawa zamkniętej aplikacji wykonywalnej. TouchDesigner jest mocny w warstwie urządzeń i sygnałów, ale przy wersji Non-Commercial odpada zastosowanie komercyjne. Unreal Engine sprawdzi się, gdy instalacja wymaga cięższej grafiki 3D i zespół ma doświadczenie w utrzymaniu takiego środowiska.

Projekcja wielkoformatowa i doświadczenie immersyjne

Przy wielu projektorach, dużych rozdzielczościach i złożonym środowisku 3D zwykle wygrywa układ hybrydowy. Unreal Engine renderuje scenę, a TouchDesigner zarządza danymi wejściowymi, warstwami sterowania i komunikacją z urządzeniami.

W tym scenariuszu trzeba od początku ustalić, czy obraz będzie przekazywany na jednym komputerze przez Spout lub Syphon, czy między maszynami za pomocą NDI. Wybór dokonany na końcu może wymusić zmianę całej konfiguracji sprzętowej.

Co ustalić przed rozpoczęciem produkcji?

Decyzja dotycząca silnika powinna wynikać z kilku technicznych odpowiedzi. Nie chodzi o tworzenie formalnej listy kontrolnej, lecz o wyeliminowanie błędów, których nie da się łatwo naprawić po zamówieniu sprzętu.

1. Jaki jest główny sygnał wejściowy?

Inaczej projektuje się instalację sterowaną jednym kontrolerem MIDI, inaczej system z wieloma czujnikami i jeszcze inaczej doświadczenie wykorzystujące śledzenie ruchu. TouchDesigner zwykle będzie wygodniejszy tam, gdzie sygnałów jest dużo, są różnego rodzaju i trzeba je szybko łączyć.

2. Czy obraz ma być realistycznym światem 3D?

Jeśli tak, Unreal Engine 5 oferuje narzędzia stworzone właśnie do tego rodzaju pracy. Nanite, Lumen i Niagara nie są ozdobnymi nazwami w menu. Odpowiadają kolejno za szczegółową geometrię, dynamiczne oświetlenie i efekty cząsteczkowe, czyli elementy często decydujące o charakterze instalacji immersyjnej.

3. Czy projekt jest aplikacją, czy układem audiowizualnym?

Aplikacja ma stany, reguły, interfejsy, zapis i często wiele platform docelowych. Układ audiowizualny może być bardziej otwarty, eksperymentalny i oparty na przepływie sygnałów. Pierwszy profil kieruje uwagę w stronę Unity, drugi często w stronę TouchDesignera.

4. Gdzie będzie odbywało się przesyłanie obrazu?

Przy jednym GPU naturalnym kandydatem są Spout lub Syphon. Przy kilku komputerach NDI daje wygodę sieciową, ale trzeba zaplanować opóźnienie rzędu 10–60 ms przy 60 kl./s. Nie jest to detal do dopisania w dokumentacji. Opóźnienie wpływa na odczucie interakcji.

5. Kto będzie utrzymywał instalację?

Zespół, który zna Unity i C#, może szybciej dostarczyć stabilną aplikację w tym środowisku. Osoby pracujące z grafiką generatywną, protokołami scenicznymi i sprzętem interaktywnym mogą sprawniej działać w TouchDesignerze. Unreal Engine wymaga kompetencji związanych z produkcją wysokiej jakości grafiki 3D. Najlepszy silnik na papierze nie pomoże, jeśli nie pasuje do doświadczenia zespołu.

Najrozsądniejszy wybór w skrócie

TouchDesigner wybierz wtedy, gdy rdzeniem instalacji są dane, urządzenia, sygnały i szybkie eksperymentowanie z obrazem. To dobre centrum sterowania dla czujników, MIDI, OSC i DMX, a także praktyczne narzędzie do prototypowania. Nie zakładaj jednak, że bez ograniczeń zastąpi silnik do rozbudowanych scen fotorealistycznych.

Unreal Engine 5 wybierz, gdy najważniejszy jest wizualny ciężar projektu: szczegółowa geometria, dynamiczne oświetlenie, realistyczne materiały i efekty cząsteczkowe. Przy instalacjach immersyjnych daje największy potencjał obrazu, ale wymaga odpowiednio przygotowanego sprzętu i zespołu.

Unity wybierz, gdy instalacja ma działać jak dopracowana aplikacja interaktywna, kompilować się na różne platformy i korzystać z logiki pisanej w C#. Asset Store może przyspieszyć produkcję, a komponentowa architektura dobrze służy projektom, które z czasem rozrastają się o kolejne funkcje.

W wielu przypadkach najlepszą odpowiedzią nie będzie TouchDesigner albo Unity, lecz TouchDesigner z Unity. Ten sam model hybrydowy może wyglądać jak TouchDesigner z Unreal Engine, jeśli priorytetem jest jakość sceny 3D. Pierwszy program obsługuje świat urządzeń i danych, drugi buduje obraz. Taki podział nie jest nadmiarem technologii. Jest sposobem na to, by nie zmuszać jednego narzędzia do wykonywania zadań, do których nie zostało stworzone.

Ostateczny wybór silnika czasu rzeczywistego do instalacji artystycznej powinien więc zaczynać się od przepływu: co wchodzi do systemu, co ma się wydarzyć i jaki obraz musi wyjść na końcu. Dopiero później warto rozstrzygać, czy sercem projektu zostanie TouchDesigner, Unity, Unreal Engine 5 czy ich precyzyjnie podzielony zestaw.