System optyczny czy czujniki IMU do mappingu na żywo?

Gdy opóźnienie przekracza około 6–7 ms, ludzkie oko zaczyna zauważać przesunięcie projekcji względem powierzchni. Przy spokojnej instalacji może ono ujść uwadze. Przy tancerzu, obracającej się rzeźbie albo szybko poruszającym się elemencie scenografii natychmiast odbiera obrazowi wiarygodność.

Dlatego wybór między systemem optycznym a czujnikami IMU nie jest prostym porównaniem dwóch typów urządzeń. To decyzja o tym, jak system ma rozumieć ruch, jak długo ma działać bez ponownej kalibracji i co stanie się, gdy kamera straci obiekt z pola widzenia albo czujnik zacznie kumulować błąd. W praktyce najlepsze instalacje coraz częściej łączą oba podejścia, zamiast traktować je jako konkurencyjne rozwiązania.

Bariera 7 milisekund: od ruchu do obrazu

Dynamiczny mapping różni się od klasycznej projekcji na nieruchomej fasadzie przede wszystkim tym, że geometria sceny nie pozostaje stała. Projektor musi wiedzieć, gdzie znajduje się obiekt, w którą stronę jest obrócony i jak szybko zmienia pozycję. Następnie oprogramowanie przelicza obraz, a projektor wyświetla skorygowaną klatkę na właściwej powierzchni.

W tym łańcuchu opóźnienie może pojawić się na kilku etapach:

• pomiar ruchu przez kamerę lub czujnik,
• przesłanie danych do komputera,
• obliczenie nowej pozycji i orientacji,
• przygotowanie klatki,
• przesłanie obrazu do projektora,
• wyświetlenie obrazu przez układ projekcyjny.

Jeżeli każdy etap dodaje niewielką zwłokę, suma szybko przekracza granicę, przy której projekcja przestaje być przyklejona do obiektu. Widz nie musi umieć nazwać problemu. Wystarczy, że zauważy obrys przesuwający się po krawędzi, cień pozostający za ruchem albo wzór, który spóźnia się przy gwałtownym obrocie.

W dynamicznym mappingu kilka milisekund nie jest detalem technicznym. To różnica między obrazem przytwierdzonym do obiektu a obrazem, który za nim podąża.

Częstotliwość odświeżania ma tu znaczenie, ale nie można utożsamiać jej z całkowitym opóźnieniem. Projektor pracujący z częstotliwością 60 Hz odświeża obraz co około 16,7 ms. To już więcej niż graniczne 6–7 ms, a przecież do tego dochodzi jeszcze pomiar ruchu i obliczenia. Sam projektor 60 Hz nie musi być bezużyteczny — przy wolnym ruchu, dużej tolerancji artystycznej lub zamierzonej deformacji obrazu może wystarczyć — ale nie zapewni idealnego śledzenia szybkiej choreografii.

Warto rozdzielić trzy parametry, które w opisach systemów bywają wrzucane do jednego worka:

1. Częstotliwość pomiaru — jak często kamera albo czujnik dostarcza dane o ruchu.

2. Opóźnienie sygnału — ile czasu mija od zarejestrowania ruchu do przekazania informacji dalej.

3. Opóźnienie od ruchu do projekcji — pełny czas obejmujący pomiar, obliczenia i wyświetlenie obrazu.

W instalacji interaktywnej można mieć kamerę pracującą bardzo szybko, ale nadal uzyskać zauważalny lag, jeśli oprogramowanie, transmisja danych albo projektor nie nadążają. Z drugiej strony sam wysoki parametr częstotliwości nie gwarantuje precyzji przestrzennej. System może dostarczać wiele pomiarów, lecz każdy z nich będzie obarczony błędem.

Systemy optyczne: dokładny obraz sceny, wymagające warunki

System optyczny rozpoznaje ruch na podstawie obrazu z kamer. W zależności od rozwiązania może śledzić znaczniki umieszczone na obiekcie, charakterystyczne punkty jego powierzchni albo całą sylwetkę. W instalacjach scenicznych i artystycznych często stosuje się kamery podczerwone, kamery o wysokiej częstotliwości rejestracji oraz czujniki głębi.

Największa zaleta takiego podejścia jest oczywista: kamera obserwuje przestrzeń i może określić pozycję obiektu względem sceny. Nie mierzy wyłącznie tego, jak obiekt sam się porusza, lecz odnosi jego ruch do zewnętrznego układu odniesienia. To właśnie sprawia, że system optyczny może korygować błędy narastające w czasie.

W typowej konfiguracji kilka kamer obserwuje wspólny obszar. Oprogramowanie porównuje dane z różnych punktów widzenia, wyznacza położenie obiektu i przekazuje je do silnika odpowiedzialnego za projekcję. Większa liczba kamer nie zawsze oznacza automatycznie lepszy rezultat, ale ogranicza ryzyko, że obiekt zniknie za przeszkodą albo zostanie zasłonięty przez wykonawcę.

Kamery podczerwone i znaczniki

Kamery IR dobrze sprawdzają się wtedy, gdy można kontrolować scenę i zastosować znaczniki śledzące. Ich przewagą jest precyzyjne określenie położenia oraz możliwość pracy z kilkoma kamerami jednocześnie. W praktyce taki system przypomina rozwiązania wykorzystywane w przechwytywaniu ruchu, choć jego konfiguracja musi być podporządkowana projekcji, a nie animacji postaci.

Ograniczeniem jest zasłanianie widoku. Wystarczy, że marker znajdzie się za ramieniem tancerza, elementem scenografii albo innym obiektem, aby jedna z kamer przestała dostarczać pełne dane. Przy odpowiedniej liczbie kamer można częściowo rozwiązać ten problem, ale rośnie złożoność kalibracji, okablowania i ustawienia całej przestrzeni.

Trudność sprawia również światło. Reflektory, intensywne źródła podczerwieni, odbicia od jasnych powierzchni i dym sceniczny mogą pogorszyć jakość detekcji. Nie oznacza to, że system optyczny nie nadaje się do teatru czy galerii. Oznacza natomiast, że warunki oświetleniowe trzeba uwzględnić już na etapie projektowania, a nie dopiero podczas próby generalnej.

Kamery wysokiej prędkości

Jeżeli obiekt porusza się gwałtownie, zwykła kamera może rejestrować zbyt mało klatek, by dokładnie odtworzyć jego trajektorię. W rozwiązaniach przeznaczonych do dynamicznego mappingu spotyka się częstotliwości rzędu 240 klatek na sekundę, a kamery wysokiej prędkości mogą pracować nawet przy wartościach dochodzących do 1000 klatek na sekundę.

To nie jest jednak uniwersalne lekarstwo. Wyższa częstotliwość oznacza zwykle większe wymagania wobec oświetlenia, transmisji danych i mocy obliczeniowej. Kamera rejestrująca bardzo dużo klatek musi przekazać je do systemu bez opóźnień, a oprogramowanie musi wyłuskać z nich użyteczną informację szybciej, niż obiekt zmieni pozycję.

Warto też pamiętać, że rozdzielczość i częstotliwość często pozostają w napięciu. Kamera może działać niezwykle szybko, ale przy ograniczonej rozdzielczości. Dla znacznika o wysokim kontraście nie będzie to problem. Dla bezmarkerowego śledzenia nieregularnej rzeźby — już tak.

Czujniki ToF

Czujniki czasu przelotu, czyli ToF, mierzą czas potrzebny na przejście wiązki światła do obiektu i z powrotem. Pozwala to określić odległość, a w niektórych konfiguracjach także zbudować mapę głębi sceny.

To interesująca opcja przy instalacjach, w których nie chce się stosować znaczników albo gdy obiekt ma zmienną formę. Trzeba jednak uważać na pole widzenia. Pojedyncze czujniki ToF często obejmują około 30–40 stopni, więc mogą nie obserwować całej sceny. Przy większym obszarze potrzebne są kolejne czujniki, ich wzajemna kalibracja i rozwiązanie problemu nakładających się pomiarów.

System optyczny najlepiej działa w kontrolowanej przestrzeni: z przewidywalnym oświetleniem, ustalonym obszarem ruchu i możliwością rozmieszczenia kamer tak, aby obiekt był widoczny z kilku stron. Im bardziej otwarta, zatłoczona i zmienna jest scena, tym większe znaczenie ma odporność na chwilową utratę obrazu.

Czujniki IMU: szybkość bez zewnętrznego punktu odniesienia

Moduł IMU mierzy ruch za pomocą żyroskopów i akcelerometrów. W zależności od konstrukcji może dostarczać informacji o sześciu stopniach swobody: przyspieszeniu liniowym oraz obrotach wokół trzech osi — przechyleniu, obrocie i wychyleniu.

IMU jest mały, lekki i nie potrzebuje pola widzenia. Można umieścić go na ruchomej rzeźbie, kostiumie, rekwizycie albo elemencie scenografii. Nie przeszkadza mu zasłonięcie przez ciało wykonawcy, ciemność ani zmiana układu reflektorów. Dane mogą być dostarczane z wysoką częstotliwością, dzięki czemu czujnik bardzo dobrze reaguje na nagłe obroty i krótkie, dynamiczne ruchy.

To właśnie dlatego czujniki IMU są tak kuszące w sztuce interaktywnej. Instalacja wydaje się prostsza: przytwierdzamy moduł do obiektu, odczytujemy jego orientację i na tej podstawie sterujemy projekcją. Problem zaczyna się wtedy, gdy trzeba określić nie tylko obrót, lecz także stabilną pozycję w przestrzeni.

Dryf, czyli błąd, który narasta

IMU nie widzi sceny. Rejestruje przyspieszenie i obrót, a pozycję oblicza na podstawie kolejnych pomiarów. Każdy pomiar jest trochę niedokładny. Po jego całkowaniu błąd nie znika, lecz zostaje przeniesiony do następnego obliczenia. W efekcie po pewnym czasie system może uznać, że obiekt znajduje się nieco dalej, wyżej albo bardziej z boku, niż jest w rzeczywistości.

To zjawisko nazywa się dryfem. W krótkiej sekwencji może być niemal niewidoczne. W długiej instalacji, szczególnie przy ciągłym ruchu i braku punktów odniesienia, zaczyna prowadzić do wyraźnego odklejenia projekcji.

Nie oznacza to, że IMU jest złym wyborem. Oznacza tylko, że sam moduł inercyjny nie powinien być traktowany jako kompletne rozwiązanie do długotrwałego śledzenia pozycji. Dobrze radzi sobie z informacją o tym, jak obiekt się obraca i jak gwałtownie zmienia ruch. Znacznie gorzej odpowiada na pytanie, gdzie dokładnie znajduje się po kilku minutach pracy.

Kiedy IMU ma przewagę

Czujnik inercyjny jest szczególnie użyteczny w kilku sytuacjach:

• gdy obiekt często znika z pola widzenia kamer,
• gdy na scenie pracuje wielu wykonawców i występują wzajemne zasłonięcia,
• gdy ruch odbywa się w ciemności albo przy bardzo zmiennym oświetleniu,
• gdy liczy się mała masa i niewielkie wymiary urządzenia,
• gdy najważniejsza jest orientacja obiektu, a nie jego absolutna pozycja,
• gdy trzeba szybko reagować na obroty, szarpnięcia i krótkie impulsy ruchu.

Przykładowo, przy projekcji na obracającym się rekwizycie informacja o kącie obrotu może być ważniejsza niż perfekcyjne wyznaczenie jego położenia na całej scenie. Przy kostiumie tancerza IMU może natomiast dostarczać dane o ruchu ciała nawet wtedy, gdy kamera nie widzi znacznika przez kilka klatek.

Nie należy jednak wyciągać z tego wniosku, że większa częstotliwość pomiaru rozwiązuje problem dryfu. Szybciej dostarczane dane mogą poprawić reakcję systemu, lecz nie zastępują zewnętrznej korekty położenia.

Optyka czy IMU? Porównanie dla projektanta instalacji

Najprościej ująć różnicę tak: system optyczny opisuje obiekt względem sceny, a IMU opisuje jego ruch od chwili rozpoczęcia pomiaru. Pierwszy potrzebuje widoczności, drugi — stabilnego modelu obliczeniowego i okresowej korekcji.

W praktyce pytanie „mapping na ruchomych obiektach: kamery czy czujniki?” jest więc źle postawione, jeśli zakłada wybór jednej technologii dla każdej instalacji. Trafniejsze pytanie brzmi: który parametr musi być stabilny — pozycja, orientacja, szybkość reakcji czy odporność na zasłonięcia?

OptiTrack a IMU w mappingu

Porównanie systemów pokroju OptiTrack z rozwiązaniem opartym wyłącznie na IMU dobrze pokazuje tę różnicę. System optyczny może utrzymywać obiekt w zewnętrznym układzie odniesienia, ale potrzebuje odpowiedniej liczby kamer i widocznych punktów pomiarowych. IMU działa niezależnie od kamer i może być znacznie łatwiejsze do zamontowania, lecz bez korekcji położenia będzie stopniowo odchodzić od rzeczywistej trajektorii.

Wybór optycznego systemu śledzenia ma sens przy dużej, dokładnie zaprojektowanej scenie, gdy można ustawić kamery w stałych miejscach. Moduły IMU będą praktyczniejsze przy obiektach noszonych, szybko zmieniających kierunek lub regularnie zasłanianych przez innych uczestników widowiska. Jeżeli instalacja ma działać długo i bez ręcznej kalibracji, rozwiązanie hybrydowe zwykle daje bezpieczniejszy rezultat.

Fuzja sensorów: dlaczego dwa źródła danych wygrywają

Fuzja sensorów polega na połączeniu danych z różnych urządzeń tak, aby każde kompensowało słabość pozostałych. Kamera dostarcza informacji o położeniu względem sceny, a IMU reaguje szybko na zmiany ruchu. Gdy kamera chwilowo traci obiekt, system może przez krótki czas opierać się na danych inercyjnych. Gdy IMU zaczyna dryfować, pomiar optyczny koryguje jego stan.

Do łączenia takich danych wykorzystuje się między innymi filtr Kalmana lub inne algorytmy estymacji stanu. Nie chodzi w nich o zwykłe uśrednianie dwóch pomiarów. System musi ocenić, które źródło jest w danej chwili bardziej wiarygodne. Jeżeli kamera została zakłócona przez odbicie, jej wskazanie nie powinno natychmiast przestawić całej projekcji. Jeżeli natomiast IMU przez dłuższy czas nie ma punktu odniesienia, korekta optyczna powinna stopniowo przywrócić właściwą pozycję.

W dobrze zaprojektowanej instalacji dane mogą pełnić różne role:

• IMU odpowiada za szybką informację o obrocie i przyspieszeniu,
• kamery utrzymują pozycję w układzie sceny,
• czujniki głębi pomagają określić odległość od powierzchni,
• oprogramowanie synchronizuje pomiary i kompensuje ich różne częstotliwości,
• projektor otrzymuje już przeliczoną informację o tym, jak skorygować obraz.

Takie podejście jest szczególnie istotne, gdy dynamiczny mapping 3D ma działać na obiekcie poruszającym się w kilku kierunkach jednocześnie. Sama orientacja nie wystarczy, jeśli projektor musi dopasować obraz do zmieniającej się pozycji. Sama kamera może z kolei reagować zbyt wolno na gwałtowny obrót albo chwilowo zgubić znacznik.

IMU daje systemowi refleks. Kamera daje mu pamięć o tym, gdzie naprawdę znajduje się scena.

Fuzja nie usuwa wszystkich problemów. Dodaje własne: trzeba zsynchronizować zegary, ustalić układy współrzędnych, skalibrować położenie czujnika względem obiektu i określić, jak system ma reagować na sprzeczne dane. W praktyce większa liczba urządzeń oznacza też więcej punktów awarii. Mimo to w instalacjach, w których błąd projekcji jest widoczny dla publiczności, ta złożoność często jest uzasadniona.

Jak dobrać technologię do rodzaju instalacji

Nie ma jednego najlepszego systemu śledzenia ruchu do projekcji. Technologia powinna wynikać z choreografii obiektu, geometrii miejsca i czasu trwania pokazu.

Nieruchoma lub wolno poruszająca się rzeźba

Jeżeli obiekt wykonuje ograniczone, powtarzalne ruchy, można zacząć od systemu optycznego z mniejszą liczbą kamer. W takim przypadku ważniejsza będzie stabilna kalibracja niż ekstremalna częstotliwość pomiaru. Jeśli projekcja ma podążać za obrotem podstawy albo wahadłowym ruchem elementu, IMU może być dodatkiem upraszczającym pomiar orientacji.

Nie ma sensu budować konfiguracji przeznaczonej do śledzenia akrobacji, jeśli obiekt porusza się powoli i w jasno określonym obszarze. Nadmiar sprzętu zwiększy koszt i czas przygotowania, ale niekoniecznie poprawi efekt widoczny dla widza.

Tancerz, performer lub ruchomy kostium

Przy człowieku problemem jest zasłanianie znaczników, zmienny kształt sylwetki i nagłe zmiany kierunku. IMU zamontowane na kostiumie może dostarczać stabilnych danych o obrocie, lecz do utrzymania pozycji względem sceny potrzebne będą kamery albo inne punkty odniesienia.

Warto rozważyć, czy projekcja ma dokładnie pokrywać ciało, czy tylko reagować na jego ruch. W pierwszym przypadku wymagania dotyczące opóźnienia i kalibracji są znacznie większe. W drugim można dopuścić kontrolowaną deformację, a nawet wykorzystać niewielkie przesunięcie jako element języka wizualnego.

Szybko poruszający się obiekt

Przy dużej prędkości najważniejsze stają się częstotliwość pomiaru, całkowite opóźnienie i stabilność transmisji. System powinien rejestrować ruch wystarczająco często, by nie odtwarzać go jako serii dużych skoków. Dedykowane rozwiązania dynamiczne mogą pracować z częstotliwością do 240 klatek na sekundę, a specjalistyczne kamery wysokiej prędkości osiągają jeszcze wyższe wartości.

W takich warunkach system optyczny powinien mieć kilka punktów widzenia. Jedna kamera może nie wystarczyć, jeśli obiekt obraca się wokół własnej osi. IMU warto wykorzystać do szybkiej predykcji krótkoterminowej, ale nie jako jedyne źródło informacji o pozycji.

Instalacja w nieprzewidywalnej przestrzeni

Galeria otwarta dla publiczności, wydarzenie plenerowe albo scena, na której widzowie mogą wejść w obszar działania, stawiają inne wymagania. Ludzie zasłaniają markery, zmieniają odbicia i mogą przypadkowo wejść między kamerę a obiekt. W takim środowisku rozwiązanie oparte wyłącznie na optyce może wymagać zbyt wielu zabezpieczeń.

IMU ogranicza zależność od widoczności, lecz nie rozwiązuje problemu długotrwałego dryfu. Najlepiej sprawdza się układ, w którym kamera okresowo przywraca odniesienie, a moduł inercyjny utrzymuje płynność pomiaru między kolejnymi korektami.

Co sprawdzić przed wyborem systemu

Zamiast zaczynać od listy urządzeń, warto opisać zachowanie instalacji. To pozwala uniknąć sytuacji, w której kupiony system ma świetne parametry katalogowe, ale nie odpowiada na rzeczywisty problem sceny.

Najbardziej użyteczne pytania dotyczą:

• Maksymalnej prędkości ruchu — wolny obrót i gwałtowny skok wymagają zupełnie innych częstotliwości pomiaru.
• Zakresu przestrzeni — mała scena pozwala łatwiej ustawić kilka kamer, duża wymaga szerszego pokrycia i dokładniejszej kalibracji.
• Możliwości stosowania znaczników — w kostiumie mogą być akceptowalne, w zabytkowej rzeźbie albo instalacji dotykanej przez widzów już niekoniecznie.
• Ryzyka zasłonięcia — trzeba przewidzieć nie tylko ruch obiektu, lecz także obecność wykonawców, widzów i scenografii.
• Warunków świetlnych — światło dzienne, reflektory i powierzchnie odbijające mogą istotnie zmienić pracę kamer.
• Czasu trwania działania — krótka sekwencja może tolerować niewielki dryf, wielogodzinna instalacja już nie.
• Wymaganego poziomu dopasowania — projekcja reagująca na ruch potrzebuje mniej precyzji niż obraz, który ma przez cały czas pokrywać konkretną krawędź.
• Możliwości kalibracji przed pokazem — jeśli scena zmienia się codziennie, system powinien mieć powtarzalny i szybki proces ustawiania.
• Całkowitego opóźnienia — nie tylko parametru kamery czy czujnika, ale pełnego łańcucha od ruchu do obrazu.

Szczególnie istotne jest ostatnie kryterium. Opóźnienie poniżej 5 ms deklarowane dla dedykowanych systemów dynamicznego śledzenia, takich jak Panasonic ET-SWR10, dotyczy konkretnego odcinka toru sygnałowego. Nie należy automatycznie zakładać, że cała instalacja osiągnie ten sam wynik. Ostateczny efekt zależy również od projektora, oprogramowania, sposobu renderowania i synchronizacji urządzeń.

Jak zrobić dynamiczny mapping 3D, który nie rozpada się przy ruchu

Projektowanie takiej instalacji warto prowadzić etapami. Najpierw trzeba ustalić, co właściwie ma być śledzone. Czy jest to punkt, bryła, cała sylwetka, czy tylko orientacja powierzchni? Następnie należy zbudować układ odniesienia sceny i określić, gdzie znajduje się projektor względem obszaru ruchu.

Kolejność prac ma znaczenie:

1. Zdefiniuj tolerancję obrazu. Projekcja na płaskim, jasnym obiekcie może wybaczyć więcej niż cienki kontur biegnący po krawędzi rzeźby.

2. Zmierz ruch, a nie tylko jego maksymalny zakres. Liczy się prędkość, przyspieszenie i częstotliwość nagłych zmian kierunku.

3. Wybierz źródło danych o pozycji. Jeśli obiekt ma pozostawać w układzie sceny, potrzebne będzie odniesienie optyczne lub inne zewnętrzne.

4. Dodaj pomiar orientacji. Przy obrotach IMU może poprawić płynność i ograniczyć opóźnienie reakcji.

5. Zsynchronizuj urządzenia. Różne zegary i opóźnienia transmisji potrafią stworzyć pozorny błąd kalibracji.

6. Testuj najgorszy przypadek. Próba powinna obejmować największą prędkość, chwilowe zasłonięcie i zmianę oświetlenia.

7. Sprawdź stabilność po czasie. System, który działa poprawnie przez minutę, nie musi utrzymać pozycjonowania przez cały spektakl.

8. Zostaw margines dla projektora. Nawet dobry pomiar nie pomoże, jeśli urządzenie wyświetlające nie nadąża z przyjęciem i pokazaniem kolejnej klatki.

Warto także rozdzielić warstwę techniczną od artystycznej. Nie każda korekta musi prowadzić do idealnego pokrycia obrazu. Czasem lepiej zaprojektować wizualizację, która pozostaje czytelna przy niewielkim błędzie, niż walczyć o geometryczną precyzję efektu niemożliwą do utrzymania w realnej przestrzeni.

Werdykt: wybierz układ, nie pojedynczy czujnik

System optyczny będzie lepszy, gdy najważniejsza jest pozycja obiektu względem sceny, dostępna jest kontrolowana przestrzeń, a kamery mogą obserwować ruch z kilku stron. Czujniki IMU wygrają tam, gdzie potrzebna jest szybka reakcja na obrót, obiekt często znika z pola widzenia albo sprzęt musi być mały i mobilny. Żadne z tych rozwiązań nie jest jednak pełną odpowiedzią na każdy rodzaj ruchu.

Do prostych, krótkich i powtarzalnych instalacji wystarczy czasem dobrze skalibrowany system optyczny. Do ruchu noszonego i gwałtownego — IMU jako szybkie źródło danych. Do długiej, wymagającej projekcji na obiekcie przemieszczającym się w kilku osiach najbardziej rozsądna będzie fuzja sensorów: kamery pilnują pozycji, a IMU uzupełnia pomiar między kolejnymi obserwacjami.

Najważniejszym parametrem nie jest więc efektowna nazwa technologii ani sama częstotliwość pracy urządzenia. Jest nim całkowite opóźnienie od ruchu do projekcji oraz zdolność systemu do utrzymania wiarygodnego układu odniesienia. Jeśli te dwa elementy są pod kontrolą, dynamiczny mapping może wyglądać jak część obiektu. Jeśli nie — nawet bardzo jasny projektor pokaże tylko obraz spóźniony o kilka milisekund.