Systemy śledzenia ruchu: lidar czy kamera głębi w instalacji?

Wybór między LiDAR-em a kamerą głębi zaczyna się więc nie od pytania, który sprzęt jest nowocześniejszy, lecz od tego, jaki rodzaj obecności człowieka ma zostać odczytany.

Jeśli instalacja ma reagować na pozycję kilku osób poruszających się po dużej podłodze albo ścianie projekcyjnej, LiDAR często daje prostszy i stabilniejszy punkt wyjścia. Gdy dzieło opiera się na geście dłoni, układzie ramion lub pełnej sylwetce, przewagę zyskuje kamera głębi. Różnica między tymi technologiami nie sprowadza się do rozdzielczości pomiaru. Chodzi o to, czy system ma rozumieć mapę ruchu w przestrzeni, czy konkretną postać i jej gesty.

LiDAR w przestrzeniach publicznych: pozycja zamiast wizerunku

LiDAR 2D mierzy odległość do obiektów w jednej płaszczyźnie. W praktyce pozwala ustalić, gdzie znajduje się człowiek — przede wszystkim w układzie X/Y — ale nie buduje pełnego obrazu jego sylwetki. To ograniczenie jest zarazem jego największą zaletą.

W interaktywnej podłodze sensor może wykrywać, w której części pola znajduje się uczestnik, a następnie przekazywać tę informację do systemu projekcyjnego. Podobnie działa instalacja na dużej ścianie: obecność i pozycja widza mogą sterować światłem, dźwiękiem, cząsteczkami obrazu albo zmianą warstwy animacji. Nie trzeba rozpoznawać twarzy, dłoni ani szczegółów ubrania. Wystarczy wiedzieć, że ktoś wszedł w określony obszar i przemieścił się w konkretnym kierunku.

To szczególnie praktyczne w muzeach, galeriach i otwartych przestrzeniach publicznych. LiDAR nie przechwytuje obrazu RGB użytkowników, lecz dane dotyczące współrzędnych przestrzennych. Z perspektywy prywatności i wymogów RODO taka architektura może być łatwiejsza do uzasadnienia niż system oparty na kamerze rejestrującej wizerunek. Nie oznacza to automatycznie, że cała instalacja jest poza zakresem przepisów o ochronie danych — sposób zapisu, przetwarzania i łączenia danych nadal ma znaczenie — ale sam typ informacji zbieranej przez sensor ogranicza zakres problemu.

LiDAR dobrze pasuje do prac, w których widz nie ma być analizowany jako osoba, lecz traktowany jako ruchomy punkt w kompozycji. Przykładowe zastosowania to:

• interaktywne podłogi reagujące na przechodzenie i zmianę kierunku;
• ściany projekcyjne, na których obecność widzów uruchamia animacje;
• instalacje wieloosobowe w holach, pasażach i salach o zmiennym natężeniu ruchu;
• dzieła, w których kilka osób jednocześnie wpływa na rytm, kolor lub układ obrazu;
• systemy reagujące na przekroczenie strefy, zbliżenie albo oddalenie od elementu ekspozycji.

W tym scenariuszu nie należy oczekiwać precyzji typowej dla śledzenia szkieletowego. LiDAR nie powie, czy uczestnik podniósł lewą rękę, obrócił dłoń albo wykonał określony układ ramion. Powie natomiast, gdzie znajduje się obiekt i jak przemieszcza się w monitorowanym obszarze.

LiDAR nie musi rozumieć, kim jest widz. W wielu instalacjach wystarczy, że stabilnie wie, gdzie widz się znajduje.

W przestrzeniach publicznych istotna jest także odporność na warunki, w których obraz z kamery staje się mniej przewidywalny. Dynamiczne oświetlenie, refleksy i zmiany ekspozycji mogą komplikować pracę systemów wizyjnych. LiDAR, skoncentrowany na pomiarze odległości, bywa w takich sytuacjach wygodniejszy, szczególnie gdy dzieło działa w dużej, otwartej przestrzeni i nie wymaga analizy szczegółowych gestów.

Nie znaczy to jednak, że każdy LiDAR poradzi sobie z dowolnym tłumem. Ludzie zasłaniają się nawzajem, obiekty scenografii mogą tworzyć fałszywe odczyty, a duża liczba uczestników utrudnia przypisanie ruchu do konkretnej osoby. Sensor może wykryć zajętą strefę, ale nie zawsze odpowie na pytanie, który z kilku widzów ją zajmuje. Przy projekcie przeznaczonym dla tłumu trzeba więc projektować logikę interakcji tak, aby nie opierała się na identyfikacji każdej osoby z absolutną precyzją.

Kamera głębi: gdy gest jest częścią dzieła

Kamera głębi działa inaczej. Zamiast pojedynczego przekroju przestrzeni generuje mapę głębi piksel po pikselu. Dzięki temu system może analizować nie tylko położenie człowieka, ale także jego kształt i relacje między częściami ciała.

Urządzenia takie jak Kinect V2 czy Intel RealSense mogą być wykorzystywane do śledzenia dłoni, gestów oraz pełnych sylwetek 3D. W praktyce otwiera to zupełnie inny język interakcji. Uczestnik nie tylko wchodzi w obszar projekcji, ale może:

• unosić rękę, aby zmienić kierunek animacji;
• rozsuwać dłonie, aby powiększyć obraz;
• obracać ciało, wpływając na parametry dźwięku lub światła;
• wykonywać ruchy całym ciałem, sterując postacią albo abstrakcyjną formą;
• współdziałać z innymi osobami za pomocą odmiennych gestów.

To właściwy wybór, gdy sednem pracy jest relacja między ruchem a jego wizualną interpretacją. W instalacji poświęconej choreografii, ekspresji ciała albo interakcji dłoni z wirtualnym obiektem sama informacja o pozycji na podłodze będzie zbyt uboga. Potrzebny jest sensor, który dostarczy danych o głębi i kształcie sylwetki.

Kamera głębi ma jednak większe wymagania wobec miejsca montażu. Seria Intel RealSense D400 pracuje w zakresie około 0,3–6 metrów, co daje sporo możliwości w małej i średniej przestrzeni, ale nie rozwiązuje problemu dużej sali jednym urządzeniem. Zasięg trzeba zestawić z wysokością montażu, kątem widzenia, wielkością obiektu oraz tym, jak blisko siebie mogą znajdować się uczestnicy.

Kinect V2 natywnie obsługuje śledzenie szkieletowe maksymalnie sześciu osób jednocześnie. Ta liczba nie powinna być traktowana jako obietnica bezproblemowego działania w każdych warunkach. Okluzje, czyli wzajemne zasłanianie się ludzi, potrafią ograniczyć użyteczność śledzenia szybciej niż sama liczba uczestników. Sześć osób stojących w odpowiednich odstępach to zupełnie inny przypadek niż sześć osób skupionych przed jednym punktem projekcji.

W kamerze głębi atrakcyjna jest szczegółowość, ale szczegółowość oznacza też więcej decyzji projektowych. Trzeba określić, które części ciała są istotne, jak system reaguje na częściowo zasłoniętą sylwetkę i co robi, gdy sensor traci jeden z punktów śledzenia. Jeśli animacja wymaga ciągłego położenia dłoni, krótkie zakłócenia mogą być bardzo widoczne. Jeśli wystarczy ogólny ruch całego ciała, ten sam problem może nie mieć większego znaczenia.

Oświetlenie: nie istnieje sensor odporny na każdą salę

Wybór technologii do instalacji artystycznej często rozstrzyga się w oświetleniu. Ta sama kamera głębi może działać stabilnie w zaciemnionej galerii, a zawodzić przy dużych przeszkleniach i bezpośrednim świetle dziennym. Czujniki wykorzystujące podczerwień albo aktywną stereowizję, w tym urządzenia z rodziny RealSense D400, mogą być zakłócane przez silne słońce, refleksy oraz nakładające się wzorce podczerwieni.

Problem nie ogranicza się do jasności pomieszczenia. Znaczenie mają również:

• światło padające bezpośrednio w kierunku sensora;
• błyszczące powierzchnie scenografii i podłogi;
• projekcja wykorzystująca intensywne biele lub kontrastowe wzory;
• inne urządzenia podczerwone pracujące w pobliżu;
• zmienność warunków w ciągu dnia;
• przechodzące cienie i gwałtowne zmiany poziomu oświetlenia.

Kamera głębi potrzebuje czytelnego obrazu pomiarowego. Jeśli fragment sylwetki zlewa się z tłem albo odbicia tworzą niejednoznaczne dane, algorytm może zgubić punkt, opóźnić reakcję lub błędnie zinterpretować ruch. W dziele, które reaguje na ogólną obecność, taki błąd może przejść niezauważony. W interakcji opartej na precyzyjnym geście będzie od razu odczuwalny.

LiDAR również nie jest magicznie niezależny od otoczenia. Jego skuteczność zależy od konstrukcji sensora, powierzchni, geometrii pomieszczenia oraz sposobu filtrowania danych. Jego przewaga pojawia się przede wszystkim wtedy, gdy projekt wymaga poziomego śledzenia pozycji, a nie dokładnego rozpoznawania postawy. W takich warunkach upraszczamy problem: zamiast analizować pełny obraz człowieka, mierzymy jego położenie w określonej płaszczyźnie.

Przy planowaniu instalacji warto przeprowadzić próbę w docelowej przestrzeni, a nie tylko na stole montażowym. Test w pracowni odpowiada na pytanie, czy sensor działa. Test w galerii pokazuje, czy działa w obecności projekcji, refleksów, przechodniów, scenografii i rzeczywistego rytmu odwiedzających. To różnica między demonstracją techniczną a gotowym dziełem.

Skala i zasięg: mała scena kontra duża przestrzeń

Rozmiar instalacji nie wskazuje automatycznie zwycięzcy, ale zawęża sensowne opcje. Kamera głębi jest naturalnym rozwiązaniem dla krótszych dystansów i interakcji, w której uczestnik znajduje się w stosunkowo dobrze określonym polu widzenia. LiDAR 2D lepiej odnajduje się na dużych powierzchniach, gdzie najważniejsze jest śledzenie przemieszczania się osób.

Można przyjąć następujący punkt wyjścia:

W dużej instalacji LiDAR może wymagać kilku punktów pomiarowych, jeśli przestrzeń ma wiele stref albo skomplikowaną geometrię. Wtedy dochodzi problem łączenia danych i rozróżniania, czy dwa odczyty dotyczą tej samej osoby. Z kolei przy kamerach głębi kilka urządzeń może obserwować różne fragmenty sceny, ale ich pola widzenia mogą się nakładać, a wzajemne zakłócenia i kalibracja stają się osobnym zadaniem.

Dlatego nie warto porównywać liczby urządzeń bez porównania celu. Dwa sensory, które dostarczają prostą informację o pozycji, mogą być łatwiejsze do wykorzystania niż jedna kamera zapewniająca teoretycznie bogatsze dane, lecz ustawiona pod niekorzystnym kątem. W instalacji artystycznej liczy się nie maksymalna ilość danych, tylko dane, które da się stabilnie przełożyć na zachowanie dzieła.

Prywatność i charakter uczestnictwa

Prywatność nie powinna być dopisywana do projektu na końcu, gdy instalacja jest już gotowa. Wybór sensora od początku określa, jakiego rodzaju ślad pozostawia uczestnik.

LiDAR może przekazywać współrzędne i ruch bez rejestrowania twarzy, ubrania czy obrazu sceny. To dobrze współgra z dziełami, w których uczestnik pozostaje anonimowym elementem kompozycji. Widz nie musi zastanawiać się, czy jego twarz jest zapisywana albo czy nagranie trafi do późniejszej analizy. Oczywiście projekt nadal wymaga jasnego określenia, jakie dane są przetwarzane i czy są przechowywane, ale architektura oparta na danych przestrzennych jest pod tym względem bardziej powściągliwa.

Kamera głębi nie musi oznaczać klasycznego monitoringu. Może pracować na mapie głębi lub szkielecie, bez zapisywania obrazu RGB. Mimo to sposób działania powinien być opisany uczestnikom, zwłaszcza w instytucji publicznej. Sama deklaracja, że system służy sztuce, nie rozwiązuje kwestii przejrzystości. Widz ma prawo wiedzieć, czy sensor jedynie reaguje w czasie rzeczywistym, czy także zapisuje dane do późniejszego wykorzystania.

Wybór technologii wpływa również na odczucie uczestnictwa. LiDAR daje bardziej abstrakcyjną relację: człowiek staje się punktem, śladem, ruchem. Kamera głębi pozwala na interakcję cielesną i gesturalną, ale może też sprawić, że widz poczuje się obserwowany. W niektórych pracach ta świadomość jest częścią przekazu. W innych będzie niepotrzebnym obciążeniem.

Integracja danych: sensor to dopiero początek

Sam odczyt pozycji lub sylwetki nie tworzy jeszcze interakcji. Dane muszą zostać przekazane do oprogramowania sterującego projekcją, dźwiękiem, światłem albo silnikiem graficznym. Przy systemach LiDAR często stosuje się standardowe protokoły komunikacji przestrzennej i dotykowej, między innymi TUIO oraz HID. Ich zaletą jest to, że ułatwiają połączenie warstwy pomiarowej z aplikacją odpowiedzialną za zachowanie instalacji.

W projekcie artystycznym warto rozdzielić trzy poziomy:

1. Pomiar — sensor określa pozycję, odległość, obecność albo punkty ciała.

2. Interpretacja — oprogramowanie decyduje, czy dany ruch oznacza wejście do strefy, gest, zatrzymanie lub interakcję z obiektem.

3. Odpowiedź dzieła — system zmienia obraz, dźwięk, światło albo logikę narracji.

Najwięcej problemów powstaje wtedy, gdy te poziomy zostają połączone w jeden trudny do modyfikacji mechanizm. Jeśli każdy chwilowy szum z sensora natychmiast zmienia projekcję, instalacja będzie nerwowa i nieczytelna. Przydatne są filtry, progi aktywacji, krótkie opóźnienia oraz reguły wygaszania reakcji. Nie chodzi o to, aby ukrywać niedoskonałość pomiaru. Chodzi o to, aby przekuć ją w zachowanie, które widz odbierze jako zamierzone.

LiDAR dobrze współpracuje z logiką strefową: wejście w obszar uruchamia zdarzenie, przejście przez określony pas zmienia stan animacji, a liczba osób wpływa na intensywność efektu. Kamera głębi pozwala budować logikę opartą na gestach: uniesienie dłoni może sterować parametrem, a określona poza może zatrzymać lub odwrócić proces. Oba podejścia mogą prowadzić do dobrego dzieła, ale wymagają innego sposobu projektowania interakcji.

Najlepszy sensor to nie ten, który dostarcza najwięcej danych, lecz ten, którego dane mają jasne znaczenie artystyczne.

Jak wybrać technologię do konkretnej instalacji?

Decyzję można uporządkować wokół kilku pytań. Nie są to formalne kryteria oderwane od projektu, tylko szybki sposób na sprawdzenie, czy wybrany sensor odpowiada rzeczywistemu zachowaniu dzieła.

• Czy uczestnik ma być wykrywany jako punkt w przestrzeni, czy jako pełna sylwetka?
• Czy interakcja wymaga rozpoznania dłoni, ramion albo pozy?
• Czy kilka osób ma wpływać na dzieło jednocześnie?
• Czy przestrzeń jest otwarta, duża i podatna na zmienne światło?
• Czy instalacja działa przy oknie, pod świetlikiem albo w bezpośrednim słońcu?
• Czy obiekt ma rejestrować obraz, czy wystarczą dane o współrzędnych?
• Czy widzowie będą przechodzić, zatrzymywać się, czy wykonywać celowe gesty?
• Czy odpowiedź dzieła może tolerować chwilową utratę śledzenia?
• Czy sensor można zamontować w miejscu zapewniającym odpowiedni zasięg i kąt widzenia?
• Czy oprogramowanie potrafi odfiltrować szum i rozdzielić ruch uczestnika od ruchu scenografii?

Jeżeli odpowiedzi krążą wokół pozycji, stref i większej przestrzeni, LiDAR 2D będzie prawdopodobnie bardziej adekwatnym kierunkiem. Jeśli sednem jest gest, poza lub przestrzenna relacja między częściami ciała, kamera głębi dostarczy danych, których LiDAR po prostu nie ma.

Najtrudniejszy przypadek pojawia się wtedy, gdy projekt chce robić wszystko naraz: śledzić dużą grupę, rozpoznawać drobne gesty, działać w pełnym słońcu i nie generować żadnych problemów z prywatnością. W takiej sytuacji pojedynczy sensor rzadko rozwiązuje całość. Możliwe jest łączenie różnych metod, ale wtedy rośnie koszt integracji, kalibracji i późniejszego utrzymania. Hybrydowy układ ma sens tylko wtedy, gdy każda technologia obsługuje jasno określoną część interakcji.

Werdykt: wybór wynika z języka dzieła

LiDAR i kamera głębi nie są konkurencyjnymi wersjami tego samego urządzenia. Odpowiadają na różne pytania. LiDAR pyta przede wszystkim: gdzie znajduje się uczestnik i jak porusza się po przestrzeni? Kamera głębi pyta: jak ustawiona jest jego sylwetka i jaki gest wykonuje?

Do interaktywnych podłóg, dużych ścian projekcyjnych, instalacji strefowych i prac działających w przestrzeniach publicznych lepiej pasuje LiDAR, zwłaszcza gdy prywatność i stabilne wykrywanie pozycji mają pierwszoplanowe znaczenie. Do dzieł opartych na choreografii, dłoniach, pozach i szczegółowej reakcji ciała właściwsza będzie kamera głębi, pod warunkiem że przestrzeń i oświetlenie pozwolą jej pracować bez ciągłych zakłóceń.

Najrozsądniejszy wybór powstaje dopiero po przełożeniu pomysłu artystycznego na konkretne zdarzenia: wejście do strefy, zatrzymanie, ruch całego ciała, uniesienie dłoni, współdziałanie kilku osób. Gdy wiadomo, jakie dane mają uruchamiać poszczególne reakcje, technologia przestaje być modnym dodatkiem. Staje się narzędziem dobranym do rytmu, skali i prywatności konkretnego dzieła.