Kinect czy LiDAR: co lepiej wykrywa ruch w sztuce?

Kinect potrafi rozpoznać układ ciała i reagować na gesty, ale ma ograniczony zasięg oraz określone warunki pracy. LiDAR obejmuje znacznie większą przestrzeń, dobrze radzi sobie ze zmiennym oświetleniem i może zamienić ścianę, podłogę albo zakrzywioną konstrukcję w wielodotykowy interfejs.

Dlatego pytanie „Kinect czy LiDAR w instalacjach interaktywnych?” nie ma jednej odpowiedzi. Oba rozwiązania wykrywają ruch, ale rozumieją go na zupełnie różne sposoby. Kinect patrzy na człowieka jak na sylwetkę z określonym układem stawów. LiDAR odczytuje przestrzeń: odległości, powierzchnie, obecność obiektów i zmiany zachodzące w polu skanowania.

Kinect: kiedy instalacja ma reagować na ciało i gest

Kinect został zaprojektowany do wykrywania ruchu w trójwymiarze. W zależności od generacji wykorzystuje światło strukturalne albo pomiar czasu przelotu wiązki, czyli technologię ToF. Dla twórcy instalacji najistotniejszy jest jednak nie sam sposób pomiaru, lecz rezultat: system może śledzić sylwetkę człowieka i przypisywać jej określone punkty anatomiczne.

W praktyce oznacza to możliwość rozpoznania, gdzie znajdują się głowa, dłonie, łokcie, ramiona, biodra czy kolana. Oprogramowanie nie dostaje wyłącznie informacji, że w kadrze pojawił się obiekt. Otrzymuje opis ruchu ciała, który można przełożyć na zachowanie obrazu, dźwięku, światła albo mechanizmu scenograficznego.

To duża przewaga Kinecta w projektach, w których gest ma znaczenie samo w sobie. Podniesienie ręki może zmienić kolor projekcji. Obrót całego ciała może sterować perspektywą w środowisku wirtualnym. Zbliżenie dłoni do określonego punktu może uruchomić warstwę dźwiękową, a ruch kilku osób może zostać przetworzony na wspólną kompozycję wizualną.

Co Kinect rozpoznaje najlepiej

Kinect sprawdza się przede wszystkim tam, gdzie interakcja wynika z postawy lub gestu, a nie tylko z obecności widza. Typowe zastosowania obejmują:

• sterowanie projekcją za pomocą dłoni, ramion albo całej sylwetki;
• instalacje taneczne i performatywne, w których ruch wykonawcy staje się źródłem obrazu lub dźwięku;
• interaktywne animacje reagujące na pozycję ciała;
• doświadczenia edukacyjne, w których uczestnik manipuluje treścią bez dotykania ekranu;
• niewielkie i średnie stanowiska wystawiennicze, gdzie użytkownik znajduje się w określonej strefie przed sensorem.

Właśnie ta przewidywalność strefy pracy jest dla Kinecta jednocześnie zaletą i ograniczeniem. Projektant może zbudować instalację wokół konkretnego miejsca, ustawić widza w odpowiedniej odległości i zaplanować interakcję tak, aby sensor miał możliwie czysty widok na ciało.

Nie oznacza to jednak, że system będzie równie dobrze śledził dowolną liczbę osób. W przypadku Kinecta V2 limit śledzenia szkieletu wynosi zazwyczaj do sześciu osób jednocześnie. Sama obecność większej grupy w polu widzenia nie oznacza więc, że każda osoba otrzyma pełny, precyzyjny model ruchu. Przy tłumie, nakładaniu się sylwetek i częstym zasłanianiu rąk jakość danych może szybko spaść.

Kinect nie tyle wykrywa ruch, ile interpretuje ludzkie ciało. To różnica, od której zaczyna się sensowny wybór technologii.

LiDAR: przestrzeń jako powierzchnia interakcji

LiDAR działa według innej logiki. Skanuje otoczenie impulsami laserowymi i na podstawie pomiaru odległości tworzy mapę przestrzeni. Nie musi wiedzieć, gdzie znajduje się łokieć ani czy dłoń należy do konkretnej osoby. Wystarczy, że wykryje zmianę w określonym obszarze, obecność obiektu albo ruch względem ściany, podłogi czy innej powierzchni.

To otwiera drogę do instalacji wielkopowierzchniowych. LiDAR może obsługiwać interakcję rozciągniętą na dużej ścianie, posadzce, fasadzie budynku lub zakrzywionej strukturze. W takich realizacjach sensor nie musi być ustawiony jak kamera skierowana na jednego uczestnika. Jego zadaniem jest raczej obserwowanie fragmentu środowiska i przekazywanie systemowi informacji o tym, co się w nim zmienia.

Zasięg systemów LiDAR może sięgać do 30 metrów. To wartość, która zmienia skalę możliwego projektu. O ile Kinect naturalnie pasuje do kameralnej strefy interakcji, o tyle LiDAR może obsłużyć instalację, w której widz porusza się po większym obszarze albo wchodzi w relację z architekturą.

Multi-touch bez klasycznego ekranu

Jednym z ciekawszych zastosowań LiDAR-u jest tworzenie wielodotykowych powierzchni. Ściana lub podłoga może stać się interfejsem, mimo że nie zamontowano na niej tradycyjnego ekranu dotykowego. System wykrywa położenie dłoni, stóp albo innych obiektów względem powierzchni, a oprogramowanie interpretuje te punkty jako interakcję.

W sztuce daje to zupełnie inny język niż sterowanie gestem przed kamerą. Widz niekoniecznie wykonuje rozpoznawalny ruch. Może przejść przez projekcję, dotknąć podłogi, stanąć w określonym miejscu albo jednocześnie wejść w interakcję z instalacją razem z innymi osobami.

LiDAR jest szczególnie interesujący w projektach, w których nie da się wyznaczyć jednego stanowiska użytkownika. Jeśli instalacja ma działać na dziedzińcu, w galerii o nieregularnej architekturze albo w dużej przestrzeni publicznej, mapowanie obszaru może być bardziej użyteczne niż analiza pojedynczej sylwetki.

Kinect kontra LiDAR — różnice, które naprawdę wpływają na projekt

Oba sensory mogą trafić do tego samego środowiska programistycznego, ale nie dostarczają takich samych danych. To nie jest wybór między dwiema wersjami tego samego urządzenia. To wybór między dwoma sposobami budowania interakcji.

Z tabeli wynika rzecz pozornie oczywista, ale często pomijana w rozmowach o sprzęcie: LiDAR nie jest automatycznie lepszym czujnikiem ruchu. Ma większy zasięg i większą elastyczność przestrzenną, lecz nie zastępuje Kinecta w bezpośrednim rozpoznawaniu ułożenia ciała.

Jeżeli celem jest odczytanie, czy uczestnik wyciągnął lewą rękę, przykucnął albo obrócił tułów, Kinect będzie naturalnym kandydatem. Jeżeli celem jest wykrycie, że ktoś przeszedł przez konkretny fragment podłogi, zbliżył się do ściany albo uruchomił kilka punktów interakcji naraz, LiDAR może dostarczyć danych lepiej dopasowanych do zadania.

Światło, odbicia i warunki miejsca

Instalacja artystyczna rzadko działa w idealnie kontrolowanym laboratorium. Wystawa może znajdować się w jasnym foyer, przestrzeni z dużymi przeszkleniami, na dziedzińcu albo w miejscu, gdzie oświetlenie zmienia się wraz z porą dnia. Czujnik, który działa poprawnie podczas testu wieczorem, niekoniecznie zachowa się tak samo w południe.

LiDAR jest pod tym względem bardziej odporny na zmienne oświetlenie i światło słoneczne. Dlatego łatwiej brać go pod uwagę przy projektach zewnętrznych i realizacjach, w których nie da się całkowicie odciąć światła dziennego. Nie znaczy to, że każdy problem znika. Odbicia, nietypowe materiały, przeszkody i sposób zamontowania urządzenia nadal mają znaczenie. Zyskujemy jednak większy margines projektowy.

Kinect wymaga staranniejszego zaplanowania punktu obserwacji. Sylwetka może zostać zasłonięta przez inną osobę, element scenografii albo własne ułożenie ciała. Jeśli interakcja ma opierać się na dłoniach, a użytkownik często krzyżuje ręce lub odwraca się bokiem, system może mieć trudności z poprawnym przypisaniem punktów szkieletu.

W galerii nie musi to być wada. Kontrolowana perspektywa bywa wręcz częścią doświadczenia. Można zaprojektować wejście do instalacji tak, aby widz zatrzymał się w konkretnym miejscu i wykonywał gesty w czytelnej strefie. Problem pojawia się wtedy, gdy oczekujemy spontanicznego ruchu wielu osób w nieprzewidywalnej przestrzeni.

Warunki, które trzeba przełożyć na język projektu

Przed zakupem sensora warto opisać nie urządzenie, ale sytuację interakcji:

• Czy widz stoi naprzeciw instalacji, czy porusza się wokół niej?
• Czy system ma rozpoznawać konkretne gesty, czy tylko obecność i odległość?
• Czy uczestnicy będą się zasłaniać?
• Czy instalacja działa w pomieszczeniu z kontrolowanym światłem, czy na zewnątrz?
• Czy interakcja obejmuje jedną osobę, małą grupę, czy całą strefę ruchu?
• Czy powierzchnia instalacji jest płaska, pionowa, pozioma, czy ma nieregularny kształt?

Dopiero odpowiedzi na te pytania pokazują, czy potrzebny jest czujnik do instalacji artystycznej skoncentrowany na sylwetce, czy system mapujący przestrzeń. Specyfikacja techniczna jest dopiero drugim krokiem.

Integracja z TouchDesignerem, Unity i Unreal Engine

Kinect i LiDAR są często integrowane z narzędziami wykorzystywanymi przez artystów nowych mediów, między innymi z TouchDesignerem, Unity oraz Unreal Engine. Sama zgodność z oprogramowaniem nie przesądza jednak o łatwości realizacji. Największa różnica pojawia się wcześniej: w rodzaju danych, które trzeba przetworzyć.

W przypadku Kinecta dane mogą mieć postać punktów szkieletu, pozycji stawów i relacji między nimi. Twórca może zdefiniować reguły oparte na kątach, odległościach lub sekwencjach ruchu. Przykładowo, instalacja może reagować nie na dowolne przesunięcie dłoni, lecz na jej znalezienie się powyżej ramienia albo na zbliżenie obu dłoni do siebie.

To daje precyzyjną kontrolę, ale wymaga zaprojektowania logiki odpornej na błędy śledzenia. Ruch widza nie jest idealnie czysty. Użytkownik może wykonać gest zbyt szybko, stanąć pod nietypowym kątem albo częściowo zniknąć za inną osobą. Dobrze przygotowany projekt nie powinien traktować pojedynczego błędnego odczytu jak pewnego zdarzenia. Potrzebuje tolerancji, wygładzania i sensownego czasu reakcji.

LiDAR dostarcza zazwyczaj informacji o odległościach i geometrii obszaru. W systemie artystycznym można na tej podstawie wyznaczać strefy, śledzić ruch po powierzchni, reagować na naruszenie granicy albo analizować zagęszczenie uczestników. Dane często trzeba przekształcić w bardziej abstrakcyjne zdarzenia: wejście, wyjście, zbliżenie, nacisk, przesunięcie lub aktywację kilku punktów jednocześnie.

To podejście dobrze pasuje do instalacji, w której przestrzeń jest głównym medium. Nie trzeba wiedzieć, czy osoba dotknęła powierzchni prawą dłonią. Wystarczy wykryć, że w określonym miejscu pojawił się obiekt i przez chwilę pozostał w zasięgu interakcji.

Co oznacza to dla pracy artysty

Wybór technologii wpływa na cały proces produkcyjny, nie tylko na etap montażu sensora. Kinect może skrócić drogę od pomysłu do prototypu, jeśli twórca chce szybko uzyskać dane o sylwetce i gestach. LiDAR daje szersze możliwości przestrzenne, lecz często wymaga dokładniejszego przygotowania mapy, kalibracji oraz sposobu filtrowania danych.

W obu przypadkach trzeba zaplanować:

1. Kalibrację przestrzeni — sensor musi wiedzieć, jak jego pomiary odnoszą się do scenografii, projekcji i stref dostępnych dla widza.

2. Filtrowanie przypadkowych zdarzeń — instalacja nie powinna reagować na każdy szum, chwilowe zasłonięcie ani pojedynczy błędny pomiar.

3. Opóźnienie reakcji — przy interakcji tanecznej nawet niewielkie opóźnienie może zepsuć poczucie związku między ruchem a obrazem.

4. Zachowanie przy utracie danych — system powinien mieć stan bezpieczny i estetyczny, gdy osoba wyjdzie z pola widzenia.

5. Testy z realną publicznością — twórca wykonuje gesty świadomie, widzowie często robią coś zupełnie innego.

Ten ostatni punkt jest szczególnie istotny. Instalacja nie jest demonstracją możliwości sensora. Jeśli odwiedzający musi poruszać się dokładnie tak, jak przewidział to programista, interakcja szybko staje się instrukcją obsługi. Najlepsze projekty wykorzystują właściwości technologii, ale nie każą widzowi myśleć o technologii przez cały czas.

Kinect w sztuce interaktywnej: mocny wybór do kameralnych doświadczeń

Kinect ma sens tam, gdzie człowiek jest centrum instalacji. Może to być pojedynczy uczestnik stojący przed projekcją, performer na scenie albo niewielka grupa wykonująca wspólny gest. Sensor dobrze pasuje do narracji, w których ciało steruje treścią bez fizycznego kontaktu z urządzeniem.

Jego przewaga rośnie, gdy projekt potrzebuje informacji o postawie. Samo wykrycie ruchu nie wystarcza, bo znaczenie ma kierunek dłoni, ułożenie ramion, pochylenie tułowia albo pozycja nóg. W takim scenariuszu LiDAR może wykryć zmianę w przestrzeni, ale niekoniecznie dostarczy gotowej interpretacji ludzkiego szkieletu.

Kinect sprawdzi się więc szczególnie w:

• instalacjach opartych na tańcu i choreografii;
• wizualizacjach reagujących na gesty;
• stanowiskach edukacyjnych dla jednej lub kilku osób;
• interaktywnych portretach i projekcjach sylwetki;
• małych galeriach, gdzie można kontrolować ustawienie widza;
• projektach, w których liczy się szybkie prototypowanie reakcji na ciało.

Trzeba jednak zaakceptować jego granice. Jeśli instalacja ma działać w pełnym słońcu, obejmować dziesiątki metrów i reagować na ruch ludzi rozproszonych po całej przestrzeni, Kinect prawdopodobnie będzie wymagał wielu dodatkowych zabiegów albo okaże się po prostu źle dopasowany do zadania.

LiDAR do instalacji wielkopowierzchniowej i plenerowej

LiDAR staje się bardziej uzasadniony, gdy instalacja wychodzi poza klasyczną relację „człowiek przed ekranem”. Można nim objąć podłogę, korytarz, ścianę, fasadę albo strukturę o nietypowej geometrii. Interakcja może być rozlana po całym obiekcie, a uczestnik nie musi otrzymać wyraźnego stanowiska.

Duży zasięg — do 30 metrów w wybranych systemach — pozwala myśleć o przestrzeni jako o jednym organizmie reagującym na przepływ ludzi. Zamiast pojedynczego gestu mamy trajektorie, zagęszczenie, kierunki i punkty kontaktu. To dobry fundament dla projekcji architektonicznych, instalacji miejskich oraz prac, które zmieniają się pod wpływem ruchu grupy.

LiDAR nie jest jednak skrótem do gotowej interakcji. Sam fakt, że sensor widzi więcej, nie oznacza, że rozumie więcej. Jeśli projekt wymaga rozpoznawania złożonych gestów i identyfikowania stawów, trzeba będzie dołożyć warstwę analizy albo zastosować inne narzędzie równolegle.

W praktyce można też łączyć oba podejścia. Kinect może odpowiadać za precyzyjne śledzenie performera, a LiDAR za obserwowanie publiczności i granic większej przestrzeni. Taki układ ma sens wtedy, gdy instalacja składa się z różnych poziomów interakcji. Nie warto jednak budować złożonego zestawu tylko dlatego, że oba urządzenia są dostępne. Każdy dodatkowy sensor oznacza kolejną kalibrację, kolejne punkty awarii i więcej pracy przy interpretacji danych.

Najpierw wybiera się rodzaj interakcji, dopiero potem urządzenie. Sensor nie naprawi pomysłu, który nie wie, na jaki ruch chce odpowiadać.

Jak podjąć decyzję bez przepłacania za możliwości

Dokładny budżet zależy od konkretnego modelu LiDAR-u, liczby sensorów, sposobu montażu i całej infrastruktury instalacji. Ceny urządzeń przemysłowych mogą znacząco różnić się od kosztu prostszych rozwiązań konsumenckich, dlatego sama nazwa technologii nie wystarcza do oszacowania projektu.

Można natomiast dość precyzyjnie ocenić, gdzie powstanie koszt i ryzyko. W Kinectcie problemem będzie zwykle ustawienie pola widzenia, stabilne śledzenie sylwetki i obsługa sytuacji, w których osoby się zasłaniają. W LiDAR-ze większego znaczenia nabiorą kalibracja mapy, montaż, interpretacja punktów oraz dopasowanie skanowania do konkretnej geometrii.

Pomocne jest rozpisanie projektu według kilku scenariuszy:

Wybierz Kinect, gdy:

• głównym bohaterem instalacji jest ciało człowieka;
• potrzebujesz danych o stawach, postawie lub kierunku gestu;
• widz ma stać w określonej strefie;
• projekt działa głównie wewnątrz, przy względnie kontrolowanym świetle;
• interakcja ma przypominać sterowanie ruchem, a nie eksplorację przestrzeni;
• chcesz szybko prototypować zachowanie obrazu lub dźwięku na podstawie sylwetki.

Wybierz LiDAR, gdy:

• instalacja obejmuje dużą powierzchnię albo nieregularną architekturę;
• użytkownik ma chodzić, a nie tylko stać przed sensorem;
• ściana lub podłoga ma działać jak powierzchnia wielodotykowa;
• projekt będzie prezentowany na zewnątrz lub w miejscu z dużą ilością światła dziennego;
• wystarczy ci informacja o obecności, odległości i położeniu w przestrzeni;
• chcesz reagować na ruch wielu osób w większej strefie, bez konieczności rozpoznawania pełnego szkieletu każdej z nich.

Jeśli odpowiedzi rozkładają się po równo, warto zacząć od prototypu, a nie od zakupu docelowej konfiguracji. Kilka godzin pracy z surowymi danymi często pokazuje więcej niż porównanie parametrów w katalogu. Widać wtedy, czy ruch jest odczytywany stabilnie, jak szybko system reaguje i czy twórca potrafi przełożyć dane na interesujące zachowanie artystyczne.

Ostateczny wybór: gest czy mapa przestrzeni?

Kinect lepiej wykrywa ruch wtedy, gdy przez ruch rozumiemy konkretną zmianę ułożenia ludzkiego ciała. Jego największą wartością jest śledzenie szkieletu i gestów w trójwymiarze. Dzięki temu instalacja może odpowiadać na sposób, w jaki widz podnosi rękę, pochyla się, obraca albo porusza całym ciałem.

LiDAR wygrywa, gdy ruch ma być obserwowany jako zjawisko przestrzenne. Daje większy zasięg, dobrze znosi zmienne oświetlenie i pozwala budować interakcje na ścianach, podłogach oraz innych powierzchniach. Jest właściwszy dla dużych, plenerowych i architektonicznych realizacji, ale nie zastępuje systemu śledzenia szkieletu.

Najprostsza reguła brzmi więc: jeśli pytasz, co robi ciało, zacznij od Kinecta. Jeśli pytasz, gdzie coś dzieje się w przestrzeni, zacznij od LiDAR-u. W sztuce interaktywnej nie chodzi o znalezienie technologii o największych możliwościach, lecz o dobranie danych do języka konkretnej pracy. Wtedy czujnik pozostaje niewidoczny, a widz ma wrażenie, że instalacja naprawdę odpowiada na jego obecność.