Projekt z uczniami Step IT Academy, 2026
Gest zamiast myszy
Podnosisz dłoń, a kursor rusza za palcem. Prosty pomysł prowadzi do mniej prostego pytania: jak sprawić, żeby komputer odczytał dokładnie ten gest, który masz na myśli?
- Python
- OpenCV
- MediaPipe
- Interakcja człowiek–komputer
Problem
Kamera widzi ruch, ale nie zna intencji. Drobne drżenie dłoni może poruszyć kursorem, a próba kliknięcia — odsunąć go od przycisku. Samo rozpoznanie palca nie wystarcza do wygodnej obsługi komputera.
Rozwiązanie
Jedna dłoń wskazuje miejsce, druga odpowiada za kliknięcie. Pomiędzy obrazem z kamery a ruchem kursora działa wygładzanie. Ten podział zamienia rozpoznawanie gestów w czytelny sposób interakcji.
Co by było, gdyby mysz została na biurku?
Wskazanie czegoś palcem jest naturalne. Przeniesienie tego ruchu na ekran wydaje się więc dobrym punktem wyjścia do eksperymentu. Zamiast specjalnego kontrolera wystarczy kamera internetowa, Python i dłoń w kadrze. Taką interakcję sprawdza ten projekt, realizowany wspólnie z moimi uczniami w Step IT Academy.
Najciekawsze pytanie pojawia się chwilę po wykryciu dłoni: skąd program ma wiedzieć, czy właśnie chcesz przesunąć kursor, kliknąć, czy po prostu zmienić pozycję? To moment, w którym demonstracja computer vision staje się zadaniem z projektowania interfejsu.
Najpierw wybór dłoni, potem ruch
Przed rozpoczęciem sterowania użytkownik zamyka dłoń w pięść i przytrzymuje ją przez pięć sekund. Aplikacja pokazuje postęp wyboru, a po jego zakończeniu oznacza dłoń sterującą. Dzięki temu pojawienie się drugiej ręki w kadrze nie musi od razu zmieniać sposobu obsługi.
Po wyborze dłoni kursor podąża za palcem wskazującym. Druga ręka ma osobne zadanie: jeden uniesiony palec oznacza lewy przycisk myszy, a dwa — prawy. Rozdzielenie wskazywania i klikania ogranicza sytuację, w której wykonanie gestu kliknięcia zmienia jednocześnie cel.
Spokojny kursor to kwestia kompromisu
Wyobraź sobie próbę trafienia w mały przycisk. Dłoń wydaje się nieruchoma, ale kolejne klatki kamery dają nieco inne współrzędne. Gdyby każdą zmianę przenieść bezpośrednio na ekran, wskaźnik drgałby razem z detekcją.
Dlatego pomiędzy rozpoznaniem palca a ruchem myszy działa wygładzanie wykładnicze, czyli EMA. Nowa pozycja uwzględnia poprzednią, zamiast natychmiast zastępować ją surowym pomiarem. Mocniejsze wygładzanie uspokaja ruch, lecz zwiększa odczuwalne opóźnienie. Dobór parametru jest decyzją o tym, jak interfejs ma się zachowywać.
Co dzieje się pod podglądem kamery
OpenCV obsługuje obraz, a MediaPipe wskazuje punkty dłoni. Logika aplikacji interpretuje ich układ, utrzymuje stan wybranej ręki i przekazuje polecenia do PyAutoGUI. Podgląd w Tkinter daje użytkownikowi informację zwrotną: czy śledzenie działa i która dłoń steruje kursorem.
Przechwytywanie i przetwarzanie obrazu są oddzielone od interfejsu. W projekcie edukacyjnym to okazja, by zobaczyć, jak rozpoznawanie obrazu, stan programu i responsywność okna wpływają na jedno doświadczenie użytkownika.
Prototyp, który warto sprawdzić samemu
Rezultatem jest otwarty kod demonstracji sterowania kursorem gestami. Repozytorium zawiera instrukcję uruchomienia, zależności i opis obsługi. Najwięcej można z niego wynieść, obserwując różnicę między surowym ruchem dłoni a ruchem po wygładzeniu oraz wpływ oświetlenia na śledzenie.
To prototyp edukacyjny. Nie ma tu potwierdzonych badań ergonomii ani obietnicy zastąpienia myszy w codziennej pracy. Do próby potrzebna jest kamera; warto zostawić pod ręką zwykłą mysz i klawiaturę, ponieważ aplikacja wykonuje rzeczywiste kliknięcia. Klawisz Escape kończy działanie programu.