MediaPipe: живое демо

Отслеживание кистей рук прямо в браузере

MediaPipe Hand Landmarker находит до 21 точки на каждой руке — кончики и суставы пальцев, запястье — прямо в браузере, без сервера. Сама игра распознаёт печати немного иначе, своей моделью через onnxruntime-web — это демо просто чтобы посмотреть на альтернативный подход вживую.

Что видит модель

Рук в кадре0

FPS распознавания—

Как это устроено

Модель работает полностью локально (WASM в браузере, по возможности на GPU) и на каждом кадре находит скелет каждой руки в кадре. Дальше по этим точкам уже можно строить что угодно — жесты, печати, виртуальную клавиатуру. Видео с камеры никуда не отправляется, всё считается на месте, как и в самой игре.