Студенты Технологического университета города Хошимин создают игру по реабилитации рук

Видеоигра была разработана группой студентов, использующих искусственный интеллект для распознавания жестов рук и поддержки реабилитации в этой части.

Исследовательская группа (BK Hand Rehab) кафедры компьютерных наук Технологического университета Хошимина приступила к созданию системы распознавания жестов рук для видеоигр с августа 2022 года. Группа постепенно модернизировала систему до уровня компьютерной игры, чтобы помочь восстановить и лечить функцию рук.

Во Нгок Санг, член исследовательской группы, сказал, что игры BK Hand Rehab разрабатываются с целью поддержки реабилитации запястья, кисти и пальцев.

Игра разработана и управляется с помощью компьютера и сенсорного устройства Leap Motion Controller. Первоначально игрокам необходимо выполнять жесты руками, как указано в каждой игре. Датчик способен получать и распознавать информацию о расположении определенных точек на руке. Затем команда использовала алгоритмы искусственного интеллекта (ИИ) для генерации соответствующих форм рук и жестов, создавая игровые действия.

Студенты разрабатывают видеоигру для восстановления функции руки — Игра помогает пользователям развить гибкие рефлексы рук. Видео : *Исследовательская группа*

Игровая система разработана с иерархической структурой по уровням, что означает, что в каждой игре игроки будут проходить от простых к сложным уровням, создавая более сложные впечатления. Игра подходит для самых разных аудиторий: пожилых людей, людей с ограниченными возможностями или людей с травмами рук, находящихся на этапе физиотерапии. Благодаря распознаванию жестов рук для взаимодействия с игрой пациенты, проходящие физиотерапию, могут практиковаться и расслабляться, создавая ощущение комфорта.

Обычно пациенты, нуждающиеся в реабилитации рук, выполняют простые механические упражнения или при поддержке медсестер или врачей. Решение команды основано на видеоиграх, что делает процесс восстановления более увлекательным и менее скучным.

В настоящее время BK Hand Rehab предлагает 3 основные игры. Игроки могут практиковаться с помощью статичных игр (выбор форм и цветов) или динамических игр (перемещение предметов для ловли падающих предметов или управление ими для избегания препятствий).

Игры разрабатываются командой в соответствии с пятиэтапным процессом: идея, проектирование, завершение, тестирование и развертывание. При выборе жестов для каждой игры команда консультировалась с исследованиями авторитетных учреждений, таких как Гарвардский университет и Национальная служба здравоохранения правительства Шотландии.

Для практики в играх пользователям понадобится подставка для рук, компьютер и датчик Leap Motion Controller. Пользователям предлагаются определенные действия в зависимости от жанра игры, и в зависимости от ситуации они решают, какое действие выполнить для взаимодействия с соответствующим контекстом.

Пользователи знакомятся с игрой в реальной жизни. Фото: Исследовательская группа — Пользователи знакомятся с игрой в реальной жизни. Фото: *Исследовательская группа*

Некоторые пользователи испытывают продукт, упражнения в форме оптимизированной игры, удобные, простые в установке и использовании. Команда планирует исследовать другие методы повышения точности распознавания жестов рук и более сложных движений. В то же время, чтобы улучшить пользовательский опыт, игры необходимо улучшить с точки зрения графики и механики.

Доц. Доктор Куан Тхань Тхо, заместитель заведующего факультетом компьютерных наук и инженерии Технологического университета Хошимина (VNU-HCM), преподаватель, оценил, что BK Hand Rehab предлагает выдающееся решение по сравнению с традиционными методами терапии рук, поскольку создает интересный опыт восстановления, снижает скуку, помогает экономить средства и не требует от пациентов посещать медицинские учреждения.

Доцент То отметил, что проект имеет большой потенциал, хотя использование видеоигр для поддержки реабилитации рук не является новой идеей и упоминалось и реализовывалось во многих предыдущих исследованиях. Однако предыдущие исследования все еще имеют много ограничений, таких как выбор неподходящих для игры движений, а этап распознавания жестов рук не достиг ожидаемой точности и скорости. «BK Hand Rehab решила многие проблемы, с которыми сталкивались предыдущие исследования», — сказал он.

Он также добавил, что игру необходимо адаптировать под пациентов, основываясь на отзывах реальных пользователей. Во-вторых, команде необходимо было получить признание эффективности решения от специалистов по физиотерапии. «Вот эти пункты необходимо завершить», — сказал он, добавив, что он сотрудничает с Департаментом компьютерных наук и инженерии, чтобы помочь команде наладить связи с медицинскими центрами и ортопедическими травматологическими больницами с целью проведения необходимых исследований.

Недавно проект Hand Rehab занял первое место на конкурсе общественных инициатив 2023 года, организованном некоммерческой организацией SonTa Foundation.