Компьютерная игра с помощью искусственного интеллекта помогает изучать язык жестов

В Канаде стартап Stradigi AI разработал компьютерную игру, которая при помощи искусственного интеллекта помогает людям, имеющим проблемы со слухом, изучать основной язык жестов в США и англоговорящей части Канады — амслен.

Компьютерная игра от монреальского стартапа получила название The ASL Alphabet Game. 

Человек должен сымитировать 26 букв алфавита на амслене. Сверточные нейросети классифицируют движения рук игрока. За правильное повторение жестов начисляются баллы.

Искусственный интеллект, использующийся в игре, изучал жесты, анализируя 100 тысяч изображений. Разработчики скрупулёзно выбирали видеозаписи, содержащие эти кадры. Это было нужно для того, чтобы максимально снизить возможную предвзятость нейросети. 

Жесты, которые человек демонстрирует во время игры, оцениваются в три этапа:

1. Сначала искусственный интеллект анализирует положение рук, когда они находятся перед веб-камерой.

2. Полученные изображения передаются во вторую нейросеть, классифицирующую жесты игрока.

3. На завершающем этапе искусственный интеллект создает тепловые карты с более точной оценкой положения рук человека.

Разработчики из Stradigi AI утверждают, что система искусственного интеллекта, которую они применяют для The ASL Alphabet Game, работает с точностью в 99,03%.

На разработку компьютерной игры канадский стартап потратил около 1,5 месяца. В ее создании задействовали сотрудников канадского Центра помощи слабослышащим. 

robo-hunter.com