Казахстанские студенты разработали онлайн-словарь казахского жестового языка, полноценную платформу, содержащую 1800 слов. Мобильное приложение этого словаря может распознавать конфигурации рук из видео или камеры. Разработчики хотят научить новому жестовому языку всех казахстанцев с нарушениями слуха.
— Расскажите, какова основная миссия этого проекта и кого вы надеетесь поддержать с его помощью?
— Основной миссией проекта является предоставление равного доступа к информации и образованию для всех детей, включая детей с нарушениями слуха, и создание модели для более широкой интеграции инклюзивных технологий в образовательную среду. Мы стремимся поддержать детей с нарушениями слуха, помогая им улучшить навыки чтения и изучения жестового языка. Проект направлен на создание инклюзивной и технологически продвинутой образовательной платформы, которая позволит детям с нарушениями слуха расширить свои образовательные возможности и участвовать в образовательном процессе наравне с другими учениками.
— Какие специалисты участвовали в разработке словаря? Были ли привлечены носители жестового языка?
— Для разработки словаря были привлечены профессиональные переводчики жестового языка, чтобы обеспечить высокое качество записи жестов. В частности, для датасета FluentSigners-50, который является одним из ключевых в этом проекте, были привлечены носители жестового языка. Это обеспечило точность и аутентичность записанных данных.
— Какую базу слов вы включили в словарь? Будет ли он обновляться и расширяться в будущем?
— Мы включили в словарь более 20 категорий, таких как: страны и города, знакомство, семья, дом, эмоции, IT, медицина, галактика и другие. В каждой категории записано примерно 50-70 жестов, что позволяет пользователям охватывать широкий спектр тем. В настоящее время мы уже начали работы по расширению списка жестов и планируем увеличить общее количество до 5000 жестов. Таким образом, словарь будет регулярно обновляться и расширяться, чтобы охватить еще больше тематик и обеспечить пользователям более полный и функциональный ресурс для изучения казахского жестового языка.
— Какие технологии используются для демонстрации жестов? Есть ли возможность поиска жестов по видео или изображениям?
— Жесты демонстрируются с помощью записанных видео, что позволяет пользователям видеть правильное выполнение каждого жеста. Кроме того, нашими студентами были адаптированы модели, которые показывают жесты через аватара, использующего ключевые точки тела для точного отображения движений. Мы продолжаем работу над улучшением аватара для более качественного показа жестов. Поиск жестов также будет доступен по изображению конфигурации рук, которые можно показать через веб-камеру, что делает поиск интуитивным и удобным.
— Какие платформы поддерживают использование этого словаря (веб-сайт, мобильное приложение)?
— На данный момент платформа доступна в веб-версии. Мы активно работаем над адаптацией платформы для мобильных телефонов, чтобы словарь был доступен пользователям на различных устройствах.
— Чем этот онлайн-словарь отличается от других словарей жестовых языков?
— Наш словарь будет отличаться тем, что мы применяем различные алгоритмы Искусственного Интеллекта. Например, для обратного поиска жестов мы разработали поиск по конфигурации рук. Команда студентов уже разработала данную функцию в приложении для iOS. Теперь же мы планируем внедрить это на платформе.
— Будет ли словарь бесплатным или планируется внедрение платных функций?
— Да, словарь будет бесплатным. Кроме того, на платформе есть возможность чтения книг на казахском, русском и английских языках. Пользователи могут переводить незнакомые слова на жестовый язык, просто нажав на слово. В будущем мы планируем добавить обучающие игры, новые книги, а также возможность сохранять пройденные слова и их описание на жестовом языке. Эти дополнительные функции будут доступны по подписке за небольшую плату.
— Как Вы думаете, как онлайн-словарь повлияет на распространение и популяризацию казахского жестового языка?
— Платформа AI-YM станет важным инструментом для популяризации казахского жестового языка, сделав его более доступным для изучения как для людей с нарушениями слуха, так и для слышащих людей, желающих научиться жестовому языку. Это поможет укрепить межкультурные связи и улучшить коммуникацию в обществе.
— Как словарь может помочь улучшить коммуникацию между людьми с нарушениями слуха и слышащим населением?
– Платформа станет важным ресурсом для улучшения взаимопонимания между людьми с нарушениями слуха и слышащими, предоставляя возможность последним изучить основы жестового языка. Это способствует лучшему взаимодействию в различных сферах, от повседневного общения до профессиональной деятельности.
