Как исследователи Назарбаев Университета работают над продвижением исследований по языкам жестов

Мир вокруг нас меняется очень быстро, и сегодня люди уже привыкли к тому, что нам предлагаются все новые и новые инновационные решения повседневных задач. Благодаря усилиям исследователей по поиску высокотехнологичных решений, во всем мире, в том числе и в Казахстане, мы выступаем свидетелями того, как окружающий нас мир становится «лучшим местом» для существования. Независимо от того, идет ли речь о бизнесе, образовании, медицине, военной или социальной службе, существует множество людей, которые ежедневно бросают себе вызов, чтобы найти пути решения различных проблем и вопросов, с которыми сталкивается наше общество. Одним из таких энтузиастов-исследователей является наш сегодняшний герой — Ассистент Профессор Школы инженерии и цифровых наук Назарбаев Университета Анара Сандыгулова.

Доктор компьютерных наук, Анара Сандыгулова работает Ассистент профессором кафедры робототехники и мехатроники Школы инженерии и цифровых наук. В настоящее время она возглавляет исследовательский проект по системе автоматического распознавания казахского языка жестов K-SLARS. Проект уже реализуется и рассчитан в обшей сложности на 36 месяцев при финансовой поддержке программы развития школы НУ.

Анара Сандыгулова, объясняя суть проекта, отметила, что глухие общины во всем мире используют язык жестов в качестве первого языка, который не зависит от разговорного языка, используемого в этой стране. Например, американский язык жестов и британский язык жестов сильно отличаются друг от друга, несмотря на то, что разговорным языком этих стран является английский. Аналогично этому, каждая страна или регион имеет свой собственный язык жестов с различной грамматикой и правилами, что приводит к нескольким сотням существующих сегодня а мире языков жестов. В Казахстане сегодня насчитывается более 18 тысяч глухих и слабослышащих людей. По словам ученой, Казахстан имеет один язык жестов с Россией, Молдовой и другими странами СНГ, что объясняется централизованной системой, которая существовала здесь раньше в бытность Советского Союза.

— Исследования в области распознавания языка жестов, их генерирования и перевода обладают высоким потенциалом воздействия, — полагает исследователь. В то время как автоматическое распознавание речи стало коммерчески доступным, автоматическое распознавание языка жестов все еще находится в зачаточном состоянии. Существует множество инновационных решений для поддержки разговорных языков (как устных, так и письменных), однако многие глухие люди не владеют разговорным языком стран, в которых они живут. Таким образом, они часто изолированы от общества и имеют социальные и коммуникационные барьеры во всех аспектах своей жизни. Если бы существовали решения по обработке речи, такие как размещение субтитров на YouTube для языков жестов с автоматической заменой текста на видеозаписи, глухие люди могли бы воспользоваться онлайновым контентом для получения новых компетенций. Однако одним из главных ограничений является наличие больших, обобщаемых, реалистичных наборов данных о языке жестов.

Анара Сандыгулова объясняет, что знаки в языках жестов состоят из фонологических компонентов, собранных по определенным правилам. Лингвисты выделяют следующие основные компоненты, присутствующие в знаках: формы рук, расположение на теле, движение, ориентация, мимика и образцы губ. Этот проект направлен на создание первого корпуса казахского языка знаков, который был бы подходящим для машинного обучения и лингвистических исследований. Как и любой набор видеоматериалов, ручная аннотация языков жестов (ручных и неручных компонентов) является чрезвычайно трудоемкой и ресурсоемкой. Мы стремимся создать полуавтоматический инструмент аннотации, который будет автоматически аннотировать ручные и неручные компоненты, тем самым способствуя более быстрому созданию аннотированных наборов данных. В то же время, алгоритмы будут в дальнейшем применяться для автоматического распознавания языка жестов для различных приложений взаимодействия человек-компьютер/робот, — отмечает она.

Основным мотивирующим фактором проекта является необходимость тщательной и систематической организации данных для обработки KSL. «Подобные наборы данных существуют и для других языков знаков во всем мире, но они часто достаточно ограничены по объему словарного запаса, изменчивости знаков, и содержат нереальные знаки, так как зачастую они медленнее и имеют более простую интерпретацию. Вот почему K-SLARS стремится собрать независимый, реалистичный набор данных, использующий техники краудсорсинга», — рассказала Анара.

Исследовательский проект осуществляется на базе научно-исследовательских лабораторий Школы инженерии и цифровых наук Назарбаев Университета. В исследовании приняли участие несколько местных специалистов, в том числе магистранты и аспиранты. Мы тесно сотрудничаем с сурдопереводчиком, ассоциированным профессором Вадимом Киммельманом из Университета Бергена в Норвегии, чей опыт работы с русским сурдопереводчиком имеет решающее значение для успеха проекта. Ожидается, что проект обеспечит соблюдение принципов научной этики, этических процедур управления, поддержание высоких стандартов интеллектуальной честности и недопущение фальсификации научных данных, фальсификации, плагиата и ложного соавторства.

«Наша команда уже обеспечила две публикации на престижных международных конференциях». В конечном итоге проект будет иметь комбинацию программного обеспечения, наборов данных, ноу-хау и результатов, которые будут рассматриваться как интеллектуальная собственность», — подытожила Анара Сандыгулова. Ожидается, что результатом исследования станет новый набор данных по языку жестов и специальный веб-инструмент полуавтоматической аннотации для языка жестов.