Инновации 24 января 2025

Страна для глухих

Лаборатория «Сенсор-Тех» представила общественный сервис, который позволит свободно общаться глухим и слабослышащим. Платформа «Сурдо-Помощь» предоставляет перевод речи в текст, виртуального сурдопереводчика онлайн и видеосвязь со специальным кол-центром по сурдопереводу
Страна для глухих
Репетиция театра «Инклюзион» (театральный проект для слепоглухих)
Фонд поддержки слепоглухих «Со-единение»

«Платформа “Сурдо-Помощь” основана на алгоритмах искусственного интеллекта. В 2025 году уже более 80 процентов запросов наш сервис будет обрабатывать с помощью ИИ. Это позволит сделать технологию для людей с инвалидностью действительно массовой и только в России обслуживать не менее миллиона обращений ежегодно. В дальнейших планах — запуск IT-сервиса в странах СНГ, где много русскоговорящих», — рассказал на презентации директор лаборатории «Сенсор-Тех» Денис Кулешов.

Лаборатория «Сенсор-Тех» — разработчик умных гаджетов для людей с инвалидностью — создала эту услугу при поддержке Российского фонда развития информационных технологий (РФРИТ).

«Мы поддержали проект по разработке востребованного на рынке IT-решения. Это уникальный, полностью российский продукт, который предлагает удобный и эффективный способ коммуникации людям с нарушением слуха, государственным организациям и бизнесу. Преимущество таких облачных и кроссплатформенных сервисов в том, что их внедрение можно обеспечить в короткие сроки», — говорит генеральный директор РФРИТ Александр Павлов.


КУЛЕШОВ.jpg
Директор лаборатории «Сенсор-Тех» Денис Кулешов
Алексей Андреев

Комплексное решение

До сих пор люди с нарушенным слухом должны были использовать несколько программ, приложений, договариваться о сопровождении сурдопереводчика и платить за это. Аналогов нового сервиса, как утверждают в компании, нет не только в России, но и за рубежом.

«Мы сделали систему, которая может позволить глухому человеку общаться с окружающими в любой ситуации. Вы себе не представляете, какая проблема для глухих людей даже просто спросить что-то в магазине, в каком-нибудь учреждении. Человек же не слышит, не понимает, что ему говорят. А язык жестов очень мало кто знает», — говорит Денис Кулешов.

Сервисом могут пользоваться глухие и слабослышащие люди, а также организации, которые их у себя принимают: магазины, административные органы, школы, поликлиники, университеты и так далее. «Сурдо-Помощь» можно поставить на телефон (есть приложение для IOS и Android), использовать в веб-браузере.

«На компьютере, ноутбуке или планшете вы увидите чат, в котором можно общаться голосом, переводить любые фразы на язык жестов, нажав кнопочку, соединиться по видео-конференц-связи с сурдопереводчиком. Сам виртуальный сурдопереводчик может быть брендирован под любой проект. Любая организация может с нами связаться, и мы сделаем уникального персонажа именно под ваши задачи, под ваше учреждение», — отметил Денис Кулешов.

magnifier.png «Это уникальный, полностью российский продукт, который предлагает удобный и эффективный способ коммуникации людям с нарушением слуха, государственным организациям и бизнесу. Преимущество таких облачных и кроссплатформенных сервисов в том, что их внедрение можно обеспечить в короткие сроки»

«Сурдо-Помощь» позволяет перевести речь в текст и в виде субтитров показать слабослышащему, что говорит его собеседник. ИИ также может мгновенно генерировать виртуального помощника — сурдопереводчицу Дашу. Специалисты «Сенсор-Теха» с помощью технологии захвата движения (motion capture) обучили ее более 150 тысячам жестов. Их кропотливо создавали более года, и теперь это самая крупная база в России.

«Технология захвата движения действительно очень распространена и часто используется для создания виртуальных образов животных, людей, фантазийных героев, — рассказала “Стимулу” руководитель проекта “Сурдо-Помощь” Ирина Попова. — Эта технология работает так: актер, одетый в черный костюм с датчиками, играет роль персонажа, которого хотят создать в 3D-формате. В нашем случае актером был живой сурдопереводчик, который демонстрировал жесты на русском языке жестов. Датчики с костюма актера считываются массивом камер, которыми он окружен, и получается изображение в 3D-формате. Далее свое дело делает специализированное ПО, которое из этой 3D-картинки создает скелет, на который в принципе можно “надеть” любого персонажа. Эта технология помогает, когда персонажу нужно присвоить естественные движения живого человека, ведь не всегда возможно отрисовать анимацией движение, мимику, покачивания корпусом, как у реальных людей».

Сурдопереводчица Даша готова в любой момент перевести речь на язык жестов в режиме онлайн. В сложной ситуации пользователь может позвонить по видеосвязи профессиональному сурдопереводчику.

«Эта функция для глухих крайне важна, она очень удобна, чтобы вызвать экстренные службы, пройти прием у врача, получить услугу в МФЦ, консультацию в магазине или подсказки в аэропортах и на вокзалах, — рассказали “Стимулу” в “Сенсор-Техе”. — Раньше возможности живого ситуативного сурдоперевода практически не было. Глухие должны были заранее договариваться со специалистом, оплачивать его услуги. И если в Москве это еще развито и специалисты есть, то в регионах с таким сервисом очень плохо. А мы бесплатно оказываем эту помощь для людей в любой точке мира. Теперь нашим ребятам звонят из всех стран СНГ».


ПАВЛОВ.jpg
Генеральный директор Российского фонда развития информационных технологий Александр Павлов
Алексей Андреев

Виртуальный сурдопереводчик

Отдельно компоненты и модели продукта можно встраивать в различные сервисы и решения. Так, система может взять голосовой поток из видео и сделать видеофайл с виртуальным сурдопереводчиком.

Платформу также можно интегрировать в любой веб-сайт. У «Сенсор-Теха» уже есть такой опыт с социальным проектом в Москве — инклюзивным контакт-центром «Теплый контакт». Это проект трудоустройства людей с инвалидностью на постоянную работу. Предприятие предоставляет все привычные услуги кол-центра российскому бизнесу, другим социальным проектам, в штат целенаправленно берут на работу незрячих и слабовидящих сотрудников. Сейчас там работает больше 90 человек, трое участвовали в обработке вопросов на прямую линию президента. Сайт «Теплого контакта» адаптировали таким образом, что рядом с каждой плашкой текста появляется виртуальный сурдопереводчик.

magnifier.png В России сейчас порядка 13 млн людей с различными нарушениями слуха. 250 тыс. тотально глухих, около 15 тыс. с одновременными нарушениями слуха и зрения

«Есть еще один очень классный проект, который мы уже успели сделать с “Теплым контактом”, — интеллектуальный чат-бот на базе технологии “Сурдо-Помощи”, — рассказал Денис Кулешов. — Глухой человек может зайти в этот чат-бот и, отвечая на разные вопросы, которые задает ему бот, пройти, например, опрос, все ли хорошо в плане услуг, которые он получает. И все, что отвечает чат-бот, система не просто пишет в виде текста, но еще и автоматически дублирует на языке жестов. Если глухой в процессе опроса испытывает трудности, он может обратиться к оператору. Он через программу экранного доступа сможет ему помочь и соединить с живым сурдопереводчиком».

В планах на нынешний год — добавить функцию виртуального сурдоперевода в режиме реального времени, в ходе живого общения. Крупная российская платформа для вебинаров и ВКС предложила сделать совместный проект — внедрить в систему вебинаров сервис синхронного перевода на русский жестовый язык.


БИРЮКОВ.jpg
Директор ассоциации «АУРА-Тех» Иван Бирюков
Алексей Андреев

Арт-терапия

Лаборатория «Сенсор-Тех» основана в 2016 году, история этой организации напрямую связана с историей ее учредителя — Фонда поддержки слепоглухих «Со-единение», который был создан двумя годами ранее.

«Мы были учреждены Агентством стратегических инициатив с целью разработки системной помощи людям с одновременными нарушениями слуха и зрения, — рассказала исполнительный директор фонда Наталья Соколова. — И на тот момент мы не очень знали о проблемах, с которыми такие люди сталкиваются, об их потребностях. Первый проект, который мы запустили, — это Всероссийская перепись слепоглухих».

На основании анкетирования были созданы индивидуальные траектории развития каждого подопечного. Узнав их потребности, проблемы, запросы, участники команды поняли, что одной деятельности фонда будет недостаточно, и сейчас у «Со-единения» действует уже целое созвездие дочерних организаций. Они занимаются самыми разными направлениями, и таким образом фонд охватывает все сферы жизни своих подопечных.

«У нас есть театральный проект, называется театр “Инклюзион”, где слепоглухие люди — а теперь уже не только слепоглухие — могут себя проявить творчески, это очень хорошая арт-терапия, — рассказала Наталья Соколова. — Есть отдельная организация, занимающаяся научными исследованиями, разработкой методик, обучением специалистов, которые работают со слепоглухими. Есть сообщество семей слепоглухих, в рамках которого ведется поддержка семей, где есть слепоглухие дети, взрослые, родственники. А лаборатория “Сенсор-Тех” занимается разработкой всевозможных гаджетов, научными исследованиями, созданием ПО и так далее. И для нас очень важно поддерживать такие совершенно уникальные разработки, как проект “Сурдо-Помощь”. Ведь это крайне необходимо и нашим подопечным, поскольку люди, которые не видят и не слышат, отрезаны от внешнего мира и нуждаются в сопровождении. Слепоглухие в большинстве случаев имеют остаточные слух или зрение. Если остаточное зрение есть, “Сурдо-Помощь” им тоже будет очень полезна».


СУРДОПОМОЩЬ.jpg
Платформу «СУРДО-ПОМОЩЬ» можно поставить на телефон (есть приложение для IOS и Android), использовать в веб-браузере
«Сенсор-Тех»

Миллионы потребителей

В России сейчас порядка 13 млн человек с различными нарушениями слуха. 250 тыс. тотально глухих, около 15 тыс. с одновременными нарушениями слуха и зрения. Не так давно в русский язык пришло слово «инклюзия» (от латинского inclusio — «включение, вовлечение») — это процесс включения в активную жизнь социума людей с ограниченными возможностями здоровья. О проекте «Сурдо-Помощь» рассказывает Иван Бирюков, директор ассоциации «АУРА-Тех», которая участвовала в создании приложения, председатель экспертного совета фонда «Сколково» по направлению искусственного интеллекта.

«Недавно у нас была очередная встреча с коллегами из федеральных органов исполнительной власти и предприятий реабилитационной индустрии. Сейчас принимается стратегия развития реабилитационной индустрии до 2030 года. И практически все, о чем говорили на этом заседании, о чем говорит Всемирная организация здравоохранения, которая признала реабилитацию в 2023 году глобальным приоритетом, касается новых технологий, в частности одной из перспективных сквозных технологий, которая приходит в реабилитацию, а именно искусственного интеллекта», — сказал Иван Бирюков.

magnifier.png Лаборатория «Сенсор-Тех» запустит сервис для русскоговорящих жителей стран СНГ. А в дальнейшем можно будет охватить и более широкую мировую аудиторию, обучить Дашу жестовому английскому, французскому, немецкому, китайскому

По словам разработчиков, поле внедрения платформы «Сурдо-Помощь» огромно. Решение необходимо во всех местах, куда может прийти человек с нарушением слуха. В первую очередь это медицинские учреждения как наиболее социально востребованная сфера. Ведь любой человек с инвалидностью чаще посещает организации здравоохранения, чем обычные люди, и поэтому доступность этой сферы является одним из ключевых приоритетов.

«Далее — государственные учреждения, к примеру многофункциональные центры, — отмечает Денис Кулешов. — Если говорить про частный сектор, то помощь в общении значима в тех областях, где коммуникация приобретает особенно важное значение. Например, в банках. В магазине, когда мы что-то покупаем, в принципе, мы можем и не общаться с продавцом, просто положить товар на кассе, расплатиться и уйти. А когда получение продукта связано со встречными обязательствами, которые мы несем, а это любые финансовые продукты, то необходимо обменяться точной, детальной информацией с сотрудником. В подобных организациях такие решения должны быть».

Планируется выход и на зарубежные рынки. Лаборатория «Сенсор-Тех» запустит сервис для русскоговорящих жителей стран СНГ. А в дальнейшем можно будет охватить и более широкую мировую аудиторию, обучить Дашу жестовому английскому, французскому, немецкому, китайскому.

Темы: Инновации

Еще по теме:
06.02.2025
«Ростелеком» и компания — национальный чемпион «ИнфоТеКС» успешно испытали квантовую защиту на действующей волоконно-опт...
04.02.2025
Японский миллиардер Масаёси Сон сделал очередной ход в своей рискованной игре с ИИ. В понедельник 3 февраля на специальн...
31.01.2025
В России создан институт, который займется разработкой новых материалов и компонентов на основе перспективного материала...
29.01.2025
Разработанный китайским стартапом DeepSeek бесплатный аналог ChatGPT и прочих больших языковых моделей обрушил акции Nvi...
Наверх