«Платформа “Сурдо-Помощь” основана на алгоритмах искусственного интеллекта. В 2025 году уже более 80 процентов запросов наш сервис будет обрабатывать с помощью ИИ. Это позволит сделать технологию для людей с инвалидностью действительно массовой и только в России обслуживать не менее миллиона обращений ежегодно. В дальнейших планах — запуск IT-сервиса в странах СНГ, где много русскоговорящих», — рассказал на презентации директор лаборатории «Сенсор-Тех» Денис Кулешов.
Лаборатория «Сенсор-Тех» — разработчик умных гаджетов для людей с инвалидностью — создала эту услугу при поддержке Российского фонда развития информационных технологий (РФРИТ).
«Мы поддержали проект по разработке востребованного на рынке IT-решения. Это уникальный, полностью российский продукт, который предлагает удобный и эффективный способ коммуникации людям с нарушением слуха, государственным организациям и бизнесу. Преимущество таких облачных и кроссплатформенных сервисов в том, что их внедрение можно обеспечить в короткие сроки», — говорит генеральный директор РФРИТ Александр Павлов.
До сих пор люди с нарушенным слухом должны были использовать несколько программ, приложений, договариваться о сопровождении сурдопереводчика и платить за это. Аналогов нового сервиса, как утверждают в компании, нет не только в России, но и за рубежом.
«Мы сделали систему, которая может позволить глухому человеку общаться с окружающими в любой ситуации. Вы себе не представляете, какая проблема для глухих людей даже просто спросить что-то в магазине, в каком-нибудь учреждении. Человек же не слышит, не понимает, что ему говорят. А язык жестов очень мало кто знает», — говорит Денис Кулешов.
Сервисом могут пользоваться глухие и слабослышащие люди, а также организации, которые их у себя принимают: магазины, административные органы, школы, поликлиники, университеты и так далее. «Сурдо-Помощь» можно поставить на телефон (есть приложение для IOS и Android), использовать в веб-браузере.
«На компьютере, ноутбуке или планшете вы увидите чат, в котором можно общаться голосом, переводить любые фразы на язык жестов, нажав кнопочку, соединиться по видео-конференц-связи с сурдопереводчиком. Сам виртуальный сурдопереводчик может быть брендирован под любой проект. Любая организация может с нами связаться, и мы сделаем уникального персонажа именно под ваши задачи, под ваше учреждение», — отметил Денис Кулешов.
«Это уникальный, полностью российский продукт, который предлагает удобный и эффективный способ коммуникации людям с нарушением слуха, государственным организациям и бизнесу. Преимущество таких облачных и кроссплатформенных сервисов в том, что их внедрение можно обеспечить в короткие сроки»
«Сурдо-Помощь» позволяет перевести речь в текст и в виде субтитров показать слабослышащему, что говорит его собеседник. ИИ также может мгновенно генерировать виртуального помощника — сурдопереводчицу Дашу. Специалисты «Сенсор-Теха» с помощью технологии захвата движения (motion capture) обучили ее более 150 тысячам жестов. Их кропотливо создавали более года, и теперь это самая крупная база в России.
«Технология захвата движения действительно очень распространена и часто используется для создания виртуальных образов животных, людей, фантазийных героев, — рассказала “Стимулу” руководитель проекта “Сурдо-Помощь” Ирина Попова. — Эта технология работает так: актер, одетый в черный костюм с датчиками, играет роль персонажа, которого хотят создать в 3D-формате. В нашем случае актером был живой сурдопереводчик, который демонстрировал жесты на русском языке жестов. Датчики с костюма актера считываются массивом камер, которыми он окружен, и получается изображение в 3D-формате. Далее свое дело делает специализированное ПО, которое из этой 3D-картинки создает скелет, на который в принципе можно “надеть” любого персонажа. Эта технология помогает, когда персонажу нужно присвоить естественные движения живого человека, ведь не всегда возможно отрисовать анимацией движение, мимику, покачивания корпусом, как у реальных людей».
Сурдопереводчица Даша готова в любой момент перевести речь на язык жестов в режиме онлайн. В сложной ситуации пользователь может позвонить по видеосвязи профессиональному сурдопереводчику.
«Эта функция для глухих крайне важна, она очень удобна, чтобы вызвать экстренные службы, пройти прием у врача, получить услугу в МФЦ, консультацию в магазине или подсказки в аэропортах и на вокзалах, — рассказали “Стимулу” в “Сенсор-Техе”. — Раньше возможности живого ситуативного сурдоперевода практически не было. Глухие должны были заранее договариваться со специалистом, оплачивать его услуги. И если в Москве это еще развито и специалисты есть, то в регионах с таким сервисом очень плохо. А мы бесплатно оказываем эту помощь для людей в любой точке мира. Теперь нашим ребятам звонят из всех стран СНГ».
Отдельно компоненты и модели продукта можно встраивать в различные сервисы и решения. Так, система может взять голосовой поток из видео и сделать видеофайл с виртуальным сурдопереводчиком.
Платформу также можно интегрировать в любой веб-сайт. У «Сенсор-Теха» уже есть такой опыт с социальным проектом в Москве — инклюзивным контакт-центром «Теплый контакт». Это проект трудоустройства людей с инвалидностью на постоянную работу. Предприятие предоставляет все привычные услуги кол-центра российскому бизнесу, другим социальным проектам, в штат целенаправленно берут на работу незрячих и слабовидящих сотрудников. Сейчас там работает больше 90 человек, трое участвовали в обработке вопросов на прямую линию президента. Сайт «Теплого контакта» адаптировали таким образом, что рядом с каждой плашкой текста появляется виртуальный сурдопереводчик.
В России сейчас порядка 13 млн людей с различными нарушениями слуха. 250 тыс. тотально глухих, около 15 тыс. с одновременными нарушениями слуха и зрения
«Есть еще один очень классный проект, который мы уже успели сделать с “Теплым контактом”, — интеллектуальный чат-бот на базе технологии “Сурдо-Помощи”, — рассказал Денис Кулешов. — Глухой человек может зайти в этот чат-бот и, отвечая на разные вопросы, которые задает ему бот, пройти, например, опрос, все ли хорошо в плане услуг, которые он получает. И все, что отвечает чат-бот, система не просто пишет в виде текста, но еще и автоматически дублирует на языке жестов. Если глухой в процессе опроса испытывает трудности, он может обратиться к оператору. Он через программу экранного доступа сможет ему помочь и соединить с живым сурдопереводчиком».
В планах на нынешний год — добавить функцию виртуального сурдоперевода в режиме реального времени, в ходе живого общения. Крупная российская платформа для вебинаров и ВКС предложила сделать совместный проект — внедрить в систему вебинаров сервис синхронного перевода на русский жестовый язык.
Лаборатория «Сенсор-Тех» основана в 2016 году, история этой организации напрямую связана с историей ее учредителя — Фонда поддержки слепоглухих «Со-единение», который был создан двумя годами ранее.
«Мы были учреждены Агентством стратегических инициатив с целью разработки системной помощи людям с одновременными нарушениями слуха и зрения, — рассказала исполнительный директор фонда Наталья Соколова. — И на тот момент мы не очень знали о проблемах, с которыми такие люди сталкиваются, об их потребностях. Первый проект, который мы запустили, — это Всероссийская перепись слепоглухих».
На основании анкетирования были созданы индивидуальные траектории развития каждого подопечного. Узнав их потребности, проблемы, запросы, участники команды поняли, что одной деятельности фонда будет недостаточно, и сейчас у «Со-единения» действует уже целое созвездие дочерних организаций. Они занимаются самыми разными направлениями, и таким образом фонд охватывает все сферы жизни своих подопечных.
«У нас есть театральный проект, называется театр “Инклюзион”, где слепоглухие люди — а теперь уже не только слепоглухие — могут себя проявить творчески, это очень хорошая арт-терапия, — рассказала Наталья Соколова. — Есть отдельная организация, занимающаяся научными исследованиями, разработкой методик, обучением специалистов, которые работают со слепоглухими. Есть сообщество семей слепоглухих, в рамках которого ведется поддержка семей, где есть слепоглухие дети, взрослые, родственники. А лаборатория “Сенсор-Тех” занимается разработкой всевозможных гаджетов, научными исследованиями, созданием ПО и так далее. И для нас очень важно поддерживать такие совершенно уникальные разработки, как проект “Сурдо-Помощь”. Ведь это крайне необходимо и нашим подопечным, поскольку люди, которые не видят и не слышат, отрезаны от внешнего мира и нуждаются в сопровождении. Слепоглухие в большинстве случаев имеют остаточные слух или зрение. Если остаточное зрение есть, “Сурдо-Помощь” им тоже будет очень полезна».
В России сейчас порядка 13 млн человек с различными нарушениями слуха. 250 тыс. тотально глухих, около 15 тыс. с одновременными нарушениями слуха и зрения. Не так давно в русский язык пришло слово «инклюзия» (от латинского inclusio — «включение, вовлечение») — это процесс включения в активную жизнь социума людей с ограниченными возможностями здоровья. О проекте «Сурдо-Помощь» рассказывает Иван Бирюков, директор ассоциации «АУРА-Тех», которая участвовала в создании приложения, председатель экспертного совета фонда «Сколково» по направлению искусственного интеллекта.
«Недавно у нас была очередная встреча с коллегами из федеральных органов исполнительной власти и предприятий реабилитационной индустрии. Сейчас принимается стратегия развития реабилитационной индустрии до 2030 года. И практически все, о чем говорили на этом заседании, о чем говорит Всемирная организация здравоохранения, которая признала реабилитацию в 2023 году глобальным приоритетом, касается новых технологий, в частности одной из перспективных сквозных технологий, которая приходит в реабилитацию, а именно искусственного интеллекта», — сказал Иван Бирюков.
Лаборатория «Сенсор-Тех» запустит сервис для русскоговорящих жителей стран СНГ. А в дальнейшем можно будет охватить и более широкую мировую аудиторию, обучить Дашу жестовому английскому, французскому, немецкому, китайскому
По словам разработчиков, поле внедрения платформы «Сурдо-Помощь» огромно. Решение необходимо во всех местах, куда может прийти человек с нарушением слуха. В первую очередь это медицинские учреждения как наиболее социально востребованная сфера. Ведь любой человек с инвалидностью чаще посещает организации здравоохранения, чем обычные люди, и поэтому доступность этой сферы является одним из ключевых приоритетов.
«Далее — государственные учреждения, к примеру многофункциональные центры, — отмечает Денис Кулешов. — Если говорить про частный сектор, то помощь в общении значима в тех областях, где коммуникация приобретает особенно важное значение. Например, в банках. В магазине, когда мы что-то покупаем, в принципе, мы можем и не общаться с продавцом, просто положить товар на кассе, расплатиться и уйти. А когда получение продукта связано со встречными обязательствами, которые мы несем, а это любые финансовые продукты, то необходимо обменяться точной, детальной информацией с сотрудником. В подобных организациях такие решения должны быть».
Планируется выход и на зарубежные рынки. Лаборатория «Сенсор-Тех» запустит сервис для русскоговорящих жителей стран СНГ. А в дальнейшем можно будет охватить и более широкую мировую аудиторию, обучить Дашу жестовому английскому, французскому, немецкому, китайскому.
Темы: Инновации