Google работает над новым приложением, которое поможет людям с нарушениями речи
Приложение Project Relate от Google — это новое исследовательское приложение на основе машинного обучения, которое упрощает общение для людей с дефектами речи. Приложение Project Relate будет доступно для бета-тестирования в Австралии, Канаде, Новой Зеландии и США. Google планирует проверить это на носителях английского языка, желающих принять участие.
В своем сообщении в блоге Google заявил, что стремится помочь людям с нарушениями речи, вызванными такими состояниями, как инсульт, БАС, болезнь Паркинсона или даже черепно-мозговая травма.
«Еще в 2018 году мы поняли, что распознавание речи можно улучшить, чтобы сделать его более доступным для людей, чья речь была нарушена каким-либо заболеванием. Но обычная технология распознавания речи не всегда работает для тех, у кого нетипичная речь просто потому, что у нас нет большого количества обучающих данных для обучения алгоритмов на примерах », — пояснила Джули Каттиу, менеджер по продукту в Google Research.
Чтобы получить доступ к Project Relate, Google запустил в 2019 году программу сбора данных под названием Euphonia, которая собирала примеры того, как звучат люди с различными дефектами речи. Каттиау сообщил, что Google работал с «несколькими партнерскими организациями, такими как ALS TDI, Канадское общество синдрома Дауна и Team Gleason в США», чтобы помочь им определить людей, которые будут участвовать в проекте. В конечном итоге Google использовал более миллиона образцов речи для создания приложения.Согласно видео, продемонстрированному Google, пользователь с нарушением речи может разговаривать с приложением, которое затем может передать свой запрос другому пользователю. Пользователь также может общаться с Google Assistant из приложения, которое может выполнять запрос пользователя.
Тех, кто присоединяется к раннему тестированию Project Relate, попросят записать набор фраз. Каттиау сообщил, что для точной работы приложению требуется 500 примеров от пользователя, а создание персонализированной модели может занять от 30 до 90 минут.«Если после 250 фраз мы понимаем, что точность модели достаточно хорошая, мы выпускаем модель раньше, но это может быть не так для каждого пользователя. Это зависит от степени их речевого нарушения », — добавила она.
Затем приложение будет использовать эти фразы, чтобы автоматически узнать, как лучше понимать уникальные речевые шаблоны пользователя, и предоставить им доступ к трем основным функциям приложения: «Слушать», «Повторять» и «Ассистент».Благодаря функции «Слушать» приложение транскрибирует речь пользователя в текст в режиме реального времени, поэтому они могут копировать и вставлять текст в другие приложения или позволять людям читать то, что они хотят им сказать. Повтор — это функция, при которой пользователь разговаривает с приложением, а затем приложение повторяет то же самое «чистым синтезированным голосом» для окружающих.
Используя речевые модели Relate, Google пытается охватить определенные области, чтобы гарантировать точность модели. «В приложении Relate есть несколько фраз, которые являются запросами для помощников Google, и цель этого состоит в том, чтобы сделать модель более устойчивой к запросам, которые предполагается передать помощнику Google. У нас также есть повседневные разговорные фразы », — сказала она. Пользователи приложения также смогут создавать собственные фразы, которые они хотели бы сказать Ассистенту. По словам Google, это поможет модели приложения стать более надежной и индивидуальной для каждого пользователя.
Функция Ассистент, конечно же, позволяет говорящему напрямую разговаривать с Google Assistant из приложения Relate для выполнения различных задач. Google говорит, что он также работал с Обри Ли, бренд-менеджером компании, чья речь страдает мышечной дистрофией. «Project Relate может отличить смущенный взгляд от дружеского признания», — сказала Обри в видео.
Когда его спросили, планирует ли Google распространить это на другие языки, Каттиау сказал, что сначала они начинают с английского и надеются добавить поддержку других языков позже. Японский — это один из языков, который они активно изучают в настоящее время для приложения.
Поделиться
Источник