Вредоносное ПО (malware) - это назойливые или опасные программы,...
Летом на выставке WWDC 2011 компания Apple показа iOS 5, представив большинство новых функций, за исключением одной, презентацию которой отложили на несколько месяцев…
В октябре 2011 очередную презентацию Apple уже проводит не Стив Джобс , а новый глава компании Тим Кук . На этом мероприятии показывают iPhone 4S, и в самом конце евента, достаётся слово Скотту Форстоллу - старшему вице-президенту Apple по iOS на тот момент. И именно Скотт Форсталл представил всему миру бета-версию интеллектуального голосового помощника Siri, которая стала не только ключевым нововведением iOS 5, но и эксклюзивом для iPhone 4S.
Ликование толпы, критика обозревателей и журналистов… Сколько холивара породила Siri на страницах интернета? Почему Siri наделала столько шума?
Кто создал Siri?
Кто же создал Siri? Компания SRI International, являющаяся подразделением DARPA (Агентство по перспективным оборонным научно-исследовательским разработкам), в 2007 году начала работу над Siri, а не Apple , как многие предполагают.Интересен тот факт, что Siri является результатом работы исследований, которые накапливались более сорока лет. Первоначальными разработчиками Siri стали Даг Китлаусс , Том Грюбер, Норман Винарский и Адам Чейнер. Главным исполнительным директором Siri являлся Даг Китлаус, но после того, как Siri купила компания Apple, Даг ушел с поста, что вполне логично.
Вообразите, насколько масштабна была предыстория создания Siri, а точнее объём работы исследователей в области распознавания и обработки голоса. Исследовательские группы из:
- Университета Карнеги-Меллона, Университета штата Масачусетс
- Университета Рочерстера, Стэнфордского университета
- Университета Южной Калифорнии
- Института по правам человека и познания машин
- Университета штата Орегон
Siri в iPhone 4S
И вот 4 октября 2011, на презентации iPhone 4S показывают Siri. Именно на ней компания Apple акцентирует внимание при пиаре очередного iPhone: Siri интегрирована в iPhone 4S
, взаимодействует с основными приложениями iOS, отвечает на трудные вопросы - все это невероятно впечатляет всех тех, кто успел лично поработать с Siri. Конечно, не обошлось без обвинений и критики. В адрес Apple посыпались обвинения в попытке выдать Siri за нечто новое и невероятное. По мнению некоторых, на других мобильных платформах нечто подобное уже было давно, а Apple снова не изобрела ничего нового...
Однако это не совсем так. Стоит лишь опробовать Siri в работе, как подобное мнение кардинально меняется. Известный критик Эльдар Муртазин , сохранял свое скептичное отношение к новинке, но лишь до того момента, пока iPhone 4S не попал ему в руки.
Так в чем же особенность Siri?
Что такого особенного в Siri? - вероятно, самый распространенный вопрос. Дело в том, что Siri ведет полноценный диалоговый разговор с пользователем. На момент анонса iPhone 4S Siri была еще в бета-версией, но это не так важно, потому что Siri постоянно совершенствуется и дорабатывается, при чем, все это происходит удаленно.Кроме этого, Siri использует совершенствующуюся технологию распознавания речи человека, которую разработала компания Nuance Communications. Siri индивидуально приспосабливается к каждому пользователю: слушает и изучает своего владельца, анализируя его предпочтения. Это удивительно…
Как работает Siri?
Тут все очень интересно. Если другие голосовые помощники до этого работали просто с поисковой системой, то Siri работает с множеством сервисами, что позволяет точно отвечать на самые разные вопросы, в том числе и очень сложные.Задав вопрос, он отравляется на сервера Apple (Siri), где обрабатывается и направляется к соответствующему сервису. А тут не только поисковые гиганты Google и Bing … Например, для деловых вопросов используются OpenTable, André Gayot, Citysearch, BooRah, Yelp Inc, Yahoo Local, ReserveTravel и Localeze. Для поиска информации о мероприятиях Siri обращается к Eventful, StubHub и LiveKick. Если спрашивать Siri о фильмах, то она отвечает, используя информацию с MovieTickets.com, Rotten Tomatoes и The New York Times... Таким образом голосовой ассистент от Apple справится с большинством повседневных вопросов, но ключевой особенностью является то, что Siri работает с WolframAlpha.
WolframAlpha позволяет Siri давать ответы на самые трудные вопросы, так как это не поисковая система. WolframAlpha позиционирует себя, как computational knowledge engine (перевод: база знаний и набор вычислительных алгоритмов).
Благодаря всему вышеперечисленному, Siri удается понимать речь человека и его вопросы, которые он задает в достаточно свободной форме, а не конкретные команды. На презентации в пример приводили вопрос: «Стоит ли мне сегодня взять зонтик ». Siri анализирует вопрос и понимает, что ей нужно ответить - какая погода ожидается в этой местности.
Конечно же, Siri еще не совершенна, но сам факт того, что такое решение появилось в мобильных телефонах не может не говорить о перспективном будущем технологии распознавания речи и компьютерных голосовых ассистентов.
И напоследок предлагаю Вам посмотреть небольшую подборочку .
Если вы не нашли ответа на свой вопрос или у вас что-то не получилось, а в комментаряих ниже нет подходящего решения, задайте вопрос через нашу . Это быстро, просто, удобно и не требует регистрации. Ответы на свой и другие вопросы вы найдете в разделе.
На самом деле принадлежит вполне реальному человеку. Каково это — «озвучить» виртуального помощника Apple? Издание Vox обратилось с этим вопросом к актрисе Сьюзан Беннет , голосом которой и говорит Siri .
Вконтакте
Госпожа Беннетт — известный по всему миру «голос за кадром». Кроме работы на Apple, она озвучивает рекламу, поет и наделяет своим голосом самые разные сервисы и продукты многих других компаний.
Беседа со Сьюзан — вещь сюрреалистическая. В какой-то момент она разговаривает с вами так же, как и всегда… и вы чувствуете, что у нее самый приятный голос из всех тех, что вы когда-либо слышали. Далее она «включает» манеру общения Siri — и создается впечатление, что вы общаетесь не с человеком, а с компьютером.
В профессии Сьюзан Беннетт
работает с 70-х гг прошлого века. Десятилетиями она записывает текст для автоответчиков, систем звукового и речевого оповещения («стандартный» голос в аэропорту, на стадионе и т.п.) и самых разных клиентов — от крупных корпораций до малого бизнеса.
В 2005 году Беннетт записала голос для Siri . Тогда она и понятия не имела о том, что ее работа будет знакома каждому пользователю iPhone в США — компания-создатель Siri еще не была выкуплена Apple. Приложение с голосом Сьюзан появилось в App Store в 2010 году, а год спустя уже было встроено в iOS и работало по умолчанию на новом флагмане Apple — iPhone 4S.
«Я записывала по четыре часа каждый день, пять дней в неделю, в течение всего июля . Для актера-закадрового голоса такой объем работы — серьезная нагрузка, это слишком долго. Со временем устаешь».
Записывать «компьютерный» голос вроде того, что получила Siri
, особенно трудно. Актер не читает осмысленные слова или предложения; в его задачу входит произнесение случайных слов с наличием в них так называемых «базовых» звуков — гласных, согласных, слогов и дифтонгов. Из них голосовой помощник Apple и строит уже осмысленные ответы. Например, Сьюзан нужно было произнести слова с буквой «S» во всех возможных вариантах произношения — и актриса надиктовывала настоящий «набор слов». Особого смысла в нем не было, выглядело это, по признанию самой Сьюзан, откровенно глупо.
Беннетт думает, что сегодня в записи Siri участвуют несколько других актеров. Это сделано для того, чтобы улучшить качество сервиса и дать пользователям больше вариантов.
Долгие годы Сьюзан скрывала тот факт, что «голос» Siri дала именно она — большинство актеров-«закадровых голосов» предпочитают лишний раз не светиться на публике, ведь после признания от славы уже не скрыться. Пойти на «каминг-аут» ее заставила ошибка журналистов The Verge — те решили, что Siri озвучивала не она, а другая актриса.
Рынок закадровых голосов является высококонкурентным, так что Беннетт решила не давать коллеге по работе очевидного преимущества (только представьте, что означает фраза в резюме «Я озвучивала Siri»!). Сегодня благодаря новейшим технологиям, рассказывает актриса, получить отличный заказ может каждый — достаточно иметь подключение к Интернету и несколько тысяч долларов на оборудование. Сама Сьюзан, как и многие коллеги, работает из дома. Там у нее оборудована студия, которая привела бы в восторг любого фаната аудиотехнологий. Чего стоит хотя бы один микрофон Neumann TLM 193 за $1 600!
Сьюзан Беннетт
заботится о своем голосе: часто пьет теплую воду вместо чая, иногда принимает в пищу мед и старается не прочищать горло.
А можно ли стать актером-специалистом по озвучке? Да, но это не для каждого, говорит Сьюзан, ведь голос — это врожденное:
Сьюзан Беннетт уверена: компьютеры никогда не смогут заменить человеческий голос — нечто в нем не поддается симуляции. Что и говорить — машина никогда не сможет заговорить сначала голосом Siri , а затем от души рассмеяться как самый обычный человек.
О чем стоит поговорить с девушкой из телефона.
Персональная голосовая помощница Siri появилась в iOS-устройствах в 2011 году. С того момента Apple активно развивает ее способность отвечать на самые сложные вопросы. Ниже дадим список полезных команд Сири, о которых ты мог не знать.
Описанное ниже работает на iPhone и iPad . Возможно, и на Mac с последней бета-версией macOS Sierra.
1. Найди фотографии, которые я сделал…
Siri умеет фильтровать сделанные фотографии по местоположению. Запрос «найди фотографии, которые я сделал в Москве» позволил мне легко найти нужные среди сотен фото из столицы России. Главное, чтобы в приложении фото был включен сервис геолокации. Также можно попросить Siri показать фотографии и видео за определенную дату, месяц или год.
2. Напомни мне о…
С помощью Siri очень легко создавать напоминания. Настолько, что перестал пользоваться одноимённым приложением. Запрос «напомни мне о статье, когда я вернусь домой» помогает лично мне, а вы экспериментируйте, сохраняя общую структуру фразы. Также напоминание можно сделать не по привязке к конкретной локации, а по времени – просто упомяните дату в формате «напомни в 22:00» .
3. Включи Bluetooth
Многие вещи Siri может делать быстрее тебя. Например, включать/выключать сетевые функции. Например, «включить Bluetooth» или «Авиарежим» . Правда, при этом Siri напомнит, что далее она не сможет работать без интернета.
4. Сколько будет…
Голосовая помощница умеет считать. Проговорите любое вычисление: «двадцать пять тысяч минус восемьнадцать тысяч двести тридцать один» , услышите результат вслух. Ещё Siri знает количество дней с определенной даты или до определенного события. Может даже сказать расстояние до определенного пункта. Но самое удобное – в возможности конвертировать величины . Сколько будет 300 футов в метрах, 45 унций в граммах и так далее.
5. Прочитай последнее сообщение от…
Siri умеет находить сообщения: просто попроси «прочитать последние сообщения от Артёма» . После этого предложит ответить под диктовку. Самое то, когда ты едешь или просто спешишь. Или если руки грязные.
6. Выключи свет в гостиной
Если твой дом оборудован smart-гаджетами, (например, умными лампочками), и в приложении HomeKit проведена соответствующая настройка, запросы о включении/выключении приборов Siri щелкает как орешки. Если, конечно, есть что щелкать – «установи температуру двадцать два градуса» или «выключи розетки в гостиной» .
7. Поставь будильник
Обычное дело, когда ложусь спать. «Разбуди меня в 7 утра» или «поставь будильник на девять двадцать пять» . Также настраивается и таймер.
8. Что за песня играет
Можно не включать Shazam, чтобы узнать название проигрываемой мелодии по радио. Достаточно об этом спросить Siri, она подскажет: «что за песня играет» или «что это за трек» . Кроме того, помощница добавляет найденный трек в специальную вкладку мобильной версии iTunes. Не потеряешь.
9. Включи музыку
Простой запрос, простой результат: «включи музыку» – включается музыка из плеера iOS. Кроме того, можно попросить запустить определенный плейлист, подборку и жанр. Ещё есть возможность запустить треки конкретных исполнителей или альбомов. Но будьте готовы мучаться с произношением их названий, особенно если они английские:)
Если ты подписан на Apple Music, помощница будет искать музыку среди 30 миллионов композиций. Мечта меломана.
10. Что с погодой
Siri понимает практически любые запросы, связанные с погодой: «какая погода» , «будет ли дождь сегодня» , «стоит ли брать зонт» , «какая погода будет вечером» , «какая температура сейчас» . Причём её ответы всегда немного разные, чётко соответствуют запросу. Может сказать про погоду в конкретный день недели, может ответить, стоит ли ждать солнца и так далее.
Это далеко не полный список возможных команд – он внушителен и постоянно расширяется новыми прошивками. Радует, что сегодня с Siri действительно можно общаться, и она реально экономит время. Что раньше было в фантастических фильмах, стало реальностью.
Вот только один вопрос:
Siri - голосовой ассистент, который впервые был представлен в 2011 году вместе с iOS 5. Разумеется, с тех пор он серьезно развивался: научился говорить на разных языках (в том числе и на русском), пришел на компьютеры Mac, научился взаимодействовать с программами от сторонних разработчиков и т.д., но качественный скачок он сделал только с анонсом iOS 10 - теперь его голос основан на глубоком обучении, что позволяет ему звучать более естественно и плавно. Что такое глубокое обучение и как синтезируется голос Siri - об этом мы и поговорим в этой статье.
Введение
Синтез речи - искусственное воспроизведение человеческой речи - широко используется в различных областях, от голосовых помощников до игр. Недавно, в сочетании с распознаванием речи, синтез речи стал неотъемлемой частью виртуальных персональных помощников, таких как Сири.
Существуют две технологии синтеза речи, используемые в звуковой индустрии: выбор звуковых единиц и параметрический синтез. Синтез выбора единиц обеспечивает наивысшее качество при достаточном количестве высококачественных речевых записей, и, таким образом, это наиболее широко используемый метод синтеза речи в коммерческих продуктах. С другой стороны, параметрический синтез обеспечивает очень понятную и плавную речь, но имеет более низкое общее качество. Современные системы выбора звуковых единиц объединяют некоторые преимущества двух подходов, и поэтому они называются гибридными системами. Методы выбора гибридных единиц аналогичны методам классической селекции единиц, но они используют параметрический подход для прогнозирования того, какие звуковые единицы должны быть выбраны.
В последнее время глубокое обучение набирает обороты в области речевых технологий, и в значительной степени превосходит традиционные методы, такие как скрытые марковские модели (СММ), в принципе работы которых лежит разгадывание неизвестных параметров на основе наблюдаемых, при этом полученные параметры могут быть использованы в дальнейшем анализе, например, для распознавания образов. Глубокое обучение обеспечило полностью новый подход к синтезу речи, который называется прямое моделирование формы волны. Он может обеспечить как высокое качество синтеза выбора единиц, так и гибкость параметрического синтеза. Однако, учитывая его чрезвычайно высокие вычислительные затраты, реализовать его на пользовательских устройствах пока не получится.
Как работает синтез речи
Создание высококачественной системы преобразования текста в речь (TTS) для персонального помощника - непростая задача. Первый этап - найти профессиональный голос, звучание которого будет приятным, разбочивым и соответствующим личности Сири. Чтобы охватить некоторые вариации из огромного разнообразия человеческой речи требуется записать 10-20 часов речи в профессиональной студии. Сценарии записи варьируются от аудиокниг до инструкций по навигации, и от подсказок до ответов на остроумные шутки. Как правило, эта естественная речь не может использована в голосовом помощнике, потому что невозможно записать все возможные высказывания, которыми может говорить помощник. Таким образом, выбор звуковых единиц в TTS основан на разрезании записанной речи на ее элементарные компоненты, такие как фонемы, а затем их рекомбинации в соответствии с входным текстом для создания совершенно новой речи. На практике, выбор соответствующих сегментов речи и объединение их друг с другом непростая задача, поскольку акустические характеристики каждой фонемы зависят от соседних и интонации речи, что часто делает речевые единицы несовместимыми друг с другом. На рисунке ниже показано, как речь может быть синтезирована с использованием речевой базы данных, разделенной на фонемы:
В верхней части рисунка показано синтезированное высказывание «Синтез выбора единиц» и его фонетическая транскрипция с использованием фонем. Соответствующий синтетический сигнал и его спектрограмма показаны ниже. Речевые сегменты, разделенные линиями, являются непрерывными сегментами речи из базы данных, которые могут содержать одну или несколько фонем.
Основная проблема выбора звуковых единиц в TTS заключается в том, чтобы найти последовательность единиц (например, фонем), которые удовлетворяют входному тексту и предсказанной интонации, при условии, что они могут быть объединены вместе без слышимых сбоев. Традиционно процесс состоит из двух частей: front-end и back-end (входящие и выходящие данные), хотя в современных системах граница иногда может быть неоднозначной. Целью front-end является предоставление фонетической транскрипции и информации об интонации на основе исходного текста. Сюда же включается и нормализация исходного текста, который может содержать числа, сокращения и т.д.:
Используя символьное лингвистическое представление, созданное модулем текстового анализа, модуль генерации интонации предсказывает значения для акустических характеристик, таких как, например, продолжительность фразы и интонации. Эти значения используются для выбора соответствующих звуковых единиц. Задача выбора единицы имеет высокую сложность, поэтому современные синтезаторы используют методы машинного обучения, которые могут изучить соответствие между текстом и речью, а затем предсказать значения речевых функций из значений подтекста. Эта модель должна быть изучена на этапе обучения синтезатора с использованием большого количества текстовых и речевых данных. Входные данные для этой модели - это числовые лингвистические функции, такие как идентификация фонемы, слова или фразы, преобразованные в удобную численную форму. Выходной сигнал модели состоит из числовых акустических характеристик речи, таких как спектр, основная частота и продолжительность фразы. Во время синтеза обучаемая статистическая модель используется для сопоставления входных текстовых функций с речевыми функциями, которые затем используются для управления бэкэнд-процессом выбора звуковой единицы, где важны соответствующие интонации и длительность.
В отличие от front-end, бэкэнд в основном не зависит от языка. Он состоит из выбора нужных звуковых единиц и их конкатенации (то есть склейки) в фразу. Когда система обучается, записанные речевые данные сегментируются в отдельные речевые сегменты, используя принудительное выравнивание между записанной речью и сценарием записи (с использованием акустических моделей распознавания речи). Затем сегментированная речь используется для создания базы данных звуковых единиц. База данных дополнительно пополняется важной информацией, такой как лингвистический контекст и акустические характеристики каждой единицы. Используя построенную базу данных устройства и предсказанные интонационные функции, которые определяют процесс выбора, выполняется поиск Витерби (вверху - целевые фонемы, ниже - возможные звуковые блоки, красная линия - наилучшее их сочетание):
Выбор основан на двух критериях: во-первых, звуковые единицы должны иметь одну (целевую) интонацию, и, во-вторых, единицы должны быть, по возможности, объединены без слышимых сбоев на границах. Эти два критерия называются соответственно целевыми и конкатенационными расходами. Целевая стоимость - это разница между прогнозируемыми целевыми акустическими характеристиками и акустическими характеристиками, извлекаемыми из каждого блока, тогда как стоимость конкатенации представляет собой акустическую разницу между последующими единицами:
Скрытые марковские модели (СММ) обычно используются в качестве статистической модели для целевых прогнозов, поскольку они непосредственно моделируют распределения акустических параметров, и, таким образом, их можно легко использовать для вычисления целевой стоимости. Тем не менее, подходы, основанные на глубоком обучении, часто превосходят СММ в синтезе параметрической речи.
Целью системы TTS Сири является подготовка единой модели, основанной на глубоком обучении, которая может автоматически и точно прогнозировать как целевые, так и конкатенационные затраты для звуковых единиц в базе данных. Таким образом, вместо СММ использует смесь плотности сети (СПС, mixture density network) для прогнозирования распределений по определенным признакам. СПС объединяют обычные глубокие нейронные сети (ГНС) с гауссовскими моделями.
Обычный ГНС представляет собой искусственную нейронную сеть с несколькими скрытыми слоями нейронов между входным и выходным уровнями. Таким образом, ГНС может моделировать сложную и нелинейную зависимость между входными и выходными характеристиками. Напротив, СММ моделирует распределение вероятностей выходных данных с учетом входных данных с использованием набора гауссовых распределений, и обычно обучается с использованием метода максимизации ожидания. СПС сочетает преимущества ГНС и СММ, используя ГНС для моделирования сложной взаимосвязи между входными и выходными данными, но обеспечивая распределение вероятностей на выходе:
Для Siri используется унифицированная целевая и конкатенационная модели на основе СПС, которые могут прогнозировать распределение как целевых характеристик речи (спектра, высоты тона и продолжительности), так и стоимости конкатенации между звуковыми единицами. Иногда речевые особенности, такие как аффиксы, довольно стабильны и развиваются медленно - например, в случае гласных. В другом месте речь может изменяться довольно быстро - например, при переходе между озвученными и невокализованными звуками речи. Чтобы учитывать эту изменчивость, модель должна иметь возможность корректировать свои параметры в соответствии с вышеупомянутой изменчивостью. СПС делает это используя отклонения, встроенные в модель. Это важно для улучшения качества синтеза, поскольку мы хотим рассчитать целевые и конкатенационные издержки, характерные для текущего контекста.
После подсчета единиц на основе общей стоимости с использованием СПС выполняется традиционный поиск по Витерби, чтобы найти лучшее сочетание звуковых единиц. Затем они объединяются с использованием метода совпадения с перекрытием формы волны, чтобы найти оптимальные моменты времени конкатенации для создания плавной и непрерывной синтетической речи.
Итоги
Для использования СПС в Сири было записано как минимум 15 часов высококачественных речевых записей на частоте 48 кГц. Речь была разделена на фонемы с использованием принудительного выравнивания, то есть было применено автоматическое распознавание речи, чтобы выровнять входную звуковую последовательность с акустическими характеристиками, извлеченными из речевого сигнала. Этот процесс сегментации привел к созданию примерно 1-2 миллионов фонем.
Чтобы провести процесс отбора звуковых единиц на основе СПС была создана единая целевая и конкатенационная модели. Входные данные для СПС состоят в основном из двоичных значений с некоторыми дополнительными функциями, которые представляют собой информацию о контексте (по две предшествующих и следующих фонемы).
Качество новой системы TTS Сири превосходит предыдущую - это подтверждают многочисленные тесты на картинке ниже (интересно, что лучше всего оценили как раз новый русский голос Сири):
Лучшее качество звука связано как раз с базой данных на основе СПС - это обеспечивает лучший выбор и конкатенацию звуковых блоков, более высокую частоту дискретизации (22 кГц против 48 кГц) и улучшенное сжатие звука.
Прочесть оригинал статьи (требуется хорошее знание английского и физики), а также послушать, как менялся голос Сири в iOS 9, 10 и 11, можно .
Теперь пользователь iPhone и iPad может вводить текстовые запросы и команды для Siri. Но здесь есть один момент. В бета-версиях iOS 11 нужно выбирать между текстовым и голосовым набором. Если активирована функция «Ввод текста для Siri», помощник не воспринимает голосовые команды. Было бы гораздо удобнее, если бы Siri мог переключаться между этими опциями автоматически. Возможно, в будущих версиях производитель это учтет.
Как использовать текстовые команды Siri:
Чтобы активировать текстовые команды для Siri в iOS 11, выполните следующее:
Шаг 1. Откройте раздел Siri и Поиск и активируйте опцию Слушать «Привет, Siri».
Шаг 2. Перейдите «Настройки» > «Основные» > «Универсальный доступ» > Siri.
Шаг 3. Активируйте переключатель напротив опции «Ввод текста для Siri».
Шаг 4: Нажмите и удерживайте кнопку «Домой». Теперь вместо привычного звукового сигнала на экране появится вопрос «Чем я могу помочь» и стандартная клавиатура.
Шаг 5: Просто введите запрос или команду и нажмите «Готово».
Ответ Siri будет отображен в виде текста. Если виртуальный помощник не понял задачу, можно нажать на запрос и отредактировать его.
Внешняя клавиатура
Функция голосовых запросов к Siri работает также с внешней клавиатурой на iPad. Наличие кнопки «Домой» (как на Logitech K811) делает процесс ввода еще удобнее. Нажав на клавишу и указав команду для Siri, пользователь может намного быстрее выполнить простые задачи, например, отправить сообщение, воспроизвести музыку или создать заметку.
Подобный функционал особенно важен теперь, когда Apple позиционирует iPad Pro в качестве замены для компьютера. Постепенно iOS превращается в операционную систему профессионального уровня, которая тесно связана с аппаратным обеспечением, всегда подключена к интернету и постоянно находится в кармане человека.
