Компьютерный синтез голоса с интонациями
ailev в Openmeta (оригинал в ЖЖ)
| Metapractice | |||||
| Multi-level communication | |||||
| 1. Формальное начало старой темы | metanymous | ||||
| Говорить_как_петь | metanymous | ||||
| Языкоиды -- моделируем и тренируем | |||||
| 5. Языкоиды -- моделируем и тренируем | metanymous | ||||
| 4. Языкоиды -- моделируем и тренируем | metanymous | ||||
| 3. Языкоиды -- моделируем и тренируем | metanymous | ||||
| 2. Языкоиды -- моделируем и тренируем | metanymous | ||||
| "Слова бывают только вместе с жестом, или тоном голоса, или чем-то в этом роде." Бейтсон. | |||||
| "Слова бывают только вместе с жестом, или тоном голоса, или чем-то в этом роде." Бейтсон. | metanymous | ||||
| Openmeta | |||||
| Ранжированный список тем опенметы | |||||
| Ранжированный список тем опенметы | metanymous | ||||
| Предварительная опись выявленных моделей ОпенМеты | |||||
| Предварительная опись выявленных моделей ОпенМеты | metanymous | ||||
| МодельРечиКакПения | metanymous | ||||
Кто не знает про Вокалоид: это такая фирменная технология от Yamaha, которая на входе берет японский или английский письменный текст и миди, и поет этот текст голосом засэмплированного певца/певицы в соответствии с миди. И все это удовольствие будет стоить каких-нибудь $330 для голосов безвестных вокалистов, которые, думаю, нас вполне удовлетворят. В продаже все эти чудеса с января 2004г.
Нас, конечно, интересует не пение, а речь -- интонационные паттерны (коих metanymous оценивал, насколько я помню, в пару десятков). Петь, оказывается, легче, чем говорить: It is possible to synthesize the spoken word by inputting notes and pitch bend to represent the intonation, but it is not easy to create the complex intonation curve by hand. Please note that VOCALOID is a system for mainly synthesizing songs. Для наших целей, конечно, нужно будет сделать приладу, которая создает сложные интонационные кривые отнюдь не руками. Теперь достаточно взять какой-нибудь кинодвижок, создать аватару с грудью попышнее или торсом помогучей, приделать синхронизацию с голосом -- и вот уже можно генерировать внушения на любую подходящую тему.
Потом начнем разбираться с вербальной/невербальной обратной связью -- эти технологии тоже могут оказаться доступны быстрее, чем мы сейчас думаем.
4 комментария
сначала старые сначала новые
![[userpic]](http://localhost:4000/images/none.gif)
Для наших целей, конечно, нужно будет сделать приладу, которая создает сложные интонационные кривые отнюдь не руками. Теперь достаточно взять какой-нибудь кинодвижок, создать аватару с грудью попышнее или торсом помогучей, приделать синхронизацию с голосом -- и вот уже можно генерировать внушения на любую подходящую тему.
--------
Работа далеко не шуточная, если учесть, что в том же Вокалоиде даже в певчем варианте японца буквально клинит на стыке звучаний.
Легкая смена интонации в длящейся ноте еще вроде куда ни шло, а вот немногим более серьзный переход от звука к звуку - и тот реализовать не удалось. Речь по меньшей мере на порядок сложнее генерировать.
--------
Работа далеко не шуточная, если учесть, что в том же Вокалоиде даже в певчем варианте японца буквально клинит на стыке звучаний.
Легкая смена интонации в длящейся ноте еще вроде куда ни шло, а вот немногим более серьзный переход от звука к звуку - и тот реализовать не удалось. Речь по меньшей мере на порядок сложнее генерировать.
МодельРечиКакПения ждет не дождется решения всех этих технических проблем.
Я думаю, все технические проблемы будут решены уже года за два-три. А РечьКакПение - действительный феномен. Вот у меня ребенок еще не говорит, и не поет, конечно. Но может затулить очень длинную фразу на вя-вя-вя-вя, с четкими интонационными паттернами, весьма выразительными, не хуже, чем у любых мелодекламаторов. Контента еще нет, а все, что "сверху" -- уже пожалуйста, даже калибровать не нужно, все понятно. РечьКакПение.
Да, именно так работает РечьКакПение. В сторогом смысле слова это не модель Языкоида. Это скорее модель многоуровневойй коммуникация - multilevel communications
(что-то в этом роде: "...I regard the ethical dimension of reading as an inextricable part of approaching narrative as rhetoric. To approach narrative as rhetoric is to understand narrative as a rhetorical act: somebody telling somebody else on some occasion and for some purpose that something happened. This rhetorical act involves a multi-leveled communication from author to audience, one that involves the audience's intellect, emotions, psyche, and values. ..."):
Первый уровень (группа уровней) задаются сказанным (речью). Среди них могут быть и языкоиды.
Второй уровень - определяется мелодией. Мелодия может быть известна слушателю. Она может быть такой, которая вызывает автоматически соответствующий НастройСознания. Я присутствовал на сеансе, когда надо было ввести в транс умирающего от рака пожилого мужчину. Он сильно мучился, но против официального наведения транса почему-то возражал. Тогда терапевт стал говорить с ним на общие темы "на мелодию" детской колыбельной. Это подействовало минут за двадцать.
Собственно техника нужна для быстрого обучения навыку вписывать текущую речь "с любого места" в определенную мелодию.
(что-то в этом роде: "...I regard the ethical dimension of reading as an inextricable part of approaching narrative as rhetoric. To approach narrative as rhetoric is to understand narrative as a rhetorical act: somebody telling somebody else on some occasion and for some purpose that something happened. This rhetorical act involves a multi-leveled communication from author to audience, one that involves the audience's intellect, emotions, psyche, and values. ..."):
Первый уровень (группа уровней) задаются сказанным (речью). Среди них могут быть и языкоиды.
Второй уровень - определяется мелодией. Мелодия может быть известна слушателю. Она может быть такой, которая вызывает автоматически соответствующий НастройСознания. Я присутствовал на сеансе, когда надо было ввести в транс умирающего от рака пожилого мужчину. Он сильно мучился, но против официального наведения транса почему-то возражал. Тогда терапевт стал говорить с ним на общие темы "на мелодию" детской колыбельной. Это подействовало минут за двадцать.
Собственно техника нужна для быстрого обучения навыку вписывать текущую речь "с любого места" в определенную мелодию.