![[userpic]](http://localhost:4000/images/none.gif)
Re: Калибровка да/нет звуковыми различалками ↑
retif в посте Openmeta (оригинал в ЖЖ)
Могу предположить, что эти/подобные характеристики простым способом пойдут в дело в задаче (1). А в задаче (2) как их использовать?
В программе Хигинс, насколькоя помню изображается только частоты. А по картинкам частоты научится выделять значимые признаки у меня не получалось.
Сонограмма позволяет посмотреть еще и фазовые характеристики сигнала.
Даже визуально позволяет отделить женский голос от мужского.
Т.е. больше информации для анализа и сравнения.
Если по сонограме можно научится калибровке достоверности высказываний(1), то обучение имитации(2)-
подгонка своего голоса под видимые значимые (выделенные при калибровке(1)) параметры картинки.
Заметим, что сонограмма на этом рисунке, очень похожа на те узкополосные сонограммы, так называемые отпечатки "видимой речи" Ну да для анализа (1). А для обучения имитации (2) множество этих ~"узкополосых признаков" не образуют/не замыкают петлю информационной обратной связи - их слишком много!
Сперва посмотреть какие параметры речи критичны для имитации и можно ли их увидеть на сонограмме.
Если можно увидеть, можно показать другому.
Используются подобные сонограммы с "видимой речью" для этих целей и сейчас, но только благодаря описанному подходу к речевой обработке стало возможным по специально рассчитанным и построенным сонограммам, действительно очень похожим на изображения "видимой речи", восстанавливать аудиосигнал прямо сразу по выявленным следам фонообъектов, присутствующим на изображениях этих сонограмм.
Ммм... что-то я совсем запутался... Как бы со всем этим разобраться помедленнее-пообстоятельнее? М.б. поможете?
Насколько я понял в данном абзаце идет речь о (восстановлении)синтезе звука по картинке.
Например если можно выделить в отдельную картинку признаки(следам фонообъектов) того что человек не врет, а потом наложить на картинку
где человек врет, а картинку преобразовать в звук то получится очень интересно.
Но возможно что я тоже не все понял, т.к. сам с этой статьей не все понимаю.....
8 комментариев
сначала старые сначала новые
В программе Хигинс, насколькоя помню изображается только частоты. А по картинкам частоты научится выделять значимые признаки у меня не получалось.
Угм. В этом-то и дело.
Сонограмма позволяет посмотреть еще и фазовые характеристики сигнала.
Даже визуально позволяет отделить женский голос от мужского.
Т.е. больше информации для анализа и сравнения.
Да, вот в этом месте и возникает соблазн.
Если по сонограме можно научится калибровке достоверности высказываний(1),
Ааа, а ведь точно, это можно не только программе доверять, а использовать в открытую, как инфо для проверки сенсорной калибровки :)
то обучение имитации(2)-подгонка своего голоса под видимые значимые (выделенные при калибровке(1)) параметры картинки.
Ну вот это очень интересно.
Заметим, что сонограмма на этом рисунке, очень похожа на те узкополосные сонограммы, так называемые отпечатки "видимой речи" Ну да для анализа (1). А для обучения имитации (2) множество этих ~"узкополосых признаков" не образуют/не замыкают петлю информационной обратной связи - их слишком много!
Сперва посмотреть какие параметры речи критичны для имитации и можно ли их увидеть на сонограмме.
Если можно увидеть, можно показать другому.
Ага, т.е. паттернирование вначале надо будет провести на глаз/на слух. Ну, если все работает нормально с технической стороны - то можно и так :)
Насколько я понял в данном абзаце идет речь о (восстановлении)синтезе звука по картинке.
Например если можно выделить в отдельную картинку признаки(следам фонообъектов) того что человек не врет, а потом наложить на картинку где человек врет, а картинку преобразовать в звук то получится очень интересно.
Ага, вот эта интересная функция обратного преобразования...
Но возможно что я тоже не все понял, т.к. сам с этой статьей не все понимаю.....
будем продолжать тему?
Угм. В этом-то и дело.
Сонограмма позволяет посмотреть еще и фазовые характеристики сигнала.
Даже визуально позволяет отделить женский голос от мужского.
Т.е. больше информации для анализа и сравнения.
Да, вот в этом месте и возникает соблазн.
Если по сонограме можно научится калибровке достоверности высказываний(1),
Ааа, а ведь точно, это можно не только программе доверять, а использовать в открытую, как инфо для проверки сенсорной калибровки :)
то обучение имитации(2)-подгонка своего голоса под видимые значимые (выделенные при калибровке(1)) параметры картинки.
Ну вот это очень интересно.
Заметим, что сонограмма на этом рисунке, очень похожа на те узкополосные сонограммы, так называемые отпечатки "видимой речи" Ну да для анализа (1). А для обучения имитации (2) множество этих ~"узкополосых признаков" не образуют/не замыкают петлю информационной обратной связи - их слишком много!
Сперва посмотреть какие параметры речи критичны для имитации и можно ли их увидеть на сонограмме.
Если можно увидеть, можно показать другому.
Ага, т.е. паттернирование вначале надо будет провести на глаз/на слух. Ну, если все работает нормально с технической стороны - то можно и так :)
Насколько я понял в данном абзаце идет речь о (восстановлении)синтезе звука по картинке.
Например если можно выделить в отдельную картинку признаки(следам фонообъектов) того что человек не врет, а потом наложить на картинку где человек врет, а картинку преобразовать в звук то получится очень интересно.
Ага, вот эта интересная функция обратного преобразования...
Но возможно что я тоже не все понял, т.к. сам с этой статьей не все понимаю.....
будем продолжать тему?
Будем.
Старая статья в Компьютерре про сонограммы.
http://www.computerra.ru/offline/1999/293/3577/
Изучаю.
Вот под первой же картинкой (это наверное мне наказание за плохое описание моделей - так никто и не возмет на себя труд внятно объяснить на уровне манипулиций, что надо делать, чтобы, например, размещать картинки по "урл" (?):) так вот под первой же картинокой можно сделать комментарий:
Рис. 1
Трехмерная сонограмма слова "терра" (диктор №1). Хорошо видно развитие во времени спектральных составляющих. Сечение сонограммы плоскостью, перпендикулярной оси времени, образует мгновенные спектры.
Вот если некая штука показывает такое трехмерное отображение слова-эталона и, на ЭТОЙ же картинке отражает варианты произнесения тренирующимся этого же слова, + и слово-эталон, и собственное признесение можно СЛЫШАТЬ, то я утверждаю:
--при всяких ньюансаХ и дополнениях несущественныХ, мы получаем ТРЕНАЖЕР, систему обратной связи, которая ускоряет процесс обучения во много раз.
Старая статья в Компьютерре про сонограммы.
http://www.computerra.ru/offline/1999/293/3577/
Изучаю.
Вот под первой же картинкой (это наверное мне наказание за плохое описание моделей - так никто и не возмет на себя труд внятно объяснить на уровне манипулиций, что надо делать, чтобы, например, размещать картинки по "урл" (?):) так вот под первой же картинокой можно сделать комментарий:
Рис. 1
Трехмерная сонограмма слова "терра" (диктор №1). Хорошо видно развитие во времени спектральных составляющих. Сечение сонограммы плоскостью, перпендикулярной оси времени, образует мгновенные спектры.
Вот если некая штука показывает такое трехмерное отображение слова-эталона и, на ЭТОЙ же картинке отражает варианты произнесения тренирующимся этого же слова, + и слово-эталон, и собственное признесение можно СЛЫШАТЬ, то я утверждаю:
--при всяких ньюансаХ и дополнениях несущественныХ, мы получаем ТРЕНАЖЕР, систему обратной связи, которая ускоряет процесс обучения во много раз.
Картинки можно разместить на http://www.imageshack.us/
img src="http://img21.exs.cx/my.php?loc=img21&image=28-2.jpg"
img src="http://img21.exs.cx/my.php?loc=img21&image=28-2.jpg"
Т.е. я
1 вот это:
http://img21.exs.cx/my.php?loc=img21&image=28-2.jpg
2 Помещая в кокшко вот этого:
http://www.imageshack.us/
и кликаю...
А как "оно" узнает КУДА потом адресовать картинку?
3 А что такое - "img src="?
1 вот это:
http://img21.exs.cx/my.php?loc=img21&image=28-2.jpg
2 Помещая в кокшко вот этого:
http://www.imageshack.us/
и кликаю...
А как "оно" узнает КУДА потом адресовать картинку?
3 А что такое - "img src="?
1 Вот Вы взяли адрес этой картинки:
http://img21.exs.cx/img21/2337/28-4.jpg
2 Поместили в окошечко:
http://www.imageshack.us/
3 А как вы это потом "воткнули в браузер (?) жж?
или вы это "втыкали" в симажик?
http://img21.exs.cx/img21/2337/28-4.jpg
2 Поместили в окошечко:
http://www.imageshack.us/
3 А как вы это потом "воткнули в браузер (?) жж?
или вы это "втыкали" в симажик?
VisibleVoice - демоверсия программы 3-мерного графического отображения спектра звукового сигнала в реальном времени
http://www.speechpro.ru/rus/products/visvoice.html#t
Программа VisibleVoice может быть использована для тестирования и постановки слуха и голоса, при изучении иностранных языков, музыке, для настройки музыкальных инструментов, в качестве программы, демонстрирующей динамические характеристики звука в музыкальном центре, в выставочном павильоне, на дискотеке, на большом экране.
http://www.speechpro.ru/rus/products/visvoice.html#t
Программа VisibleVoice может быть использована для тестирования и постановки слуха и голоса, при изучении иностранных языков, музыке, для настройки музыкальных инструментов, в качестве программы, демонстрирующей динамические характеристики звука в музыкальном центре, в выставочном павильоне, на дискотеке, на большом экране.