[userpic]

... 

ailev в посте Openmeta (оригинал в ЖЖ)

Очень знакомые картинки -- мы делали подобные картинки с ЭЭГ в многочасовых экспериментах. Я сваял тогда программно-аппаратный комплекс (в котором преобразование Фурье делалось аппаратно в спектроанализаторе Брюль и Къер с интерфейсом МЭК, а сам комплекс работал с интерфейсом КАМАК. Эх, молодость, молодость ;).
Картинки такие не только рисовались на дисплее, но и выводились на бумагу (иногда -- рулонами). И часами рассматривались. И главное -- анализировались тучей матметодов.
1) Чего не углядишь глазами, то не берут матметоды (если подходить к делу честно).
2) Можно, конечно, куда-нибудь приспособить эту технологию для каких-то целей -- но непонятно для каких, и как приспособить. Я вот ожидаю, что в реальном эксперименте все будет весьма многозначно (неоднозначно, спорно, странно, непонятно и т.д.)
Если очень хочется, то можно использовать и сплайны, а не спектры. Было бы понятно, чего хочется достичь -- для этого и инструмент подобрать подходящий можно ;)

17 комментариев

сначала старые сначала новые

</>
[pic]
...

retif (оригинал в ЖЖ)

http://www.livejournal.com/community/openmeta/74666.html?thread=1359018
metanymous пишет
Вот если некая штука показывает такое трехмерное отображение слова-эталона и, на ЭТОЙ же картинке отражает варианты произнесения тренирующимся этого же слова, + и слово-эталон, и собственное признесение можно СЛЫШАТЬ, то я утверждаю:
--при всяких ньюансаХ и дополнениях несущественныХ, мы получаем ТРЕНАЖЕР, систему обратной связи, которая ускоряет процесс обучения во много раз.

В данном случает просто организация визуальной БОС(внешняя визуально-аудиальная кинестезия?), а не попытки разобраться как оно работает.
http://www.livejournal.com/community/openmeta/74666.html?thread=1359018
metanymous пишет
Вот если некая штука показывает такое трехмерное отображение слова-эталона и, на ЭТОЙ же картинке отражает варианты произнесения тренирующимся этого же слова, + и слово-эталон, и собственное признесение можно СЛЫШАТЬ, то я утверждаю:
--при всяких ньюансаХ и дополнениях несущественныХ, мы получаем ТРЕНАЖЕР, систему обратной связи, которая ускоряет процесс обучения во много раз.
В данном случает просто организация визуальной БОС(внешняя визуально-аудиальная кинестезия?), а не попытки разобраться как оно работает.
Совершенно верно! - нужны средства для получения визуально-аудиальнай кинестезии как информационной обратной связи. Ну и что же мы имеем с указанной Вами штукой:
--средство есть и требующиеся функции весьма близкие
--средство дорогое
-- а в свобдном доступе таких средств нет, как я понимаю
--что же следующее нам делать/думать?
Это для ментов дорогое, а для openmeta нет:-)
Скачать программу ftp://ftp.speechpro.com/pub/demos/visvoice_eng.exe
и зарегистрировать по этой инфе.
Пользователь "openmeta"
число "19149572"
Работает. Но микрофона у меня нет:-(
Спасибо анониму!!!!
Так опенмета будет коллективным пользователем? (ну как же плохо быть IT-дремучим!:)
Если нет - пусть кто-нибудт скачает - поди время действия халявы (?) ограниченно? Мне надо время на то чтобы разобраться с этим и сей момент я бегу на консультации :(
Время действия халявы я думаю как минимум до следующей версии.
Если графики спектра не подходят, можно с разработчиками связаться и предложить разработать программу которая сонограмму строит,
если доказать что для постановки слуха и голоса она необходима.
Скачал, зарегистриворался, запустил, получил:
Visvoice.exe has encountered a problem and needs to close.
Вырубается при нажимании мышкой на муз. клавишу демонстрашки.
Что делать следующее?
не нажимать на музыкальные клавиши.....
остальное все работает
Дак они мне не нужны :)
Но что - все остальное? - кликаю по управляющим кнопочкам оно, что-то показывая без звучания, переключается.
С микрофона ничего не пишет.
(это пока только смотрим что эта штука для своих целей может делать. Что бы пригодилось для наших целей - пока до этого не дошло, вид картинки - неинформативный, по одной такой картинке ничего не сделаешь)
Точно. Процесс обучение ускоряется многократно, когда ОС поступает немедленно и когда есть возможность сразу оценить разницу между тем как выполненно действие и эталонном.
Эти вещи как раз и может обеспечить визуализация. В силу таких особенностей визуальной системы, как скорость восприятия, параллельность и способность к тонкому различению можно добиться очень качественного и быстрого обучения...
Здесь, я, правда, предчувствую, некоторую/возможную сложность.
Если прога строит трехмерные спектры (такие как на иллюстрационной картинке), то возможно будет достаточно сложно сопоставить сложные графические образы друг с другом...
Кто-нибудь уже эту прогу "щупал"?
Как там с этим?
Возможно спектр не подойдет, так как фазу не учитывает.
Надо все таки наверно сонограммы пробовать.
А пробовать только metanymous может, потому что только он знает где есть на что смотреть.....
Метанимус много знает, еще больше умеет, так теперь давай на него все валить, типа свезет? ;)
На самом деле, всю эту байду довольно давно исследуют. Для того, что бы речь расспознавать. Вот и нужно результаты и выводы этих исследований искать изучать и анализировать.
Кое-что простое можно и так увидеть. Для начала можно сильно упростить модель типа какую-нибудь функцию пусть прога считает результирующую и тут же столбец рассогласования выдает. Типа задачка, чтобы после произнесения столбец меньше был...
Нам бы кого-нибудь кто занимался системами синтеза и распознания звуков, сильно бы работу бы ускорило
А пробовать только metanymous может, потому что только он знает где есть на что смотреть.....
_________________________________
На что я смотрю:
--надо чтобы было 3-5 шт. (не более) эээ динамических переменных ДП(?), процессов.
--надо чтобы 3-5 шт.ДП были приведены в соответствие с эталоном (Э) и тренируемым образцом (ТО)
--надо чтобы наглядно демонстрировалась РАЗНИЦА между З и ТО.
Вот это вот, на первый случай.
Уровень громкости с микрофона может низкий.
WinXp-ПанельУправления-ЗвукииАудиоустройства-Аудио-ЗаписьЗвука-Громкость.
У меня была почти на нуле.
кнопка Play(красный трейгольник)- начать тренировку
кнопка Stop(синий квадрат) - остановить тренировку
Кнопкой Фотоаппарат - создать картинку по которой тренироваться
Кнопкой ОднаНота - диапазон отображаемых частот 80-800 Герц
Кнопкой МногоНот - диапазон отображаемых частот 250-4000 Герц
_______________________________
1 Эти кнопки работают - звука нет.
3 Там еще кнопка с извилистой стрелочкой непонятно что делает.
3 Картинка для сравнения неинформативная - на правой куча пипочек-холмиков, и на лево бегущей вниз - туева хуча того же. Т.е. даже без звука видно, что надо делать какую-то
--компрессию?
--выборку?
--выжимку?
--апроксимацию?
Скорее плюнуть на нее и разбираться с сонограммами.
3 Там еще кнопка с извилистой стрелочкой непонятно что делает.
Убирает образец обучения с экрана.
Скорее плюнуть на нее и разбираться с сонограммами.
___________________________
А сонограмма - это та картинка в цветах?