Аватарская ТебеЭкспрессия
ailev в Openmeta (оригинал в ЖЖ)
| image-metrics.com | |
| http://www.image-metrics.com/ | |
| lifemi.com | |
| http://www.lifemi.com/ | |
| Metapractice | |||||
| Модели экспрессии для "искусственных" лицевых интерфейсов | |||||
| Модели экспрессии для "искусственных" лицевых интерфейсов | metanymous | ||||
Подробности о том, что это за технология: http://www.image-metrics.com/ (и там еще много видео и объяснялок).
Почему я об этом пишу в openmeta? А просто создатели технологии должны были отмоделировать, что именно переносить в анимацию: что взять из изображения реального актера такого, что можно потом перенести на совсем другое изображение. Они ответили на онтологический вопрос: "из чего состоит выразительность человека".
Если в эту технологию добавить НЛП-модели, то и актеры будут не нужны...
7 комментариев
сначала старые сначала новые
![[userpic]](http://localhost:4000/images/none.gif)
Художники, работающие с лицевой анимацией, для каждой своей модели обычно создают набор сеток (head morph targets), отображающих выражение лица для каждой эмоции, и положение губ для каждой фонемы. А технология LIFESTUDIO:HEAD позволяет исключить этот неприятный этап. Программа использует имеющийся (или отредактированный, или свой) набор параметризованных эмоций – Макро-Мускулов – пригодных для всех персонажей. В конечном приложении, например, компьютерной игре, искусственный интеллект игры может инициировать показ нужных эмоций в реальном времени в зависимости от игровой ситуации. Механизм мягкого смешивания разных Макро-Мускулов дает еще один полезный эффект: вместо того, чтобы полностью создавать фрагмент анимации с каким-либо эпизодом эмоционального поведения персонажа, художник создает только компоненты эмоций, а окончательная анимация может быть синтезирована позже, в реальном времени при работе конечной программы. Это ключ к использованию в играх сложной насыщенной нелинейной анимации, которая может придать игровому сюжету определенное своеобразие, благодаря уникальности и неповторимость лицевого поведения персонажей. Конечно, можно самостоятельно создавать и полностью законченные фрагменты анимации, которые в нужные моменты будут проиграны LIFESTUDIO:HEAD SDK.
http://www.lifemi.com/
Причем очертания лица, форму носа, размер и посадку глаз, прическу, макияж - все это можно изменить простым перемещением бегунков в окне редактора
http://www.lifemi.com/
Причем очертания лица, форму носа, размер и посадку глаз, прическу, макияж - все это можно изменить простым перемещением бегунков в окне редактора
Надо без предупреждения давать.
Первое впечатление искусственности раскрывается при детальном анализе в несколько случайную и нечеткую Лево-Правую экспрессию. Моргание тоже сложно соотнести со смыслом.
Я посмотрел ролик на их сайте - там, чем сильнее аффект, тем лучше экпрессия. Но это достигается более с помощью звуковой синестезии, аффект передан через звук, чуть передергивается/притупляется визуальное восприятие и более доверительная эмоция получается.
Т.е. софт просто "копирует" экспрессию актера на аватар. Актеры нужны.
Первое впечатление искусственности раскрывается при детальном анализе в несколько случайную и нечеткую Лево-Правую экспрессию. Моргание тоже сложно соотнести со смыслом.
Я посмотрел ролик на их сайте - там, чем сильнее аффект, тем лучше экпрессия. Но это достигается более с помощью звуковой синестезии, аффект передан через звук, чуть передергивается/притупляется визуальное восприятие и более доверительная эмоция получается.
Т.е. софт просто "копирует" экспрессию актера на аватар. Актеры нужны.
Мой пойнт в том, что нужно знать, что копировать (с актера на аватар). У них есть модель экспрессии. Они знают, что копировать.
Ээээ -- копировать основные группы лицевых мускулов (хоть и по хорошей технологии) - это одно.
Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится. У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое. Это-то и интересно. Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.
-- Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится.
Давайте здесь остановимся -- копирование мускулов без модели ментальных процессов ничего не даст, как ни странно :-)
-- У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое.
Стоп. Они копируют движение лица актера на лицо аватара.
--Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.
Мы опять по кочкам -- с теми конкретными инструментами, которые у меня есть - ЛП экспрессия и моргания модели - не похоже что в этих аспектах они приблизись к реальности. Могу еще раз посмотреть.
Эффект правдивости я описал почему может достигаться.
Давайте здесь остановимся -- копирование мускулов без модели ментальных процессов ничего не даст, как ни странно :-)
-- У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое.
Стоп. Они копируют движение лица актера на лицо аватара.
--Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.
Мы опять по кочкам -- с теми конкретными инструментами, которые у меня есть - ЛП экспрессия и моргания модели - не похоже что в этих аспектах они приблизись к реальности. Могу еще раз посмотреть.
Эффект правдивости я описал почему может достигаться.
Они делают ЛП-экспрессию и моргания не лучше и не хуже, чем актер -- просто переносят соответствующие движения так, чтобы инвариант восприятия мимики оставался. У них другого сорта модель (моделируют другие аспекты, нежели нэлперы), так что ничего удивительного. Я не утверждаю, что у них именно нэлперский движок (и соответствующая модель), я говорю, что над этим слоем можно строить нэлперские движки (и соответствующие модели). Нет ничего удивительного, если речь пойдет о стеке моделей.
Насчет копирования мускулов -- у меня нет впечатления, что в их модели есть "мускулы". Они и на плоское изображение вполне переносят "выражение лица", и вообще на не-лица (типа поющего сердца в одном из клипов). Это означает, что внутри необязательно основанная на мускулах модель (может, у них модель задается не мускулами, а какими-нибудь положениями межглазных осей, радиусов губ и т.д., и анатомии там рядом не стояло!).
Насчет "ментальных моделей" -- так эти модели есть у актеров. Разные актерские школы приводят к разным ментальным моделям. Эти разные ментальные модели (один слой стека моделей) садятся на модель выражений лица (другой слой стека моделей). Нэлперов с их моделированием тут рядом не стояло. Как раз интересно, что было бы, если они вмешивались. Думаю, это резко подняло бы правдоподобность итогового результата. А пока правдоподобность результата определяется не только качеством моделирования выражений лица, чтобы качественно переносить выражение в реальном времени с лица актера на аватар, но и качеством актерской игры. И улучшить качество актерской игры, например, постпроцессингом -- трудно, непонятно, куда его увеличивать. Хотя есть еще и режиссер с его "не верю!" :)
Насчет копирования мускулов -- у меня нет впечатления, что в их модели есть "мускулы". Они и на плоское изображение вполне переносят "выражение лица", и вообще на не-лица (типа поющего сердца в одном из клипов). Это означает, что внутри необязательно основанная на мускулах модель (может, у них модель задается не мускулами, а какими-нибудь положениями межглазных осей, радиусов губ и т.д., и анатомии там рядом не стояло!).
Насчет "ментальных моделей" -- так эти модели есть у актеров. Разные актерские школы приводят к разным ментальным моделям. Эти разные ментальные модели (один слой стека моделей) садятся на модель выражений лица (другой слой стека моделей). Нэлперов с их моделированием тут рядом не стояло. Как раз интересно, что было бы, если они вмешивались. Думаю, это резко подняло бы правдоподобность итогового результата. А пока правдоподобность результата определяется не только качеством моделирования выражений лица, чтобы качественно переносить выражение в реальном времени с лица актера на аватар, но и качеством актерской игры. И улучшить качество актерской игры, например, постпроцессингом -- трудно, непонятно, куда его увеличивать. Хотя есть еще и режиссер с его "не верю!" :)