Аватарская ТебеЭкспрессия

Художники, работающие с лицевой анимацией, для каждой своей модели обычно создают набор сеток (head morph targets), отображающих выражение лица для каждой эмоции, и положение губ для каждой фонемы. А технология LIFESTUDIO:HEAD позволяет исключить этот неприятный этап. Программа использует имеющийся (или отредактированный, или свой) набор параметризованных эмоций – Макро-Мускулов – пригодных для всех персонажей. В конечном приложении, например, компьютерной игре, искусственный интеллект игры может инициировать показ нужных эмоций в реальном времени в зависимости от игровой ситуации. Механизм мягкого смешивания разных Макро-Мускулов дает еще один полезный эффект: вместо того, чтобы полностью создавать фрагмент анимации с каким-либо эпизодом эмоционального поведения персонажа, художник создает только компоненты эмоций, а окончательная анимация может быть синтезирована позже, в реальном времени при работе конечной программы. Это ключ к использованию в играх сложной насыщенной нелинейной анимации, которая может придать игровому сюжету определенное своеобразие, благодаря уникальности и неповторимость лицевого поведения персонажей. Конечно, можно самостоятельно создавать и полностью законченные фрагменты анимации, которые в нужные моменты будут проиграны LIFESTUDIO:HEAD SDK.

http://www.lifemi.com/

Причем очертания лица, форму носа, размер и посадку глаз, прическу, макияж - все это можно изменить простым перемещением бегунков в окне редактора

Надо без предупреждения давать.

Первое впечатление искусственности раскрывается при детальном анализе в несколько случайную и нечеткую Лево-Правую экспрессию. Моргание тоже сложно соотнести со смыслом.

Я посмотрел ролик на их сайте - там, чем сильнее аффект, тем лучше экпрессия. Но это достигается более с помощью звуковой синестезии, аффект передан через звук, чуть передергивается/притупляется визуальное восприятие и более доверительная эмоция получается.

Т.е. софт просто "копирует" экспрессию актера на аватар. Актеры нужны.

Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится. У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое. Это-то и интересно. Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.

-- Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится.

Давайте здесь остановимся -- копирование мускулов без модели ментальных процессов ничего не даст, как ни странно :-)

-- У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое.
Стоп. Они копируют движение лица актера на лицо аватара.

--Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.

Мы опять по кочкам -- с теми конкретными инструментами, которые у меня есть - ЛП экспрессия и моргания модели - не похоже что в этих аспектах они приблизись к реальности. Могу еще раз посмотреть.

Эффект правдивости я описал почему может достигаться.

Они делают ЛП-экспрессию и моргания не лучше и не хуже, чем актер -- просто переносят соответствующие движения так, чтобы инвариант восприятия мимики оставался. У них другого сорта модель (моделируют другие аспекты, нежели нэлперы), так что ничего удивительного. Я не утверждаю, что у них именно нэлперский движок (и соответствующая модель), я говорю, что над этим слоем можно строить нэлперские движки (и соответствующие модели). Нет ничего удивительного, если речь пойдет о стеке моделей.

Насчет копирования мускулов -- у меня нет впечатления, что в их модели есть "мускулы". Они и на плоское изображение вполне переносят "выражение лица", и вообще на не-лица (типа поющего сердца в одном из клипов). Это означает, что внутри необязательно основанная на мускулах модель (может, у них модель задается не мускулами, а какими-нибудь положениями межглазных осей, радиусов губ и т.д., и анатомии там рядом не стояло!).

Насчет "ментальных моделей" -- так эти модели есть у актеров. Разные актерские школы приводят к разным ментальным моделям. Эти разные ментальные модели (один слой стека моделей) садятся на модель выражений лица (другой слой стека моделей). Нэлперов с их моделированием тут рядом не стояло. Как раз интересно, что было бы, если они вмешивались. Думаю, это резко подняло бы правдоподобность итогового результата. А пока правдоподобность результата определяется не только качеством моделирования выражений лица, чтобы качественно переносить выражение в реальном времени с лица актера на аватар, но и качеством актерской игры. И улучшить качество актерской игры, например, постпроцессингом -- трудно, непонятно, куда его увеличивать. Хотя есть еще и режиссер с его "не верю!" :)