Коротко ↑
dvv7 в посте Openmeta (оригинал в ЖЖ)
Первое впечатление искусственности раскрывается при детальном анализе в несколько случайную и нечеткую Лево-Правую экспрессию. Моргание тоже сложно соотнести со смыслом.
Я посмотрел ролик на их сайте - там, чем сильнее аффект, тем лучше экпрессия. Но это достигается более с помощью звуковой синестезии, аффект передан через звук, чуть передергивается/притупляется визуальное восприятие и более доверительная эмоция получается.
Т.е. софт просто "копирует" экспрессию актера на аватар. Актеры нужны.
5 комментариев
сначала старые сначала новые
Мой пойнт в том, что нужно знать, что копировать (с актера на аватар). У них есть модель экспрессии. Они знают, что копировать.
Ээээ -- копировать основные группы лицевых мускулов (хоть и по хорошей технологии) - это одно.
Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится. У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое. Это-то и интересно. Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.
-- Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится.
Давайте здесь остановимся -- копирование мускулов без модели ментальных процессов ничего не даст, как ни странно :-)
-- У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое.
Стоп. Они копируют движение лица актера на лицо аватара.
--Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.
Мы опять по кочкам -- с теми конкретными инструментами, которые у меня есть - ЛП экспрессия и моргания модели - не похоже что в этих аспектах они приблизись к реальности. Могу еще раз посмотреть.
Эффект правдивости я описал почему может достигаться.
Давайте здесь остановимся -- копирование мускулов без модели ментальных процессов ничего не даст, как ни странно :-)
-- У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое.
Стоп. Они копируют движение лица актера на лицо аватара.
--Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.
Мы опять по кочкам -- с теми конкретными инструментами, которые у меня есть - ЛП экспрессия и моргания модели - не похоже что в этих аспектах они приблизись к реальности. Могу еще раз посмотреть.
Эффект правдивости я описал почему может достигаться.
Они делают ЛП-экспрессию и моргания не лучше и не хуже, чем актер -- просто переносят соответствующие движения так, чтобы инвариант восприятия мимики оставался. У них другого сорта модель (моделируют другие аспекты, нежели нэлперы), так что ничего удивительного. Я не утверждаю, что у них именно нэлперский движок (и соответствующая модель), я говорю, что над этим слоем можно строить нэлперские движки (и соответствующие модели). Нет ничего удивительного, если речь пойдет о стеке моделей.
Насчет копирования мускулов -- у меня нет впечатления, что в их модели есть "мускулы". Они и на плоское изображение вполне переносят "выражение лица", и вообще на не-лица (типа поющего сердца в одном из клипов). Это означает, что внутри необязательно основанная на мускулах модель (может, у них модель задается не мускулами, а какими-нибудь положениями межглазных осей, радиусов губ и т.д., и анатомии там рядом не стояло!).
Насчет "ментальных моделей" -- так эти модели есть у актеров. Разные актерские школы приводят к разным ментальным моделям. Эти разные ментальные модели (один слой стека моделей) садятся на модель выражений лица (другой слой стека моделей). Нэлперов с их моделированием тут рядом не стояло. Как раз интересно, что было бы, если они вмешивались. Думаю, это резко подняло бы правдоподобность итогового результата. А пока правдоподобность результата определяется не только качеством моделирования выражений лица, чтобы качественно переносить выражение в реальном времени с лица актера на аватар, но и качеством актерской игры. И улучшить качество актерской игры, например, постпроцессингом -- трудно, непонятно, куда его увеличивать. Хотя есть еще и режиссер с его "не верю!" :)
Насчет копирования мускулов -- у меня нет впечатления, что в их модели есть "мускулы". Они и на плоское изображение вполне переносят "выражение лица", и вообще на не-лица (типа поющего сердца в одном из клипов). Это означает, что внутри необязательно основанная на мускулах модель (может, у них модель задается не мускулами, а какими-нибудь положениями межглазных осей, радиусов губ и т.д., и анатомии там рядом не стояло!).
Насчет "ментальных моделей" -- так эти модели есть у актеров. Разные актерские школы приводят к разным ментальным моделям. Эти разные ментальные модели (один слой стека моделей) садятся на модель выражений лица (другой слой стека моделей). Нэлперов с их моделированием тут рядом не стояло. Как раз интересно, что было бы, если они вмешивались. Думаю, это резко подняло бы правдоподобность итогового результата. А пока правдоподобность результата определяется не только качеством моделирования выражений лица, чтобы качественно переносить выражение в реальном времени с лица актера на аватар, но и качеством актерской игры. И улучшить качество актерской игры, например, постпроцессингом -- трудно, непонятно, куда его увеличивать. Хотя есть еще и режиссер с его "не верю!" :)