Re: Коротко ↑
ailev в посте Openmeta (оригинал в ЖЖ)
4 комментария
сначала старые сначала новые
Ээээ -- копировать основные группы лицевых мускулов (хоть и по хорошей технологии) - это одно.
Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится. У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое. Это-то и интересно. Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.
-- Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится.
Давайте здесь остановимся -- копирование мускулов без модели ментальных процессов ничего не даст, как ни странно :-)
-- У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое.
Стоп. Они копируют движение лица актера на лицо аватара.
--Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.
Мы опять по кочкам -- с теми конкретными инструментами, которые у меня есть - ЛП экспрессия и моргания модели - не похоже что в этих аспектах они приблизись к реальности. Могу еще раз посмотреть.
Эффект правдивости я описал почему может достигаться.
Давайте здесь остановимся -- копирование мускулов без модели ментальных процессов ничего не даст, как ни странно :-)
-- У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое.
Стоп. Они копируют движение лица актера на лицо аватара.
--Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.
Мы опять по кочкам -- с теми конкретными инструментами, которые у меня есть - ЛП экспрессия и моргания модели - не похоже что в этих аспектах они приблизись к реальности. Могу еще раз посмотреть.
Эффект правдивости я описал почему может достигаться.
Они делают ЛП-экспрессию и моргания не лучше и не хуже, чем актер -- просто переносят соответствующие движения так, чтобы инвариант восприятия мимики оставался. У них другого сорта модель (моделируют другие аспекты, нежели нэлперы), так что ничего удивительного. Я не утверждаю, что у них именно нэлперский движок (и соответствующая модель), я говорю, что над этим слоем можно строить нэлперские движки (и соответствующие модели). Нет ничего удивительного, если речь пойдет о стеке моделей.
Насчет копирования мускулов -- у меня нет впечатления, что в их модели есть "мускулы". Они и на плоское изображение вполне переносят "выражение лица", и вообще на не-лица (типа поющего сердца в одном из клипов). Это означает, что внутри необязательно основанная на мускулах модель (может, у них модель задается не мускулами, а какими-нибудь положениями межглазных осей, радиусов губ и т.д., и анатомии там рядом не стояло!).
Насчет "ментальных моделей" -- так эти модели есть у актеров. Разные актерские школы приводят к разным ментальным моделям. Эти разные ментальные модели (один слой стека моделей) садятся на модель выражений лица (другой слой стека моделей). Нэлперов с их моделированием тут рядом не стояло. Как раз интересно, что было бы, если они вмешивались. Думаю, это резко подняло бы правдоподобность итогового результата. А пока правдоподобность результата определяется не только качеством моделирования выражений лица, чтобы качественно переносить выражение в реальном времени с лица актера на аватар, но и качеством актерской игры. И улучшить качество актерской игры, например, постпроцессингом -- трудно, непонятно, куда его увеличивать. Хотя есть еще и режиссер с его "не верю!" :)
Насчет копирования мускулов -- у меня нет впечатления, что в их модели есть "мускулы". Они и на плоское изображение вполне переносят "выражение лица", и вообще на не-лица (типа поющего сердца в одном из клипов). Это означает, что внутри необязательно основанная на мускулах модель (может, у них модель задается не мускулами, а какими-нибудь положениями межглазных осей, радиусов губ и т.д., и анатомии там рядом не стояло!).
Насчет "ментальных моделей" -- так эти модели есть у актеров. Разные актерские школы приводят к разным ментальным моделям. Эти разные ментальные модели (один слой стека моделей) садятся на модель выражений лица (другой слой стека моделей). Нэлперов с их моделированием тут рядом не стояло. Как раз интересно, что было бы, если они вмешивались. Думаю, это резко подняло бы правдоподобность итогового результата. А пока правдоподобность результата определяется не только качеством моделирования выражений лица, чтобы качественно переносить выражение в реальном времени с лица актера на аватар, но и качеством актерской игры. И улучшить качество актерской игры, например, постпроцессингом -- трудно, непонятно, куда его увеличивать. Хотя есть еще и режиссер с его "не верю!" :)