Модели экспрессии для "искусственных" лицевых интерфейсов

metanymous 10 сентября 2008, 19:38 в Metapractice (оригинал в ЖЖ)

---

Аватарская ТебеЭкспрессия

---

http://community.livejournal.com/openmeta/199878.html

---

Экспрессия "лица на экране", и "лица робота" с точки зрения задачи их моделирования совершенно одно и то же.

---

Полку модельеров прибыло. Вот видео, в котором до 1:30 вы видите неживого аватара, а после этого момента реальную актрису: Подробности о том, что это за технология: http://www.image-metrics.com/ (и там еще много видео и объяснялок).

---

Эти технологии не относятся к технологиям моделирования человеческой активности и экспрессии. Это технологии "как придать лицу какое-то выражение". Это модели "придания выразительности". Но, потом с этой исходной "выразительностью" надо что-то делать еще.

---

---

Почему я об этом пишу в openmeta? А просто создатели технологии должны были отмоделировать, что именно переносить в анимацию: что взять из изображения реального актера такого, что можно потом перенести на совсем другое изображение. Они ответили на онтологический вопрос: "из чего состоит выразительность человека".

---

Ни в малейшей степени в динамике таких анимаций не присутствуют какие-либо модели экспрессии. Даже если они и строили какие-то антологии составляющих компонентов человеческой "выразительности", эти онологии "выразительности" никак не содержат в себе модели человеческой экспрессии. Так же как кости скелета и способ их природного соединения предрасполагают к выдаче всех возможных двигательных паттернов, но сами их никак в себе не содержат.

---

Если в эту технологию добавить НЛП-модели, то и актеры будут не нужны...

---

Актеры там потребовались чтобы придать "потенциальной выразительности", заложенной в софт, какую-то минимальную СОГЛАСОВАННОСТЬ экспрессии живого человека.

---

Художники, работающие с лицевой анимацией, для каждой своей модели обычно создают набор сеток (head morph targets), отображающих выражение лица для каждой эмоции, и положение губ для каждой фонемы. А технология LIFESTUDIO:HEAD позволяет исключить этот неприятный этап. Программа использует имеющийся (или отредактированный, или свой) набор параметризованных эмоций – Макро-Мускулов – пригодных для всех персонажей.

---

Это все работает с процессами выразительности.

---

В конечном приложении, например, компьютерной игре, искусственный интеллект игры может инициировать показ нужных эмоций в реальном времени в зависимости от игровой ситуации.

---

ИИ покажет обычную ерунду, если не снабдить его адекватными моделями.

---

Это ключ к использованию в играх сложной насыщенной нелинейной анимации, которая может придать игровому сюжету определенное своеобразие, благодаря уникальности и неповторимость лицевого поведения персонажей. Конечно, можно самостоятельно создавать и полностью законченные фрагменты анимации, которые в нужные моменты будут проиграны LIFESTUDIO:HEAD SDK. http://www.lifemi.com/

---

Вот это хорошая аналогия - игры. Она позволяет понять, что главная лини мейнстрима в развитии всех этих "лицевых интерфейсов" заключается не развитии их сходства с экспрессией человека. Но в создании чего-то унифицированного и только слегка человеко подобного.

---

Надо без предупреждения давать. Первое впечатление искусственности раскрывается при детальном анализе в несколько случайную и нечеткую Лево-Правую экспрессию. Моргание тоже сложно соотнести со смыслом.

---

Такое впечатление от эээ "немодельности" используемой экспрессии.

---

Т.е. софт просто "копирует" экспрессию актера на аватар. Актеры нужны.

---

Актеры "инжектируют" минимальную модельность в эти софтовые процессы обеспечения выразительности.

---

Мой пойнт в том, что нужно знать, что копировать (с актера на аватар). У них есть модель экспрессии. Они знают, что копировать.

---

(1) Совершенно верно. Актеры - носители своих индивидуальных и общечеловеческих моделей экспрессии. Ну там еще много уровней - культуральных, семейных, профессиональных, "модных" и прочее.

---

(2) Ни актеры, ни софтовики не знают что "копировать"/моделировать и действуют методом тыка.

---

Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится. У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое. Это-то и интересно. Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.

---

Даже сама выразительность это вовсе не "мышцы". И уж тем более не экспрессия. Вот, я видел по ящику передачу, где на ресепшине стоит робот отвечалка на вопросы визитеров. И у него интересный коммуникативный интерфейс - только два больших поворачивающихся глаза на таких стойках. Т.е. робот говорит и вертит глазами во все стороны. И вот для этих глаз - да вовсе нет никакой разницы какие "мышцы" и каким числом приводят их в движение. Оси вращения - роль играют. "Мышцы" - вовсе нет.

---

Но боже ты мой - какие красивейшие и выразительнейшие, И ПОВЫШАЮЩИЕ ЭФФЕКТИВНОСТЬ коммуникации модели, только лишь на одних этих движениях глаз! В полном ассортименте от простейших до сложнейших.

---

Но, такие модели никогда не станут мейстримом. И вовсе не по техническим соображениям.

---

Думаю, кстати, что не все в этой модели к мускулам сводится. Давайте здесь остановимся -- копирование мускулов без модели ментальных процессов ничего не даст, как ни странно :-)

---

Совершенно верно.

---

Они делают ЛП-экспрессию и моргания не лучше и не хуже, чем актер -- просто переносят соответствующие движения так, чтобы инвариант восприятия мимики оставался. У них другого сорта модель (моделируют другие аспекты, нежели нэлперы), так что ничего удивительного.

---

Да, они воспроизводят другие аспекты.

---

Я не утверждаю, что у них именно нэлперский движок (и соответствующая модель), я говорю, что над этим слоем можно строить нэлперские движки (и соответствующие модели). Нет ничего удивительного, если речь пойдет о стеке моделей.

---

(1) Построить можно.

---

(2) Модели нелперские по духу.

---

(3) Но таких нелперов нет - для построения таких моделей.

---

Насчет копирования мускулов -- у меня нет впечатления, что в их модели есть "мускулы". Они и на плоское изображение вполне переносят "выражение лица", и вообще на не-лица (типа поющего сердца в одном из клипов).

---

Для воплощения весьма не слабых моделей достаточно грубых имитаций - вращающихся глаз/сфер. Или имитация лица в виде кружочка с глазками точками, ротиком черточкой и т.д.

---

Это означает, что внутри необязательно основанная на мускулах модель (может, у них модель задается не мускулами, а какими-нибудь положениями межглазных осей, радиусов губ и т.д., и анатомии там рядом не стояло!).

---

Да.

---

Насчет "ментальных моделей" -- так эти модели есть у актеров. Разные актерские школы приводят к разным ментальным моделям. Эти разные ментальные модели (один слой стека моделей) садятся на модель выражений лица (другой слой стека моделей).

---

Если бы у актеров были модели коммуникации/экспрессии хотя бы на уровне школ - тогда бы таинство актерской игры в театре/кино в конструктивном смысле быстро выродилось. Вырождение наблюдается, но в другом смысле - в деконструктивном. В итоге, везде возобладает "голливудская" унифицированная и редуцированная во всем экспрессия.

---

Нэлперов с их моделированием тут рядом не стояло. Как раз интересно, что было бы, если они вмешивались.

---

Нелперам такие задачи по барабану.

---

Думаю, это резко подняло бы правдоподобность итогового результата.

---

Правдоподобность могут поднять модели метапрактика.

---

А пока правдоподобность результата определяется не только качеством моделирования выражений лица, чтобы качественно переносить выражение в реальном времени с лица актера на аватар, но и качеством актерской игры.

---

Это так.

---

И улучшить качество актерской игры, например, постпроцессингом -- трудно, непонятно, куда его увеличивать. Хотя есть еще и режиссер с его "не верю!" :)

---

Ага, кажется - насколько проще внедрить коммуникацию на моделях экспрессии в актерскую среду. Но, это не так. Актерам так же как и нелперам наплевать на правдоподобность и эффективность коммуникации.