Аватарская ТебеЭкспрессия
http://community.livejournal.com/openmeta/199878.html
Экспрессия "лица на экране", и "лица робота" с точки зрения задачи их моделирования совершенно одно и то же.

Полку модельеров прибыло. Вот видео, в котором до 1:30 вы видите неживого аватара, а после этого момента реальную актрису: Подробности о том, что это за технология: http://www.image-metrics.com/ (и там еще много видео и объяснялок).
Эти технологии не относятся к технологиям моделирования человеческой активности и экспрессии. Это технологии "как придать лицу какое-то выражение". Это модели "придания выразительности". Но, потом с этой исходной "выразительностью" надо что-то делать еще.

Почему я об этом пишу в openmeta? А просто создатели технологии должны были отмоделировать, что именно переносить в анимацию: что взять из изображения реального актера такого, что можно потом перенести на совсем другое изображение. Они ответили на онтологический вопрос: "из чего состоит выразительность человека".

Ни в малейшей степени в динамике таких анимаций не присутствуют какие-либо модели экспрессии. Даже если они и строили какие-то антологии составляющих компонентов человеческой "выразительности", эти онологии "выразительности" никак не содержат в себе модели человеческой экспрессии. Так же как кости скелета и способ их природного соединения предрасполагают к выдаче всех возможных двигательных паттернов, но сами их никак в себе не содержат.

Если в эту технологию добавить НЛП-модели, то и актеры будут не нужны...

Актеры там потребовались чтобы придать "потенциальной выразительности", заложенной в софт, какую-то минимальную СОГЛАСОВАННОСТЬ экспрессии живого человека.

Художники, работающие с лицевой анимацией, для каждой своей модели обычно создают набор сеток (head morph targets), отображающих выражение лица для каждой эмоции, и положение губ для каждой фонемы. А технология LIFESTUDIO:HEAD позволяет исключить этот неприятный этап. Программа использует имеющийся (или отредактированный, или свой) набор параметризованных эмоций – Макро-Мускулов – пригодных для всех персонажей.

Это все работает с процессами выразительности.

В конечном приложении, например, компьютерной игре, искусственный интеллект игры может инициировать показ нужных эмоций в реальном времени в зависимости от игровой ситуации.

ИИ покажет обычную ерунду, если не снабдить его адекватными моделями.

Это ключ к использованию в играх сложной насыщенной нелинейной анимации, которая может придать игровому сюжету определенное своеобразие, благодаря уникальности и неповторимость лицевого поведения персонажей. Конечно, можно самостоятельно создавать и полностью законченные фрагменты анимации, которые в нужные моменты будут проиграны LIFESTUDIO:HEAD SDK. http://www.lifemi.com/

Вот это хорошая аналогия - игры. Она позволяет понять, что главная лини мейнстрима в развитии всех этих "лицевых интерфейсов" заключается не развитии их сходства с экспрессией человека. Но в создании чего-то унифицированного и только слегка человеко подобного.

Надо без предупреждения давать. Первое впечатление искусственности раскрывается при детальном анализе в несколько случайную и нечеткую Лево-Правую экспрессию. Моргание тоже сложно соотнести со смыслом.

Такое впечатление от эээ "немодельности" используемой экспрессии.

Т.е. софт просто "копирует" экспрессию актера на аватар. Актеры нужны.

Актеры "инжектируют" минимальную модельность в эти софтовые процессы обеспечения выразительности.

Мой пойнт в том, что нужно знать, что копировать (с актера на аватар). У них есть модель экспрессии. Они знают, что копировать.

(1) Совершенно верно. Актеры - носители своих индивидуальных и общечеловеческих моделей экспрессии. Ну там еще много уровней - культуральных, семейных, профессиональных, "модных" и прочее.

(2) Ни актеры, ни софтовики не знают что "копировать"/моделировать и действуют методом тыка.

Ну, так к этому в конце концов все и сводится, к отображению чего угодно другого на группы телесных мускулов. Думаю, кстати, что не все в этой модели к мускулам сводится. У многих персонажей, которые они моделируют лицевых мускулов нет, а есть что-то другое. Это-то и интересно. Они, вероятно, отмоделировали инварианты восприятия выражений лица. А это не сводится к лицевым мускулам.

Даже сама выразительность это вовсе не "мышцы". И уж тем более не экспрессия. Вот, я видел по ящику передачу, где на ресепшине стоит робот отвечалка на вопросы визитеров. И у него интересный коммуникативный интерфейс - только два больших поворачивающихся глаза на таких стойках. Т.е. робот говорит и вертит глазами во все стороны. И вот для этих глаз - да вовсе нет никакой разницы какие "мышцы" и каким числом приводят их в движение. Оси вращения - роль играют. "Мышцы" - вовсе нет.

Но боже ты мой - какие красивейшие и выразительнейшие, И ПОВЫШАЮЩИЕ ЭФФЕКТИВНОСТЬ коммуникации модели, только лишь на одних этих движениях глаз! В полном ассортименте от простейших до сложнейших.

Но, такие модели никогда не станут мейстримом. И вовсе не по техническим соображениям.

Думаю, кстати, что не все в этой модели к мускулам сводится. Давайте здесь остановимся -- копирование мускулов без модели ментальных процессов ничего не даст, как ни странно :-)

Совершенно верно.

Они делают ЛП-экспрессию и моргания не лучше и не хуже, чем актер -- просто переносят соответствующие движения так, чтобы инвариант восприятия мимики оставался. У них другого сорта модель (моделируют другие аспекты, нежели нэлперы), так что ничего удивительного.

Да, они воспроизводят другие аспекты.

Я не утверждаю, что у них именно нэлперский движок (и соответствующая модель), я говорю, что над этим слоем можно строить нэлперские движки (и соответствующие модели). Нет ничего удивительного, если речь пойдет о стеке моделей.

(1) Построить можно.
(2) Модели нелперские по духу.
(3) Но таких нелперов нет - для построения таких моделей.

Насчет копирования мускулов -- у меня нет впечатления, что в их модели есть "мускулы". Они и на плоское изображение вполне переносят "выражение лица", и вообще на не-лица (типа поющего сердца в одном из клипов).

Для воплощения весьма не слабых моделей достаточно грубых имитаций - вращающихся глаз/сфер. Или имитация лица в виде кружочка с глазками точками, ротиком черточкой и т.д.

Это означает, что внутри необязательно основанная на мускулах модель (может, у них модель задается не мускулами, а какими-нибудь положениями межглазных осей, радиусов губ и т.д., и анатомии там рядом не стояло!).

Да.

Насчет "ментальных моделей" -- так эти модели есть у актеров. Разные актерские школы приводят к разным ментальным моделям. Эти разные ментальные модели (один слой стека моделей) садятся на модель выражений лица (другой слой стека моделей).

Если бы у актеров были модели коммуникации/экспрессии хотя бы на уровне школ - тогда бы таинство актерской игры в театре/кино в конструктивном смысле быстро выродилось. Вырождение наблюдается, но в другом смысле - в деконструктивном. В итоге, везде возобладает "голливудская" унифицированная и редуцированная во всем экспрессия.

Нэлперов с их моделированием тут рядом не стояло. Как раз интересно, что было бы, если они вмешивались.

Нелперам такие задачи по барабану.

Думаю, это резко подняло бы правдоподобность итогового результата.

Правдоподобность могут поднять модели метапрактика.

А пока правдоподобность результата определяется не только качеством моделирования выражений лица, чтобы качественно переносить выражение в реальном времени с лица актера на аватар, но и качеством актерской игры.

Это так.

И улучшить качество актерской игры, например, постпроцессингом -- трудно, непонятно, куда его увеличивать. Хотя есть еще и режиссер с его "не верю!" :)

Ага, кажется - насколько проще внедрить коммуникацию на моделях экспрессии в актерскую среду. Но, это не так. Актерам так же как и нелперам наплевать на правдоподобность и эффективность коммуникации.