Welcome to Marwen: как Земекис пересадил живое лицо на пластиковую куклу

В «Welcome to Marwen» Роберта Земекиса главных героев играют куклы — и при этом это одна из самых живых актёрских работ позднего Земекиса. Парадокс объясняет команда визуальных эффектов: шестидюймовые пластиковые фигурки не просто двигаются как люди — они моргают, хмурятся и усмехаются лицами своих прототипов. Рецепт неожиданный: от классического performance capture отказались ровно там, где он казался священным.

Welcome to Marwen (2018) — история Марка Хоганкампа, который после тяжёлой травмы выстраивает в воображении кукольный городок Марвен. Для Земекиса это был третий заход в полностью цифровые персонажи после «Полярного экспресса» и «Рождественской истории». И оба раза, по его собственному признанию, игра теряла «душу» — зловещая долина побеждала. Разбираем, как в этот раз её обошли: на примерах площадки, движка и одной рискованной формулы.

Стив Карелл в очень дорогом костюме

В 2013 году Земекис передал сценарий своему давнему коллеге, супервайзеру по визуальным эффектам Кевину Бэйли, с главным вопросом: как сохранить «инструмент актёра» — лицо — при переносе на куклу высотой в шесть дюймов?

Первая гипотеза была очевидной: снять Стива Карелла в костюме и «донашивать» на него цифровые кукольные суставы. Результат Бэйли позже описал без обиняков: «Это выглядело ужасно. Как Стив Карелл в очень дорогом костюме на Хэллоуин». Человеческая кожа между шарнирами двигалась совсем не так, как пластик, — и иллюзия рассыпалась мгновенно.

Тогда команда поставила на обратное. Вместо того чтобы «куклить» живого актёра, решили «очеловечить» цифровую куклу. Формула, которая в итоге сработала, звучала так: «Вместо того чтобы дополнять Стива Карелла цифровыми кукольными частями, почему бы не дополнить цифровых кукол частями Стива Карелла?»

Тело — в маркерах, лицо — в свете

Технически это означало полный разрыв с привычным performance capture, где мимика и движение тела записываются синхронно, с одного захода. На сцене захвата в Ванкувере (Martini Film Studios) актёры носили маркеры для записи тела. Но лица в этот момент не «захватывались» в привычном смысле.

«Это был очень нетрадиционный процесс захвата движения, потому что мы захватывали и актёров, и камеры, но при этом должны были освещать актёров так, как если бы эти кадры уже были в финальном фильме», — объяснял Бэйли.

Для съёмки использовались те же камеры ARRI Alexa 65, что и для игровых сцен, — причём их тоже «мокапили», чтобы синхронизировать движение виртуальной камеры с цифровой средой. Свет на площадке выставлялся не для удобства трекинга, а для финального композитинга: оператор-постановщик К. Ким Майлз учитывал тени от шляп, отражения, время суток и bounce light — заботы, которые обычно достаются CG-освещению, а не mocap-сцене.

Unreal Engine как «мокэп-монитор»

Ключевым элементом пайплайна стала предварительная сборка всех кукольных сцен в Unreal Engine ещё до начала съёмок. Команда Бэйли построила полноценную версию Марвена — города, который существует только в воображении героя, — с подвижными ассетами, травой и костюмами кукол.

Это решило две задачи сразу. Во-первых, оператор-постановщик через специально разработанное iPad-приложение «предосветил» сцены захвата: выставлял высоту и направление солнца, заполняющий свет и время суток виртуально, а затем переносил настройки на реальную площадку. Во-вторых, на самой площадке режиссёр и актёры видели на втором мониторе не серый объём с маркерами, а готовую сцену — кукол в костюмах, движущихся в реальном времени в антураже Марвена.

Бэйли называл этот «виртуальный монитор» мощным репетиционным инструментом. Актёры, видя пропорции своих кукольных аватаров, корректировали движения — делали шаги более «кукольными», иначе ставили руки. Земекис и труппа работали с ощущением, что финальный результат уже виден, а не появится через месяцы в постпродакшене.

Проекция лица: 75% актёра на кукле

Самая тонкая часть процесса начиналась после записи. Framestore, отвечавший за ключевые сцены, и Atomic Fiction (позднее вошедшая в Method Studios), выполнившая основной объём работы, проецировали отснятые кадры лиц актёров прямо на цифровые модели кукол.

Доля «живого» в кукле была разной. В начале фильма, пока зритель ещё не знает, что попадёт в мир игрушек, проекция была почти полной — до 75% лица актёра. По мере погружения в фантазию Хоганкампа куклы становились всё более «пластиковыми»: у Хоги, альтер эго героя Карелла, сохранялись только глаза, рот и часть подбородка, а остальное «заливалось» кукольной текстурой.

Здесь и возникала главная техническая головоломка. Проекция возможна только с одной точки — с той камеры, которой снимали актёра. Но топология кукольного лица не совпадает с человеческим: нос другой формы, скулы выдаются иначе, подбородок острее. «Нам приходилось идеально выравнивать проекцию, но всегда оставалась небольшая разница между топологией куклы и лицом актёра. Мы использовали собственные инструменты для расчёта этих несоответствий и повторного выравнивания, но чаще всего трекинг-команде приходилось делать это на глаз», — рассказывал супервайзер Framestore Ромен Арну.

Именно этот гибрид — пластиковая геометрия, освещённая как настоящая кукла, но с живой мимикой, спроецированной из реального света на реальной площадке, — позволил команде впервые увидеть результат и сказать: «Это читается как человеческая игра, но при этом абсолютно верится, что это кукла».

Что это значит для mocap-пайплайна

Кейс «Welcome to Marwen» — важный прецедент для индустрии захвата движения. Он показывает, что performance capture не обязан быть монолитным: тело можно записывать маркерами, а лицо — переносить оптически, если правильно организовать освещение и синхронизацию камер. Виртуальная среда в Unreal Engine здесь выполняет не декоративную, а инженерную функцию: она «предосвечивает» mocap-сцену и даёт актёрам мгновенную обратную связь с их цифровыми аватарами.

Для студий это в первую очередь вопрос приоритетов. Самый убедительный захват движения иногда начинается не с большего числа маркеров, а с отказа от них — ровно там, где они убивают главное: живое человеческое лицо.