У шерифа Трэвиса в The Quarry дрожит губа. Это не работа аниматора — так играет Тед Рэйми, а система захвата доносит его игру до цифрового персонажа почти без потерь: 99,5% анимаций игры взяты напрямую с актёров. Из примерно 4500 дублей, отобранных для игры, вручную доработали лишь 27.
Разбираем весь пайплайн — от слепков голов и светоотражающих точек до Chatterbox, системы, которая выбирает мимику персонажа в зависимости от ваших решений.
- The Quarry — совместная работа Supermassive Games и VFX-студии Digital Domain, обладателя премии «Оскар».
- Masquerade 2.0 — развитие системы, созданной для Таноса в «Мстителях: Война бесконечности», адаптированное под геймдев.
- 42 дня съёмок дали 32 часа материала; из ~4500 дублей аниматоры вручную доработали только 27.
- Chatterbox подбирает лицевую реакцию персонажа под выбор игрока из библиотеки более чем в 1000 исполнений.
Партёр, который оживил Таноса
Supermassive Games замахнулась на один из самых фотореалистичных и кинематографичных интерактивных хорроров — и быстро поняла, что мастерства актёров недостаточно. Нужно было игрушечное, но кино по сложности: цифровые персонажи, которые доносят игру до зрителя без потери качества. Партнёр выбирался не случайно — им стала Digital Domain, VFX-студия — обладатель «Оскара» с портфолио из блокбастеров Marvel и цифровых двойников.
У Digital Domain уже был опыт оживления цифровых персонажей: для «Мстителей: Война бесконечности» студия разработала систему захвата мимики Masquerade — ту самую, что собрала Таноса. Но для игры этого было мало. Требовалась система, которая в реальном времени отслеживает движения и мимику актёров и выдаёт персонажей, готовых к редактированию в игровом движке. Так появилась Masquerade 2.0.
Кино-вариант: захват мимики для одного героя — Таноса в «Мстителях: Война бесконечности».
Геймдев-версия: отслеживает движения и мимику актёров в реальном времени и переносит их на цифровых персонажей, пригодных для редактирования в игровом движке.
До съёмок: сканы, шаблоны и библиотека мимик
Основной съёмочный день подготовили задолго до него. Специалисты Digital Domain провели серию детальных сканов лиц каждого актёра. Из этих данных собрали точный шаблон и обширную библиотеку мимических форм — персональный «алфавит» выражений для каждого исполнителя.
Материалы уехали художникам Supermassive Games: на их основе создавалась внешность игровых персонажей. Цифровой герой строился не с нуля, а вокруг лица реального актёра — поэтому в финале между ними почти нет дистанции.
42 дня на сцене в Лос-Анджелесе
Захват шёл на сцене Digital Domain в Лос-Анджелесе. Актёры работали в полных мокап-костюмах и специальных шлемах с камерами для захвата лица. Каждый персонаж отыгрывался индивидуально или в небольших группах — а сюжет приходилось проживать снова и снова: итераций было множество, включая уникальные сцены смерти для каждого героя.
Масштаб впечатляет: каст The Quarry провёл в мокап-съёмках 42 дня, и всё это вылилось в 32 часа отснятого материала.
- Полный мокап-костюм со светоотражающими маркерами
- Шлем с камерами для лицевого захвата
- Лицевые маркеры — по шаблону из физического слепка головы
- Сцена Digital Domain, Лос-Анджелес
Как это выглядело изнутри, рассказал креативный директор Supermassive Games Уилл Байлз на DevGAMM — доклад целиком:
Точки, слепки и машинное обучение
Лица актёров покрывались множеством светоотражающих точек. Главная слабость маркерного захвата — повторяемость: точки должны сидеть одинаково от дубля к дублю. Команда Digital Domain решала это буквально вручную: делала физический слепок головы каждого актёра, сверлила в нём отверстия и использовала как трафарет для нанесения меток.
Дальше — геометрия. Камеры фиксировали лицевые точки вместе с маркерами на костюмах, триангулировали их и переносили движения на виртуальный скелет силами Masquerade 2.0. Если часть маркеров пропадала из виду, ИИ достраивал пробелы по данным калибровочных тестов.
Кульминация — цифровая обработка. Система совмещала отснятый материал с персональной библиотекой мимических форм актёра и методами машинного обучения переносила результат на CG-модель. Получалась фотореалистичная анимация, в которой почти нет «анимации» в привычном смысле: подавляющее большинство движений — прямой перенос игры актёров.
Мимика, которая слушает игрока
Кино линейно, игра — нет. Игрок выбирает реплики и действия, и мимика персонажей должна реагировать мгновенно, а не по заранее смонтированному ролику.
Для этого Digital Domain использовала инструмент Chatterbox. Система анализирует ввод игрока, выбирает подходящую лицевую реакцию из библиотеки — в ней более 1000 захваченных исполнений — и воспроизводит её в реальном времени. Именно поэтому диалоги The Quarry ощущаются живыми: лицо персонажа отвечает на ваш выбор, а не ждёт своей очереди в сценарии.
Результат: 250 миллионов кадров
Объём вычислений соответствует амбициям: Digital Domain отрендерила 250 миллионов кадров — больше, чем типичный полнометражный фильм.
За фотореализмом не потерялась живость. Персонажи The Quarry эмоциональны именно потому, что под «кожей» — реальная игра реальных актёров, доведённая до движка почти без вмешательства.
«Когда вы видите, как у шерифа Трэвиса дрожит губа или меняется взгляд, — это не работа аниматора. Это чистая игра актёра, запечатлённая и переданная в цифровом мире».
— Аруна Инверсин, Digital Domain
Кейс The Quarry показывает, куда движется индустрия: захват движения перестаёт быть техническим этапом производства и становится мостом между живой актёрской игрой и интерактивным повествованием. Персонажей уже не «анимируют под» актёра — они им и остаются. Просто в цифровом мире.