В 2016 году на GDC на сцену вышла Мелина Юргенс — и на экране за её спиной в ту же секунду ожила цифровая Сенуа. Мимика, взгляд, микродвижения переносились на персонажа без единого часа постобработки: зрители смотрели не трейлер, а живой перформанс, пропущенный через систему захвата движения.
Разбираем по шагам, как Ninja Theory вместе с Cubic Motion, 3Lateral и Epic Games превратили захват движения в реальном времени из лабораторного трюка в производственный инструмент — и почему этот кейс до сих пор эталонный для небольших студий.
- На GDC 2016 Ninja Theory показали, по их собственной оценке, первый живой перенос детализированного персонажа в реальном времени.
- Лицо считывала система компьютерного зрения Cubic Motion: более 90 лицевых особенностей на скорости свыше 200 кадров в секунду, риг — от 3Lateral.
- «Обратный захват»: каскадёр Хлоя Брюс воссоздавала уже готовые анимации Сенуи — две комбо-связки собрали практически за день.
- Собственная студия захвата обошлась в $20 000–$30 000: камеры Vicon на стойках для одежды из IKEA, светильники с Amazon.
- На SIGGRAPH 2016 команда сняла и смонтировала сцену в прямом эфире перед 2000+ зрителей и получила премию SIGGRAPH.
Видеоредактор, который стал Сенуой
Главной сенсацией презентации стал не софт и не железо, а сама Юргенс. Штатный видеоредактор Ninja Theory, она никогда не занималась актёрской игрой и захватом движения — и именно её студия поставила в центр технологического демо. Камера в режиме «картинка-в-картинке» показывала, как мимика и движения актрисы в ту же секунду ложатся на цифрового персонажа.
На каком-то этапе зрители осознавали: всё, что происходит на экране, — не заготовка, а живая игра, транслируемая через систему захвата в реальном времени. Доминик Мэтьюз, представитель Ninja Theory, сформулировал это так:
«Насколько нам известно, никто раньше не делал этого с персонажем такой детализации».
Вся сцена держалась не только на смелости кастинга, но и на связке технологий, которая позволила переживать игру Юргенс без задержек и склеек.
Пайплайн, который вытянул реалтайм
За прорывом стояла кооперация нескольких компаний, у каждой — своя зона ответственности.
Cubic Motion разработала систему компьютерного зрения, способную отслеживать более 90 лицевых особенностей со скоростью свыше 200 кадров в секунду. 3Lateral создала цифровой лицевой риг, оптимизированный под работу в реальном времени: то, что считывали камеры, мгновенно ложилось на модель.
Третьим элементом стала технология захвата и монтажа, позволявшая снимать, редактировать и воспроизводить анимацию, не покидая сессию. На практике это означало: сцена проходила путь от съёмки до готового рендера за минуты, а не за дни или недели.
Съёмка, затем покадровая обработка, чистка и монтаж. От сессии до готовой сцены — дни или недели, а каждая правка — новая итерация.
Снял — отредактировал — воспроизвёл внутри одной сессии. Сцена готова за минуты, и актриса сразу видит результат своей игры на экране.
Обратный захват: каскадёр повторяет за актрисой
Обычно движение идёт в одну сторону: актёр играет — анимация достаётся персонажу. Ninja Theory развернули процесс. Каскадёр Хлоя Брюс воссоздавала уже существующие анимации Сенуи, изначально исполненные Юргенс, чтобы достроить поверх них новые действия и движения.
Результат — две игровые комбо-связки практически за один день: срок, который в традиционном пайплайне занял бы заметно больше. Старший аниматор Крис Гудалл отмечал, что такой подход освободил его для работы над движениями, которые mocap в принципе не может захватить.
Готовую анимацию используют как референс прямо на площадке: каскадёр играет, сверяясь с ней, вместо того чтобы ставить сцену с нуля. Новые связки достраиваются за часы и попадают в игру почти без чистки.
Студия за $20 000: конференц-зал, Vicon и стойки IKEA
Пока крупные издатели строили закрытые mocap-павильоны, Ninja Theory собрала собственный захват в конференц-зале своего офиса в Кембридже. Камеры Vicon стояли на стойках для одежды из IKEA, а освещением служили потолочные светильники, заказанные на Amazon.
Вся студия обошлась примерно в $20 000–$30 000 — ничтожные деньги на фоне традиционных затрат на аренду профессиональных павильонов.
- Камеры Vicon — оптический трекинг тела
- Стойки для одежды из IKEA — крепления камер
- Потолочные светильники с Amazon — освещение объёма
- Конференц-зал офиса в Кембридже — само помещение
Именно эта часть кейса разошлась по индустрии шире самой демонстрации: порог входа в качественный захват оказался на порядок ниже, чем принято было думать.
«От превиза до финала за пять минут»
Логичное продолжение случилось на SIGGRAPH 2016. Доклад так и назывался — «From Previs to Final in Five Minutes: A Breakthrough in Live Performance Capture». Ninja Theory, Cubic Motion, 3Lateral и Epic Games объединили усилия и в прямом эфире перед более чем 2000 зрителей сняли, смонтировали и отрендерили сцену из Hellblade за считанные минуты.
Демонстрация собиралась из нескольких проходов. Сначала Юргенс исполняла базовую игру. Затем играла реакцию на запись самой себя — так на экране возник диалог двух версий Сенуи. Виртуальная камера режиссёра работала в двух ролях: служила инструментом для выстраивания линии взгляда актрисы, а потом использовалась для кинематографической съёмки уже заблокированной сцены.
Работа получила премию SIGGRAPH за лучшую графику и интерактивность в реальном времени. Ким Либрери, технический директор Epic Games, так оценил результат:
Демонстрация потребовала от команд технического и творческого вызова самим себе — чтобы задуматься о будущем кинематографии в реальном времени.
Что осталось после Hellblade
Успех игры доказал две вещи. Первое: независимые студии способны создавать проекты уровня AAA, если строят пайплайн на эффективных технологических решениях, а не на бюджете. Второе: захват движения в реальном времени перестал быть сценической экзотикой и стал практичным инструментом производства.
Ninja Theory выделили направление в отдельное подразделение — Senua Studio. Оно специализируется на захвате и рендеринге реалистичных цифровых персонажей для игр, фильмов, VR и живых выступлений. Креативный директор Тэмим Антониадес описывал цель так: «найти способы создания полностью интерактивных 3D-опытов для будущих игр и VR — с невероятными, погружающими мирами и правдоподобными персонажами».
Сегодня всё более правдоподобные цифровые персонажи в играх никого не удивляют. Но путь к ним начался с эксперимента небольшой студии, которая решила, что невозможное — это просто вопрос правильного подхода: конференц-зал, камеры на стойках из IKEA и готовность рискнуть на открытой сцене.
Если подбираете захват движения под собственный проект и бюджет — этот кейс хороший ориентир: начинать можно с малого. А мы в MocapTric продолжаем разбирать истории, где технологии захвата меняли производство, — заглядывайте в блог.