В 1996 году Майкл Джексон — человек, который мог заказать себе любой спецэффект, — надел костюм с маркерами и танцевал в павильоне для камер, которые видели не звезду, а облако точек. Запись ушла в анимацию CG-скелета для короткометражки «Ghosts».
Спустя пятнадцать лет Ubisoft выпустила Michael Jackson: The Experience — игру, где танцующего перед телевизором игрока считывал Kinect. Это одна история в двух частях: сначала данные танца собирают с короля поп-музыки, потом — с каждого, кто встал перед экраном.
Игра, где вы — последний элемент пайплайна
Осенью 2010 года, спустя полтора года после ухода Джексона, Ubisoft выпустила ритм-игру по рецепту собственной Just Dance. Стартовый релиз в ноябре 2010-го — Wii, Nintendo DS и PSP. К апрелю 2011-го добавились Xbox 360 с Kinect и PlayStation 3 с Move, следом доиграли Nintendo 3DS, iOS и PS Vita — всего восемь платформ за полтора года.
Идея всюду одна. Хореография Джексона оцифрована и превращена в эталон: аватар на экране показывает связку, игрок повторяет, программа сравнивает и ставит оценку. Формально это ритм-игра. По сути — mocap-пайплайн, вынесенный в гостиную: записанные данные звезды служат референсом, а живой «захват» происходит прямо перед телевизором, с любым желающим.
Трек-лист собрали из главного: Billie Jean, Thriller, Beat It, Smooth Criminal, Bad, Black or White. Отдельные платформы получили свои бонусы — вплоть до Stranger in Moscow, а вот песен с альбома Invincible не досталось ни одной версии.
Каждая платформа видела танец по-своему
| Платформа | Чем считывает | Что получается |
|---|---|---|
| Wii | Джойстик в руке | Игра видит одну руку, остальное дописывает воображение — классический геймплей Just Dance с силуэтным аватаром |
| Xbox 360 + Kinect | Бесконтактный трекинг всего тела, Player Projection | Игрока в буквальном смысле вставляют в сцену; в Party-режиме — до четырёх человек, в Master Performance — танцуют и поют одновременно |
| PS3 + Move | Контроллер со светящейся сферой | Одна точка вместо скелета — точная, но одна |
| Nintendo DS и PSP | Стилус или кнопки | Танец превращается в ритм-график с мультяшным Джексоном — тело уже не нужно |
| PS Vita и iOS | Тачскрин | Самые поздние версии: выше детализация и сложность |
Чем дешевле сенсор, тем грубее «понимание» танца. Kinect — единственная версия, где скелет игрока считывался целиком и без контроллеров. И в этом спрятана симметрия, о которой Ubisoft в трейлерах не проговаривала: в 1996 году скелет оживляли по движениям Майкла, в 2011-м скелет игрока сравнивали со скелетом Майкла.
«Ghosts»: mocap-сессия, которую почти никто не видел
Задолго до игры Джексон сам оказывался по другую сторону пайплайна. Короткометражка «Ghosts» началась в 1993 году под рабочим названием «Is This Scary?»: проект заморозили на фоне скандалов, а из-за договорных споров сорвался и релиз вместе с «Семейкой Аддамс». Вернуться к нему удалось только в 1996-м — по личной просьбе Джексона постановку возглавил Стэн Уинстон, мастер практических эффектов из «Терминатора» и «Чужих». Сценарий к тому времени уже написали Стивен Кинг и Мик Гаррис.
По сюжету Джексон играет пять ролей, включая Маэстро — загадочного хозяина поместья, который пугает горожан шоу из призраков. Финальный долгожитель жанра хоррор-хореографии. Бюджет — около 15 миллионов долларов: дороже не стоил ни один музыкальный фильм до неё.
«Ghosts» — это примерно 40 минут экранного времени, снятых за рекордные для музыкального фильма деньги. Череп CG-скелета отсканировали с модели, которую отлил скульптор Пол Мейяс из команды Уинстона.
Нас здесь интересует скелет. Чтобы он танцевал по-джексоновски, студия Stan Winston Digital провела полноценную mocap-сессию: на тело постановщика — самого Джексона — крепили маркеры, камеры записывали движения, а кривые анимации переносили на цифрового персонажа. Тот самый номер, где скелет рассыпается на кости и собирается обратно, начинается именно с этих данных.
Редкие кадры со съёмочной площадки
Сессию снимали при закрытых дверях, и записей в сети почти не осталось. Ролик ниже — одна из немногих уцелевших съёмок: Джексон в костюме с маркерами отрабатывает хореографию, камеры пишут его с нескольких точек. Качество — 480p, эпоха чувствуется. Но видно главное: даже в 1996 году хореография Джексона снималась как данные — набор кривых, которыми оживят скелет.
Одна история на пятнадцать лет
Один танцор — мировая звезда. Профессиональная система захвата, павильон, команда Стэна Уинстона. Данные танца идут в кино: по ним оживает CG-скелет.
Миллионы танцоров — у каждого дома. Дешёвая камера у телевизора, никакого костюма. Движения игрока сравниваются с эталоном Джексона в реальном времени и превращаются в очки.
Между этими двумя сессиями — пятнадцать лет и вся история удешевления захвата движения. В 1996-м, чтобы превратить танец в данные, нужен был павильон Стэна Уинстона и согласие самого Майкла. В 2011-м достаточно гостиной и Kinect.
Самое любопытное, что роль данных не поменялась. И сессия для «Ghosts», и партия в The Experience отвечают на один вопрос: насколько точно повторено движение? Меняется только тот, кто танцует. Сначала — король поп-музыки ради скелета в кино. Потом — любой, кто встал перед экраном.
- Michael Jackson: The Experience вышла в 2010–2012 годах на восьми платформах — от Wii и Kinect до PS Vita; вся механика построена на сравнении движений игрока с эталонной хореографией Джексона.
- Короткометражку «Ghosts» (1996) снял Стэн Уинстон по сценарию Стивена Кинга и Мика Гарриса; бюджет — около $15 млн, Джексон сыграл пять ролей.
- Для CG-скелета «Ghosts» провели mocap-сессию: танец Джексона записали маркерами и превратили в анимацию — уцелевшие кадры сессии можно увидеть в закулисных роликах.