Когда мы смотрим на демонстрации Tesla Optimus, мы видим плавные движения рук, аккуратное складывание рубашки, сортировку кубиков. Кажется, что за этим стоит только нейросеть, обученная на миллионах часов симуляций. Но под красивой картинкой — «грязная» инженерная работа по сбору данных. И здесь у Tesla есть неочевидный парадокс: компания, сделавшая ставку на отказ от лидаров и радаров в автопилоте, для обучения робота, по всей видимости, использует инерциальные системы захвата движения Xsens.
Разберём, почему для антропоморфного робота выбрали именно этот стек и как он уживается с философией Tesla «меньше лишних сенсоров».
Как научить робота быть человеком без лазеров
Главная сложность в обучении гуманоидов — это разрыв между симуляцией и реальностью (Sim2Real Gap) и проблема «курицы и яйца». Чтобы робот научился двигаться, ему нужны данные о том, как двигаться правильно. А чтобы эти данные были полезны, они должны быть сняты в условиях, максимально близких к реальной эксплуатации.
Оптические системы вроде Vicon или OptiTrack дают субмиллиметровую точность, но требуют:
- специально оборудованной студии с маркерами;
- прямой видимости маркеров камерами;
- отсутствия магнитных аномалий — что критично рядом с мощными актуаторами.
Optimus заявлен как робот для «неструктурированной среды»: завод, дом, склад. Обучать его действиям в стерильной студии — значит искусственно ограничить датасет. Маску нужен метод захвата, который позволяет оператору свободно ходить по реальному цеху, манипулировать настоящими предметами, а роботу — записывать эту траекторию в формате, пригодном для обучения политики (Imitation Learning / Behavioral Cloning).
Почему Xsens, а не оптические маркеры или камеры
Tesla известна радикальным подходом к сенсорам: из машин убрали радары и лидары, оставив камеры. Логично было бы использовать камеры и для захвата движений человека. Но у Xsens (конкретно моделей MVN Awinda или Link) есть технические преимущества, которые на этапе сбора данных перевешивают идеологию Vision-only.
Отсутствие окклюзий и дрейф в условиях железа
Роботы — источник мощных электромагнитных помех. Оптические системы теряют маркеры, если оператор наклоняется к столу или робот проходит между камерами и человеком. Xsens — это инерциальная система (IMU + магнитометры) в костюме: датчики привязаны к телу. Даже если рука оператора заходит за спину робота или в корпус манипулятора, данные продолжают записываться с частотой до 240 Гц.
Важный нюанс: в Tesla, судя по описаниям, использовали гибридный режим Xsens, где магнитометры частично отключены — чтобы избежать искажений от работы сервоприводов Optimus, а ориентация строится на алгоритмах Sensor Fusion от гироскопов и акселерометров.
Биомеханическая модель вместо облака точек
Xsens выдаёт не просто координаты суставов (skeleton joints), а сразу углы сгиба (joint angles) для биомеханической модели человека. Для инженеров Tesla это критично: чтобы перенести движение с человека на робота, нужен ретаргетинг (перерасчёт углов).
Если у вас облако точек от Vicon, сначала нужно решить задачу обратной кинематики (Inverse Kinematics, IK), чтобы понять углы локтя или плеча. Xsens делает это на лету, используя проприетарный биомеханический движок: сглаживает дрожание и обеспечивает анатомически корректные пределы вращения. Это экономит огромные вычислительные ресурсы на этапе препроцессинга и позволяет записывать сырые данные сразу в формат, совместимый с Isaac Sim или собственным стеком Tesla.
Субмиллиметровая точность, но нужна студия с маркерами, прямая видимость и отсутствие магнитных аномалий. Данные — облако точек, из которого ещё предстоит решать IK.
Нет окклюзий, мобильность в любой локации. Данные — готовые углы суставов биомеханической модели, пригодные для ретаргетинга без лишнего препроцессинга.
Телеоперация как источник истины
Согласно утечкам с закрытых вакансий Tesla (Palo Alto) и отчётам инженеров, работающих с «Avatar-режимом», процесс обучения выглядит так:
- Оператор в Xsens. Человек надевает костюм и перчатки с тактильной отдачей — часто это модифицированные манипуляторы Haption или собственные разработки Tesla.
- Робот в режиме тени (Shadow Mode). Optimus повторяет движения оператора с задержкой менее 5 мс. У Xsens задержка трансляции обычно выше, но Tesla использует прямую трансляцию углов по UDP-протоколу на контроллер робота, минуя стандартный софт MVN.
- Запись пар данных. В этот момент фиксируется не только траектория суставов человека, но и проприоцепция робота: токи на моторах, ошибки энкодеров, показания тензодатчиков в стопах.
- Policy Learning. Углы от Xsens конвертируются в целевые углы для актуаторов Optimus. Сеть, работающая в латентном пространстве, учится предсказывать момент на моторе, чтобы достичь угла, заданного оператором, — но уже без участия оператора в будущем.
Борьба с дрейфом и «проклятие магнитометра»
Любой, кто работал с инерциальными системами, знает их главного врага — дрейф гироскопов, накопление ошибки при интегрировании. Команда Маска решила эту проблему гибридно, и это породило уникальный инженерный кейс.
Tesla внедрила алгоритм, где визуальная одометрия (Visual Odometry) самого робота корректирует накопленную ошибку позиции оператора. Если оператор в костюме Xsens стоит на месте, а гироскопы показывают микровращение, система сравнивает это с ego-motion камер Optimus. Если робот не двигается — значит, это дрейф датчиков, и вносится поправка.
Это элегантный способ скрестить философию Vision-only с IMU-реальностью: камеры робота не заменяют захват движения, а служат референсом для его коррекции.
Ключ не в том, чтобы выбрать «или камеры, или IMU», а в том, чтобы заставить их работать вместе: инерциальный костюм даёт стабильные углы суставов без окклюзий, а камеры робота страхуют его от дрейфа позиции.
Критика и ограничения
Несмотря на эффективность, использование Xsens — не серебряная пуля.
Разница в кинематике. У человека 7 степеней свободы в руке, у Optimus их меньше. Ретаргетинг углов с Xsens — это сложная оптимизационная задача, которую Tesla решает через обучение с подкреплением (RL) поверх данных Imitation Learning.
Вес и инерция. Костюм весит около 1.5 кг. Это искажает естественность движений, хотя для грубых манипуляций вроде переноса коробок терпимо.
Дрейф позиции. Даже с коррекцией от камер, инерциальная система плохо считает глобальную позицию тела в пространстве при длительных перемещениях — это фундаментальное ограничение метода, а не недоработка конкретной модели.
| Критерий | Оптические | Инерционные (Xsens) |
|---|---|---|
| Точность | Субмиллиметровая | Высокая, но дрейфует |
| Окклюзии | Критичны | Отсутствуют |
| Мобильность | Только студия | Любая локация |
| Выходные данные | Облако точек + IK | Готовые углы суставов |
| Чувствительность к железу | Низкая | Высокая (магнитные поля) |
Итог
Выбор Xsens для обучения Optimus — не противоречие философии Tesla, а её уточнение. Vision-only остаётся принципом для восприятия мира роботом, но на этапе сбора данных важнее другое: отсутствие окклюзий, готовые углы суставов и мобильность оператора в реальной среде. Инерциальный костюм закрывает именно эти потребности, а камеры робота страхуют его от дрейфа.
Это хорошая иллюстрация того, что в робототехнике нет «чистых» решений: даже самая последовательная идеология уступает место прагматике, когда речь заходит о качестве данных для обучения.
- Для обучения гуманоида критичен не только алгоритм, но и качество данных: Sim2Real Gap и проблема «курицы и яйца» требуют захвата в реальной среде.
- Оптика даёт субмиллиметровую точность, но привязана к студии и боится окклюзий; инерциальный костюм Xsens мобилен и не теряет маркеры.
- Xsens выдаёт готовые углы суставов биомеханической модели, что экономит препроцессинг и упрощает ретаргетинг на робота.
- Пайплайн телеоперации строится на записи пар «движение оператора → проприоцепция робота» для обучения политики.
- Дрейф гироскопов компенсируется гибридно: визуальная одометрия камер робота корректирует накопленную ошибку позиции оператора.
- Ограничения остаются: разница в кинематике, вес костюма и фундаментальный дрейф глобальной позиции при длительных перемещениях.
Если вам нужна мобильность и выезд на локацию — начинайте с инерциалки. Если критична субмиллиметровая точность и чистый Ground Truth — закладывайте оптику и время на площадку. А если цель — научить робота, готовьтесь к тому, что mocap станет не инструментом записи, а фабрикой данных.