Ищем ML Engineer, который будет развивать методы post-training и fine-tuning для VLA- и других robot policy. Это роль для человека, которому интересно работать на границе современных foundation models, RL и робототехники: брать базовую VLA-policy и доводить её до надёжного поведения.Разработка post-training-пайплайнов для VLA
Вы будете развивать пайплайны дообучения VLA на данных реальных роботов, симуляции и демонстрациях. В фокусе — повышение success rate, стабильности и обобщающей способности моделей, адаптация к конкретным робототехническим платформам, задачам, сенсорам и интерфейсам управления.
Вам предстоит работать с behavior cloning и его вариантами, представлением действий, мультимодальными входами, temporal context и другими компонентами, которые определяют качество policy на заключительном этапе обучения.
Offline и online reinforcement learning
Вы будете исследовать и внедрять RL-подходы для улучшения VLA-политик после предобучения и supervised fine-tuning. В зоне ответственности — offline RL на логах взаимодействий и демонстрациях, offline-to-online RL, RL fine-tuning и residual RL. Будет уделяться внимание тому, как безопасно использовать данные реальных rollout’ов, строить reward’ы и success-сигналы, улучшать политики без потери исходных навыков и находить баланс между качеством, устойчивостью и sample efficiency.
Обучение на corrective data и recovery trajectories
Вам предстоит развивать ML-часть обучения роботов на их собственных ошибках. Робот может попасть в OOD-состояние, начать неуспешно выполнять навык или потерять уверенность; в таких случаях оператор или другой механизм восстановления формирует корректирующую траекторию. Эти эпизоды становятся данными для следующей итерации обучения. Вы будете работать с подходами уровня DAgger, Human-Gated DAgger, Learning from Human Interventions, corrective demonstrations и dataset aggregation. Основная задача — превращать всё это в улучшение VLA-policy. Сбор данных, teleoperation и операционные процессы находятся на стороне других команд; с вашей стороны — требования к данным, методы обучения, оценка качества и интеграция результатов в training pipeline.
OOD robustness и final-mile quality
Вы будете улучшать качество моделей в сложных, редких и нештатных сценариях: при распределительном сдвиге, изменении условий сцены, ошибках восприятия, накоплении ошибок управления и неполных или шумных наблюдениях. В фокусе — анализ failure modes, OOD robustness, uncertainty-aware и recovery-oriented learning, работа с hard examples и long-tail-данными. Важно строить понятные метрики качества: success rate, recovery rate, intervention rate, устойчивость к возмущениям и безопасность выполнения задач.
Больше об ML в Яндексе — в канале Yandex for ML* Уверенно программируете на Python и работали с PyTorch
* Имеете сильную базу в deep learning и reinforcement learning
* Понимаете основные подходы в RL: policy optimization, actor-critic, value learning, off-policy learning и offline RL
* Понимаете, что такое behavior cloning, covariate shift и dataset aggregation
* Умеете ставить эксперименты, проводить абляции, работать с метриками и анализировать причины деградации моделей
* Умеете читать исследовательские статьи и превращать исследовательские идеи в устойчивые ML-пайплайны* Работали с гуманоидными роботами или другими физическими робототехническими платформами
* Знакомы с DAgger, Human-Gated DAgger, Learning from Human Interventions, corrective demonstrations и recovery learning
* Работали с online RL, offline-to-online RL, safe RL, constrained RL или residual RL
* Знакомы с Isaac Lab, Isaac Sim, MuJoCo, ManiSkill или другими симуляторами