ML-разработчик в команду Alice AI VLM Agents
Yandex ·
- Category
- Software engineering
- Company size
- 1000+
ML developer building VLM-based agents for Yandex Alice, focusing on tool calling, multi-step planning, and agent environments using LLMs/VLMs and reinforcement learning.
Мы превращаем мультимодальную модель в агента: она не просто отвечает по изображению, а планирует шаги, вызывает инструменты, работает с внешними системами и решает задачи как в продовых, так и в непродовых средах. Там, где раньше нужен был человек, теперь должна справляться модель, пользуясь инструментами.Учить модель вызывать инструменты (tool calling)
Мы хотим, чтобы модель умела не только отвечать по изображению, но и действовать: вызывать OCR, парсеры, браузер, поиск и внутренние API. Вы будете развивать сам навык надёжного tool use — чтобы модель выбирала подходящий под задачу инструмент, корректно передавала аргументы и разбирала результат, в том числе когда инструмент вернул ошибку или мусор. Развивать агентское планирование и многошаговость
Одного вызова инструмента мало: агент должен декомпозировать задачу, планировать последовательность действий, удерживать контекст между шагами, восстанавливаться после ошибок и доводить сложные визуальные сценарии до результата. Вы будете учить VLM вести себя как агент, а не как одношаговый «вопрос-ответ», а также повышать устойчивость этого поведения на длинных траекториях. Строить продовые и непродовые агентские среды
Вам предстоит проектировать окружения, в которых агент учится, оценивается и работает: песочницы, симуляторы и бенчмарки для обучения и офлайн-оценки — и реальные продуктовые сценарии Яндекса. Задача — сделать так, чтобы агент вёл себя надёжно и предсказуемо и в непродовых средах, и в продакшене под нагрузкой. Больше об ML в Яндексе — в канале Yandex for ML* Хорошо знаете ML и уверенно ориентируетесь в современных LLM или VLM * Имеете практический опыт в CV, NLP или мультимодальном обучении * Знакомы с Reinforcement Learning и понимаете, где RL-подходы применимы * Понимаете, как строятся агенты и tool calling поверх LLM или VLM, или хотите этим заниматься * Умеете формулировать гипотезы, ставить аккуратные эксперименты и делать выводы по результатам* Работали с агентами, автономными пайплайнами или RL в интерактивных средах * Обучали большие модели или large-scale ML-системы * Знакомы с tool calling, агентными пайплайнами или обучением моделей работе с внешними инструментами — в том числе в продовых и непродовых средах * Понимаете ограничения современных VLM и следите за трендами в области агентов и tool-augmented-моделей
Мы хотим, чтобы модель умела не только отвечать по изображению, но и действовать: вызывать OCR, парсеры, браузер, поиск и внутренние API. Вы будете развивать сам навык надёжного tool use — чтобы модель выбирала подходящий под задачу инструмент, корректно передавала аргументы и разбирала результат, в том числе когда инструмент вернул ошибку или мусор. Развивать агентское планирование и многошаговость
Одного вызова инструмента мало: агент должен декомпозировать задачу, планировать последовательность действий, удерживать контекст между шагами, восстанавливаться после ошибок и доводить сложные визуальные сценарии до результата. Вы будете учить VLM вести себя как агент, а не как одношаговый «вопрос-ответ», а также повышать устойчивость этого поведения на длинных траекториях. Строить продовые и непродовые агентские среды
Вам предстоит проектировать окружения, в которых агент учится, оценивается и работает: песочницы, симуляторы и бенчмарки для обучения и офлайн-оценки — и реальные продуктовые сценарии Яндекса. Задача — сделать так, чтобы агент вёл себя надёжно и предсказуемо и в непродовых средах, и в продакшене под нагрузкой. Больше об ML в Яндексе — в канале Yandex for ML* Хорошо знаете ML и уверенно ориентируетесь в современных LLM или VLM * Имеете практический опыт в CV, NLP или мультимодальном обучении * Знакомы с Reinforcement Learning и понимаете, где RL-подходы применимы * Понимаете, как строятся агенты и tool calling поверх LLM или VLM, или хотите этим заниматься * Умеете формулировать гипотезы, ставить аккуратные эксперименты и делать выводы по результатам* Работали с агентами, автономными пайплайнами или RL в интерактивных средах * Обучали большие модели или large-scale ML-системы * Знакомы с tool calling, агентными пайплайнами или обучением моделей работе с внешними инструментами — в том числе в продовых и непродовых средах * Понимаете ограничения современных VLM и следите за трендами в области агентов и tool-augmented-моделей