ML-аналитик в Яндекс Образование

Мы создаём образовательные продукты для школьников, родителей и учителей, а также инструменты для всего образовательного сообщества. Ищем ML-аналитика, который поможет нам измерять качество моделей, выстраивать процессы сбора данных и развивать технологии, которыми пользуются миллионы людей.Разработка инструментов оценки качества моделей
Вам предстоит выстраивать систему оценки качества работы моделей на разных классах задач: адаптировать опенсорсные бенчмарки, разрабатывать собственные и организовывать разметку данных с помощью внешних исполнителей. Анализ качества наших моделей и решений конкурентов
Вы будете проектировать и внедрять сложные метрики, которые действительно отражают уровень технологий и позволяют сравнивать модели в реальных сценариях использования. Построение процессов сбора данных для fine-tuning и RL
Вместе с экспертами-разметчиками вы будете создавать качественные сигналы для обучения, а также ускорять и масштабировать разметку с помощью LLM. Работа с исследованиями
Вам предстоит отслеживать и анализировать новые бенчмарки, датасеты и подходы к сбору данных, выбирать наиболее перспективные идеи и внедрять их в практику команды.* Уверенно работаете с Python и SQL, знаете основные аналитические библиотеки * Понимаете основы статистики и умеете применять их на практике * Умеете проектировать процессы разметки для удалённых исполнителей * Понимаете, как оценивать сложные агентные ML-пайплайны * Самостоятельны, внимательны к деталям и доводите задачи до результата* Работали с Толокой или другими краудсорсинговыми платформами * Выстраивали процессы разметки данных с привлечением внешних исполнителей * Управляли командой ML-аналитиков