ML-разработчик в группу разработки рекомендательных систем
Yandex ·
- Category
- Software engineering
- Company size
- 1000+
ML developer on Yandex's recommender systems team, building agent-driven automation for the ML research and experiment cycle — from hypothesis generation and code changes to training runs, experiment orchestration, and agent execution environments. Core stack: Python, LLMs, ML pipelines, distributed training.
Мы создаём рекомендательные системы, которые помогают миллионам пользователей находить именно то, что им нужно. Наша команда работает на стыке рекомендаций, глубокого обучения и инфраструктуры. Ждём, что вы разрабатывали LLM, понимаете, как устроен ML-пайплайн, и пишете надёжный код на Python.Агентизация офлайн-исследовательского цикла
Значительная часть исследовательских вопросов — архитектура модели, состав обучающих данных, гиперпараметры — проверяется офлайн, на фиксированных датасетах и метриках, без выкатки в прод. Такой цикл замкнут и потому особенно хорошо поддаётся автоматизации: гипотеза, изменение в коде, запуск обучения, сравнение с бейзлайнами, решение. Мы хотим, чтобы агент вёл этот цикл вместе с исследователем: предлагал и ранжировал гипотезы, опираясь на результаты прошлых экспериментов и внешние исследования, вносил изменения в кодовую базу вместе с проверками их корректности, запускал серии обучений и готовил сопоставимые результаты. Так больше времени остаётся на выбор направления и интерпретацию, а не на перебор вариантов. Агентизация постановки и сопровождения экспериментов
Наш контур — это сквозной конвейер — от подготовки данных и обучения моделей до доставки весов и рантайма инференса. Каждый исследовательский эксперимент затрагивает сразу несколько его звеньев, а скорость и надёжность экспериментов напрямую определяют, насколько быстро растёт качество рекомендаций. Поэтому мы формализуем взаимодействие компонентов: описываем контракты и инварианты в коде, реализуем автоматическую верификацию конфигураций, развиваем наблюдаемость и создаём агентские сценарии для типовых операций: подготовки окружений, запуска процессов обучения, выкатки моделей. Отдельная часть этой работы — аналитика: мы хотим, чтобы система сама выделяла аномалии в метриках, готовила числовую выжимку, сопоставляла эксперимент с историей похожих и предлагала интерпретацию, которую исследователю остаётся проверить. Наша цель — довести постановку эксперимента до одной кнопки и кратно увеличить число гипотез, которые команда успевает проверить. Вам предстоит проектировать эти инструменты и расширять их применение на новые части контура. Построение среды исполнения для агентов
Агентские сценарии должны выполняться предсказуемо и оставаться прозрачными для человека. Вы будете проектировать среду, в которой они живут: управление контекстом и доступом к внутренним системам, воспроизводимость запусков, подробное логирование действий, точки контроля, где решение принимает инженер, и механизмы отката. Отдельная задача — измерять качество работы самих агентов и улучшать их на основе накопленных траекторий. Больше об ML в Яндексе — в канале Yandex for ML* Работали с LLM и интересуетесь агентскими сценариями, кодогенерацией и автоматизацией инженерных процессов * Понимаете, как устроен ML-пайплайн: подготовка данных, обучение, валидация, выкатка и инференс модели * Уверенно владеете Python и пишете надёжный код * Умеете разбираться в чужом коде и незнакомых системах и предлагать улучшения архитектуры* Отвечали за обучение или интеграцию генеративных моделей, особенно в рекомендательные системы * Работали с распределёнными вычислениями и большими данными
Значительная часть исследовательских вопросов — архитектура модели, состав обучающих данных, гиперпараметры — проверяется офлайн, на фиксированных датасетах и метриках, без выкатки в прод. Такой цикл замкнут и потому особенно хорошо поддаётся автоматизации: гипотеза, изменение в коде, запуск обучения, сравнение с бейзлайнами, решение. Мы хотим, чтобы агент вёл этот цикл вместе с исследователем: предлагал и ранжировал гипотезы, опираясь на результаты прошлых экспериментов и внешние исследования, вносил изменения в кодовую базу вместе с проверками их корректности, запускал серии обучений и готовил сопоставимые результаты. Так больше времени остаётся на выбор направления и интерпретацию, а не на перебор вариантов. Агентизация постановки и сопровождения экспериментов
Наш контур — это сквозной конвейер — от подготовки данных и обучения моделей до доставки весов и рантайма инференса. Каждый исследовательский эксперимент затрагивает сразу несколько его звеньев, а скорость и надёжность экспериментов напрямую определяют, насколько быстро растёт качество рекомендаций. Поэтому мы формализуем взаимодействие компонентов: описываем контракты и инварианты в коде, реализуем автоматическую верификацию конфигураций, развиваем наблюдаемость и создаём агентские сценарии для типовых операций: подготовки окружений, запуска процессов обучения, выкатки моделей. Отдельная часть этой работы — аналитика: мы хотим, чтобы система сама выделяла аномалии в метриках, готовила числовую выжимку, сопоставляла эксперимент с историей похожих и предлагала интерпретацию, которую исследователю остаётся проверить. Наша цель — довести постановку эксперимента до одной кнопки и кратно увеличить число гипотез, которые команда успевает проверить. Вам предстоит проектировать эти инструменты и расширять их применение на новые части контура. Построение среды исполнения для агентов
Агентские сценарии должны выполняться предсказуемо и оставаться прозрачными для человека. Вы будете проектировать среду, в которой они живут: управление контекстом и доступом к внутренним системам, воспроизводимость запусков, подробное логирование действий, точки контроля, где решение принимает инженер, и механизмы отката. Отдельная задача — измерять качество работы самих агентов и улучшать их на основе накопленных траекторий. Больше об ML в Яндексе — в канале Yandex for ML* Работали с LLM и интересуетесь агентскими сценариями, кодогенерацией и автоматизацией инженерных процессов * Понимаете, как устроен ML-пайплайн: подготовка данных, обучение, валидация, выкатка и инференс модели * Уверенно владеете Python и пишете надёжный код * Умеете разбираться в чужом коде и незнакомых системах и предлагать улучшения архитектуры* Отвечали за обучение или интеграцию генеративных моделей, особенно в рекомендательные системы * Работали с распределёнными вычислениями и большими данными