Руководитель направления обучения LLM

Мы ищем руководителя направления обучения больших языковых моделей, который будет отвечать за развитие качества моделей в доменной области через системное управление обучением, данными и оценкой.

Роль предполагает работу на стыке исследований, инженерии и продуктовых задач с фокусом на практическое применение моделей в бизнесе.

Обязанности

1. Развитие качества моделей

• анализ современных методов обучения LLM (SFT, RLHF/DPO, synthetic data, дистилляция).
• формирование стратегии обучения моделей под бизнес-задачи.
• определение необходимых навыков модели (skills decomposition).

2. Работа с данными

• проектирование и развитие пайплайна датасетов.
• сбор, очистка, разметка, валидация.
• создание обучающих и тестовых выборок.
• разработка синтетических датасетов.

3. Бенчмарки и оценка

• разработка и поддержка системы оценки качества моделей.
• создание бенчмарков (включая domain-specific).
• проведение регулярного тестирования и сравнительного анализа моделей.
• контроль регресса.

4. Управление командой

• руководство командой разметки (до 40 человек) и подготовки данных (4 человека).
• постановка задач, контроль качества разметки.
• разработка методологии разметки и инструкций.
• работа с инструментами разметки (например, TagMe).

5. Взаимодействие с рисками и compliance

• согласование подходов к обучению с управлением модельных рисков.
• контроль аспектов, галлюцинации, bias, соответствие нормативным требованиям.
• обеспечение прозрачности и воспроизводимости обучения.

6. Интеграция с продуктом

• работа с продуктовыми командами (LLM-агенты, RAG-системы).
• приоритизация задач обучения на основе бизнес-метрик.
• участие в запуске моделей в прод.

7. Экономика и эффективность

• оценка эффективности обучения (качество vs стоимость).
• выбор оптимальных стратегий, дообучение vs архитектурные изменения.
• оптимизация использования вычислительных ресурсов.

Требования

• опыт работы с LLM / NLP от 3–5 лет.
• практический опыт обучения моделей (SFT, RLHF/DPO или аналоги).
• опыт построения датасетов и evaluation pipelines.
• понимание архитектуры LLM и принципов их обучения.
• опыт управления командой.
• уверенное владение Python и ML-стеком (PyTorch / HuggingFace).

Будет плюсом:

• опыт работы с доменными моделями (например, legal, finance).
• опыт построения пайплайнов генерации синтетических данных.
• опыт внедрения моделей в прод.
• знание подходов к снижению галлюцинаций.

Условия

• комфортный современный офис на ул. Вавилова, д. 19.
• формат работы — фул-офис.
• ежегодный пересмотр зарплаты, годовая премия.
• корпоративный спортзал и зоны отдыха.
• более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
• расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
• гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.
• бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
• вознаграждение за рекомендацию друзей в команду Сбера.