Мы — core-команда, которая отвечает за ML для понимания аудио во всем Сбере.
За последний год мы выложили в open source SOTA-модель для распознавания речи на русском языке — **GigaAM**, а прошлой весной первыми в России запустили **нативное понимание звука в LLM — GigaChat Audio**.
Сейчас мы активно улучшаем мультимодальные возможности GigaChat: работаем над качеством на сложных аудио- и визуальных контекстах и учим модель понимать видео не только по звуковому потоку, но и по кадрам.
**Цель** — совместное обучение на vision+audio и video+audio диалогах длительностью 90+ минут.
_Первый этап отбора на эту вакансию – общение с AI-рекрутером. После отклика вам на почту и в чат на платформе HeadHunter придет приглашение пройти первичное интервью с ГигаРекрутером в Telegram. Диалог займёт примерно 10 минут. Его задача — уточнить недостающие детали и ускорить рассмотрение вашей кандидатуры. ГигаРекрутер только начинает свой путь, поэтому просим относиться с пониманием. Ваш опыт и участие помогут сделать его удобным и полезным!_* Проводить эксперименты по обучению Vision / Audio / Video LLM: данные, стадии обучения, способы смешивания модальностей
* Оптимизировать ML-инфраструктуру для обучения на длинных мультимодальных контекстах
* Формулировать и проверять гипотезы о том, как улучшать качество LLM на видео.* Сильный опыт в DL-инженерии, желательно в обучении LLM-моделей
* Глубокое знание PyTorch, включая DDP / FSDP
* Понимание distributed training и efficient deep learning: DP / TP / PP / EP / SP, mixed precision, checkpointing, offloading, профилирование и оптимизация обучения
* Понимание архитектуры LLM: Transformer, attention (MHA / GQA / MLA), RoPE и другие позиционные эмбеддинги, long context, MoE
* Уверенный Python на уровне production-кода: asyncio, multiprocessing, профилирование, отладка больших систем.
**Будет плюсом:**
* Опыт обучения мультимодальных LLM
* Опыт снижения стоимости контекста при обработке видео
* Опыт расширения контекста LLM
* Понимание RL-подходов для обучения моделей: RLHF / RLVR, PPO / GRPO / DPO
* Опыт построения бенчмарков с использованием LLM-as-a-judge.* крупнейшее DS&AI community — более 600 DS-специалистов банка
* дайджест о самых последних разработках в области DS&AI и отчеты с крупнейших конференций мира
* возможность быть соавтором НИРов и статей для международных конференций
* возможность выбрать удобный формат работы: гибрид или офис
* ежегодный пересмотр зарплаты, годовая премия
* корпоративный спортзал и зоны отдыха
* более 400 образовательных программ СберУниверситета для профессионального и карьерного развития
* расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа
* ипотека выгоднее до 7% для каждого сотрудника
* бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров
* вознаграждение за рекомендацию друзей в команду Сбера.