NLP-инженер (GigaChat)
Сбер · Россия ·
- Work mode
- Remote
- Category
- Industrial engineering
- Visa sponsorship
- Yes
- Company size
- 1000+
Develops and improves a Russian generative AI model (GigaChat) by training large language models, optimizing distributed training frameworks, and enhancing multimodal capabilities using Python, PyTorch, C++, and CUDA.
Мы команда GigaChat — создаём и развиваем core-технологию генеративной языковой модели. Она может писать тексты, создавать изображения и даже код на Python. Она умеет отвечать на вопросы, вести диалог, сочинять стихи и рассказы, придумывать идеи для бизнеса, писать письма и многое другое.
Направления
- Разработка фреймворка распределённого обучения GigaFSDP, исследование обучений в FP8.
- Развитие метрик качества GigaChat-а, например, через оценку способности решать задачи олимпиад международного уровня.
- Команда инфраструктуры обучений, 5-D параллелизм, в том числе ускорение обучений мультимодальных моделей.
- Разработка низкоуровневых оптимизаций операций на аппаратном уровне.
На эти роли мы ищем талантливого NLP Engineer, с которым будем вместе совершенствовать и развивать GigaChat. Для всех этих экспериментов у нас есть кластер с большим числом A/H 100'ых.
Что делать
- Довести качество до ChatGPT на русском и дальше обогнать его.
- Помогать решать бизнес-задачи с помощью нашей технологии сначала для внутренних клиентов в Сбере, а потом и внешним.
- Придумывать и внедрять новые применения для LLM.
- Помогать выводить в прод всё, что мы обучим.
- Постоянно держаться up-to-date со свежими статьями.
Требования
- Уверенное владение Python, PyTorch.
- Знание базовых алгоритмов и математики.
- Знания в DL, опыт обучения простых и больших моделей.
- Опыт обучения моделей для продакшена.
- Понимание текущего состояния эволюции больших LLM'ов.
- C++ и CUDA.
- Будет плюсом наличие публикаций.
Условия
- Комфортный современный офис в Москве и Санкт-Петербурге.
- Возможность выбрать удобный гибридный график.
- Ежегодный пересмотр зарплаты и годовая премия.
- Зоны отдыха.
- Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
- Программа адаптации и помощь руководителя на старте (для стартовых позиций).
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
- Ипотека для сотрудников выгоднее до 7%.
- Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнёров.
- Вознаграждение за рекомендацию друзей в команду Сбера.