AI Infrastructure Engineer
БиАйЭй-Технолоджиз · Москва ·
- Work mode
- Remote
- Category
- Devops
- Company size
- 501-1000
Optimize inference for local LLMs and internal models using vLLM/Triton, manage GPU resources, and monitor high-load AI infrastructure for a logistics-focused AI company.
В БИАтех мы разрабатываем решения в области логистики. У нас около 30 команд разработки и высоконагруженная инфраструктура. Сейчас мы активно занимаемся развитием нашей ИИ-инфраструктуры и находимся в поисках Инженера по оптимизации (AI Infrastructure Engineer)
Что нужно делать:
-
Оптимизировать инференс локальных LLM и внутренних моделей (квантизация, батчинг, KV-cache, маршрутизация запросов) с помощью vLLM, Triton и аналогов
-
Выжимать максимум из текущего парка серверов: перераспределять ресурсы GPU/CPU/VRAM между задачами и внедрять решения для роста производительности без лишних затрат
-
Разрабатывать кастомные метрики утилизации и настраивать мониторинг нагрузки серверов (очереди, задержки, ошибки, пропускная способность)
-
Организовать прозрачный учет GPU-ресурсов компании и обеспечить отказоустойчивость инфраструктуры
-
Планировать закупки железа: анализировать потребности бизнеса, формировать технические требования и подбирать оптимальные конфигурации GPU-серверов
Необходимый опыт и знания:
- Уверенный опыт оптимизации ML-инференса в production (AWQ/GPTQ/INT8, continuous batching, PagedAttention, спекулятивное декодирование)
- Глубокое знание фреймворков для инференса (vLLM, TensorRT-LLM, TGI) и работы с GPU (управление VRAM, CUDA, профилирование)
- Опыт работы с системами мониторинга и систем алертинга
- Понимание архитектуры современных ИИ-моделей (Transformer, MoE, Attention) для поиска узких мест на стыке кода и «железа»
- Навыки оркестрации ресурсов
Что мы предлагаем:
- Развитие: неограниченный профессиональный рост, работа в сильной команде экспертов, участие в конференциях, митапах, профессиональных сообществах, в том числе в качестве спикера, корпоративная библиотека
- Забота: ДМС, льготное подключение родственников, полис выезжающих за рубеж; партнерские программы
- Комфорт: гибкий график и формат работы (офис/гибрид/удаленно); полностью оснащенные офисы в СПб, Москве, Омске, Владимире; свободный дресс-код
- Надежность: официальное оформление по ТК в аккредитованной ИТ-компании, достойный уровень заработной платы, социальные гарантии