Prompt engineer builds, tests, and refines LLM prompts and RAG pipelines to power an executive dashboard at a large Russian bank, using Python, vector DBs, and AI monitoring.
Дирекция мониторинга Agile занимается созданием дашборда для руководителей в Сбере. Мы собираем данные по всем процессам в Банке, анализируем их и предоставляем необходимую информацию для принятия решений.
Мы продолжаем увеличивать охват и глубину мониторинга, поэтому нуждаемся в новых силах. Мы ищем в команду Prompt инженера, который будет создавать данные и описание запроса для LLM-моделей, и следить за их качеством работы.### Обязанности:
* разработка и оптимизация диалоговых сценариев, сложных запросов (prompt-engineering) и примеров ответов для взаимодействия с LLM
* оценка качества ответов моделей (ручная и автоматическая), их корректировка, фактчекинг, проверка на этичность и достоверность
* формирование, систематизация и разметка обучающих данных для улучшения качества моделей
* внедрение и оптимизация RAG-систем, включая интеграцию векторных баз данных (Pinecone, FAISS) и оценку проведение A/B-тестирования промптов, моделей и подходов к генерации
* разработка и поддержка базы знаний для LLM, включая актуализацию контента
* обеспечение мониторинга работы AI-систем, выявление проблемных зон и в разных этапах работы системы
* написание автотестов для проверки стабильности и качества систем на каждом этапе
* создание инструкций и рекомендаций по использованию AI в различных сценариях
* мониторинг трендов в области AI, оценка новых инструментов и технологий.### Требования:
* опыт от 1 года в prompt-инжиниринге или в разработке AI-агентов
* глубокое понимание LLM (GPT, Llama 2, BERT) и опыт работы с их API
* умение калибровать параметры генерации (temperature, top-p, guidance и другие)
* знание методов: zero-shot, few-shot, chain-of-thought.
* навыки программирования на Python (pandas, API), базовое владение Git.
* опыт работы с моделями ChatGPT, LLama, Qwen, DeepSeek и их аналогами
* опыт работы с Langchain
* знание SQL
* опыт работы с ИИ-инструментами
* умение структурировать документацию и визуализировать процессы.### Условия:
* комфортный современный офис рядом с м. Кутузовская
* работа из офиса с возможностью работать удаленно один день в неделю
* корпоративный спортзал и зоны отдыха
* уникальную систему обучения Сбера для профессионального и карьерного развития
* программу адаптации и помощь руководителя на старте
* расширенный ДМС и льготное страхование для семьи
* гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ
* подписка Прайм с возможностью использования на трех близких
* вознаграждение за рекомендацию друзей в команду Сбера
* корпоративную пенсионную программу.