Ищем Senior Data analyst в команду разработки прикладных сервисов СберБизнес.
В рамках нашего проекта мы реализуем задачи по увеличению вовлечённости клиентов ДБО с использованием технологий искусственного интеллекта и автоматизируем ключевые процессы бизнеса с помощью передовых инструментов GenAI.
Вас ждёт захватывающая работа в дружной команде профессионалов, ориентированных на применение лучших практик гибкой разработки (Agile). Проект успешно внедрён в промышленную эксплуатацию и ежедневно поддерживает критически важные процессы цифрового банкинга.
Наша цель — не просто автоматизация, а создание мультиагентной системы с точной маршрутизацией запросов клиентов. Система семантически различает сотни смежных бизнес-сценариев, извлекает критическую информацию и подключает профильные GenAI-инструменты для выполнения операций.
Но самое интересное ещё впереди! Мы постоянно расширяем функциональность сервиса, улучшая пользовательские сценарии и повышая эффективность внутренних процессов. Присоединяйтесь к команде, где ваш вклад станет частью истории успеха одного из крупнейших финансовых институтов страны.
Обязанности
- разрабатывать и внедрять кастомные метрики оценки ответов агентов: точность, полнота, непротиворечивость (включая LLM-as-a-judge).
- Проводить структурный анализ ошибок (error analysis): выявлять паттерны галлюцинаций, сбоев логики, деградации качества.
- планировать и проводить A/B-эксперименты: сравнивать версии промптов, архитектур агентов и модели; интерпретировать результаты.
- генерировать синтетические датасеты (диалоги, запросы, эталонные ответы) для тестирования и улучшения агентов.
- искать слабые места в работе агентов, вырабатывать и обосновывать решения по их устранению.
- формализовывать требования к качеству и передавать метрики в команду глобального мониторинга платформы.
- готовить аналитические отчёты и презентовать команде выводы: не просто цифры, а конкретные рекомендации.
- работать с ad-hoc запросами: оперативно доставать данные, проверять гипотезы, разбирать инциденты.
Требования
- хорошее знание математической статистики, теории вероятностей и дизайна экспериментов (A/B-тесты, статзначимость).
- опыт работы аналитиком данных от 1 года.
- продвинутое знание SQL.
- уверенный Python для анализа и визуализации данных (pandas, NumPy, SciPy, matplotlib).
- опыт проведения исследований: проверка гипотез, оценка результатов, формулировка actionable-выводов.
- понимание устройства мультиагентных систем или сложных LLM-пайплайнов (оркестрация, цепочки вызовов, RAG).
Как преимущество
- понимание принципов работы рекомендательных или ранжирующих систем и методов их оценки.
- знакомство с Big Data-стек (Hadoop, Spark).
- опыт работы с Git, bash/Linux, инструментами разработки (Jira, Confluence).
- опыт в банковской сфере или fintech-проектах.
- опыт работы с векторными базами данных.
- опыт работы с LLM-фреймворками для оркестрации агентов (LangChain, AutoGen, CrewAI, LlamaIndex).
- системный опыт промпт-инжиниринга: управление структурой ответа (JSON), цепочками рассуждений, длиной контекста.
Условия
Что мы предлагаем:
- удобный офис на Кутузовском пр-кт д. 32к1.
- гибридный формат работы.
- регулярный пересмотр заработной платы и возможность получения годовой премии.
- доступ к более чем 400 образовательным программам СберУниверситета.
- программу адаптации и поддержку наставника на первых этапах работы.
- расширенную медицинскую страховку (ДМС) и выгодные условия страхования для членов семьи.
- ипотечные программы для сотрудников.
- бесплатные подписки СберПрайм+ и бонусы партнёров.
- вознаграждения за рекомендации кандидатов.