Обязанности:
• Обеспечивать сквозную реализацию и операционную устойчивость процессов A/B тестирования в компании: управлять запуском, мониторингом и закрытием экспериментов по портфелю, контролировать соблюдение методологических стандартов (дизайн тестов, выбор метрик, пороги значимости, поправки на множественные сравнения, правила интерпретации результатов) на всех этапах жизненного цикла;
• Организовывать и поддерживать постоянную коммуникацию с бизнес подразделениями: собирать потребности, помогать формулировать гипотезы и целевые эффекты, согласовывать метрики успеха и допустимые риски, транслировать методологические ограничения и сроки, адаптировать статистические выводы под бизнес язык для принятия решений;
• Обобщать и систематизировать кейсы по направлениям бизнеса: фиксировать типовые постановки задач, лучшие практики, повторяющиеся ошибки и узкие места; формировать библиотеку решений и рекомендаций, актуализировать их с учётом продуктовых изменений, сезонности и регуляторных требований;
• Управлять бэклогом хаба A/B тестирования: приоритизировать задачи и эксперименты по бизнес ценности и технической реализуемости, контролировать сроки исполнения, отслеживать риски и отклонения, своевременно эскалировать проблемы и предлагать альтернативные подходы (в т. ч. предварительные тесты с синтетическими клиентами, прокси метрики, поэтапные запуски);
• Обеспечивать валидность и надёжность результатов: контролировать корректность сплитования трафика и данных, выявлять риски смещения (selection bias, подглядывания и др.), согласовывать допущения и ограничения с аналитикой, продуктом и комплаенсом;
• Формировать и предоставлять регулярную отчётность по портфелю экспериментов: статусы, результаты, экономический эффект, риски и рекомендации, адаптировать формат отчётов под разные аудитории (команда, бизнес, топ менеджмент), обеспечивать прозрачность и воспроизводимость выводов;
• Развивать внутренние компетенции и культуру работы с экспериментами: проводить обучение и менторинг сотрудников, ревью дизайнов тестов, поддерживать базу знаний (шаблоны заявок, чек листы, матрицы рисков, инструкции), внедрять единые стандарты и практики по всей организации.
Требования:
• Опыт в роли руководителя направления/команды A/B тестирования либо в сильной аналитической роли с фокусом на экспериментах; подтверждённые кейсы масштабирования практик тестирования и внедрения единых стандартов в кросс функциональной среде;
• Глубокое понимание математической статистики для A/B: мощность, MDE, доверительные интервалы, поправки на множественные сравнения, последовательные и байесовские тесты; умение объяснять эти концепции неаналитикам, сохраняя точность и практическую применимость;
• Практический опыт операционной работы с ограничениями бизнеса и регуляторики: сегментация клиентов, комплаенс риски, этика экспериментов, работа с чувствительными данными и ограничениями по воздействию на отдельные группы;
• Владение инструментами и стеком: SQL (продвинутый уровень), Python для расчётов и симуляций, BI системы (Power BI/Tableau/Superset), платформы A/B тестирования; понимание архитектуры данных, ETL/ELT процессов и интеграций;
• Опыт управления бэклогом, сроками и рисками: приоритизация задач, контроль исполнения, эскалации, выстраивание прозрачных процессов взаимодействия между командами;
• Сильные навыки коммуникации и фасилитации: умение вести диалог с бизнесом, договариваться между командами с разными интересами, транслировать ограничения и риски, защищать методологические решения перед стейкхолдерами, формировать единые правила игры;
• Понимание жизненного цикла продуктового эксперимента: от гипотезы и метрик до внедрения и пост анализа; опыт работы с синтетическими клиентами и предварительными тестами (pre test), если есть — плюс.
Условия:
• Стабильную работу в одном из крупнейших банков страны
• Конкурентную заработную плату, соцпакет.
• Условия для роста и развития (в т.ч. конференции, тренинги, внутренние программы развития).
• Дружный коллектив единомышленников;
• Передовой стек технологий, высокопроизводительное оборудование.
• Возможность решать разнообразные прикладные задачи с выводом в промышленную эксплуатацию, возможность существенно влиять на результат (в т.ч. в бизнес-смысле) и способы его достижения (вплоть до внесения изменений в архитектуру).
• Квартальный бонус по результатам работы;
• ДМС, страхование жизни;
• корпоративное обучение