Аналитик-разработчик в группу новых поисков
Yandex · Москва ·
- Category
- Software engineering
- Company size
- 1000+
Yandex is hiring an analyst-developer for its 'new searches' group in Moscow to build a platform where search services can be launched or improved with a single prompt. The work focuses on curating evaluation datasets from logs, designing markup, and defining offline metrics for accepting new rankings; core stack is Python and SQL with strong algorithms and statistics.
В Яндексе много разных поисков. Мы создаём платформу, в которой поиски можно будет запускать или улучшать одним промптом. Ищем в нашу команду аналитика-разработчика. Откликайтесь, если уверенно пишете на Python и SQL, разбираетесь в алгоритмах и структурах данных и умеете проверять гипотезы.Датасеты
Вы будете придумывать, как агентам из логов любого сервиса собрать честный и воспроизводимый набор для оценки: что считать репрезентативным; как не потерять сложные случаи и как понять, что набор вообще способен различать хорошее ранжирование и плохое. Разметка
Вам предстоит понять, как переводить продуктовый заказ в разметку и какими внешними знаниями должны обладать агенты для хорошей разметки. Кроме того, важно определить, как контролировать качество семантического слоя, из которого берутся эти знания, а также как обеспечить устойчивость разметки к внешним факторам. Приёмка
Вам нужно будет определять, по каким признакам вообще можно принять новое ранжирование: какие офлайн-метрики предсказывают онлайн-эффект; как построить иерархию метрик для сервиса, который видишь впервые; как отличить настоящее улучшение от артефакта разметки; как извлекать идеи для будущих улучшений из реальных логов. Больше о бэкенде в Яндексе — в канале Yandex for Backend* Уверенно пишете на Python и SQL * Разбираетесь в алгоритмах и структурах данных * Знаете математическую статистику и умеете проверять гипотезы * Понимаете, почему важно всегда смотреть на данные* Работали с поиском или рекомендациями * Интересуетесь ML-аналитикой * Знаете, как работать с кодинг-агентами * Умеете общаться, ясно излагать мысли, понимать и учитывать мнение коллег, убеждать
Вы будете придумывать, как агентам из логов любого сервиса собрать честный и воспроизводимый набор для оценки: что считать репрезентативным; как не потерять сложные случаи и как понять, что набор вообще способен различать хорошее ранжирование и плохое. Разметка
Вам предстоит понять, как переводить продуктовый заказ в разметку и какими внешними знаниями должны обладать агенты для хорошей разметки. Кроме того, важно определить, как контролировать качество семантического слоя, из которого берутся эти знания, а также как обеспечить устойчивость разметки к внешним факторам. Приёмка
Вам нужно будет определять, по каким признакам вообще можно принять новое ранжирование: какие офлайн-метрики предсказывают онлайн-эффект; как построить иерархию метрик для сервиса, который видишь впервые; как отличить настоящее улучшение от артефакта разметки; как извлекать идеи для будущих улучшений из реальных логов. Больше о бэкенде в Яндексе — в канале Yandex for Backend* Уверенно пишете на Python и SQL * Разбираетесь в алгоритмах и структурах данных * Знаете математическую статистику и умеете проверять гипотезы * Понимаете, почему важно всегда смотреть на данные* Работали с поиском или рекомендациями * Интересуетесь ML-аналитикой * Знаете, как работать с кодинг-агентами * Умеете общаться, ясно излагать мысли, понимать и учитывать мнение коллег, убеждать