Backend/Platform Developer в команду LLM Platform

LLM Platform — единая точка входа для работы с LLM в Яндексе. Мы помогаем командам безопасно, прозрачно и эффективно использовать LLM в продуктах, внутренних сервисах и бизнес-процессах. Откликайтесь, если вам интересно строить не просто продуктовые фичи, а платформу масштаба крупной компании.Разработка системы управления квотами
Эта система должна позволять: * Задавать и контролировать квоты на разные типы запросов * Управлять лимитами на уровне пользователей, команд, сервисов, namespace и бизнес-юнитов * Предоставлять аналитику менеджерам и владельцам продуктов * Реализовывать биллинг и cost allocation по бизнес-юнитам * Предоставлять супервайзерам интерфейс для управления квотами внутри своих namespace Интеграции с LLM-провайдерами и внутренними моделями
Нужно развивать единый API для работы с разными моделями и провайдерами: * Подключать LLM-провайдеров и собственные инференсы * Унифицировать форматы запросов и ответов * Разрабатывать механизмы маршрутизации запросов между моделями * Учитывать стоимость, доступность, latency, лимиты и требования безопасности * Поддерживать конфигурацию моделей, namespace, теги и политики доступа Безопасное использование данных
LLM-платформа должна помогать командам использовать LLM без риска утечки чувствительной информации. Поэтому вам предстоит: * Проектировать и реализовывать механизмы безопасной передачи данных в публичные модели * Разрабатывать фильтры, политики и алгоритмы обработки запросов * Участвовать в проектировании решений для защиты внутренних данных * Интегрироваться с внутренними системами контроля, аудита и доступа Сбор и извлечение данных из веб-источников
Также вы можете выполнять задачи, связанные с получением структурированных данных из внешних веб-источников: * Разрабатывать системы, чтобы автоматизировать извлечение данных с сайтов * Анализировать HTML-, JavaScript-приложения, сетевые запросы и API * Строить надёжные пайплайны сбора, нормализации и обработки данных * Разрабатывать инструменты для работы с динамическими веб-приложениями Больше о бэкенде в Яндексе — в канале Yandex for Backend* Занимались backend-разработкой на Go на промышленном уровне * Понимаете принципы построения распределённых систем * Проектировали API и интеграции между сервисами * Умеете работать с высоконагруженными сервисами, очередями, базами данных и кешами * Понимаете observability: метрики, логи, трассировка, алерты * Аккуратны в вопросах безопасности данных и разграничения доступа * Готовы разбираться в предметной области LLM, токенов, моделей, провайдеров и лимитов* Работали с LLM API и AI-инфраструктурой * Разрабатывали платформенные сервисы * Строили quota management, rate limiting, billing или cost allocation систем * Имеете опыт web scraping / web crawling / data extraction * Анализировали веб-приложения, API и сетевой трафик