ML/AI Engineer (LLM, RAG, Agentic Tools)

We are looking for a specialist who will be responsible for the development and maintenance of a complex AI-powered search system built on top of a large interactive knowledge base. The system includes tool calling and agentic behavior that interact with internal tools and multiple types of storage: vector databases for semantic search, document-oriented databases for full-text search, as well as relational and graph databases for lookup by specific identifiers. The search interface is built as an LLM-powered chat that supports natural language queries and returns well-grounded conclusions, recommendations, and links to primary sources.

The candidate will be responsible for designing and implementing the full LLM-powered search pipeline, including orchestration, reasoning, reranking, tool calling, handling tool outputs, validating results, and generating final user-facing responses.

We expect the candidate to:
Have hands-on commercial experience working with vLLM in self-hosted environments, including model optimization on H100/H200 GPUs, with a solid understanding of GPU architecture principles and cache behavior under production workloads.
Have a deep understanding of the RAG concept and a proven track record of successfully deploying similar solutions in production.
Have worked with Haystack, LlamaIndex, LangChain, or similar frameworks, and understand the core differences between them.
Have experience using MCP and working with LLMs that call external tools and services.
Have strong Python skills, including architectural principles, design patterns, multithreading, asynchronous programming, modern testing practices, and experience operating systems under load (monitoring, memory optimization, telemetry).
Have experience working with document-oriented, relational, and vector databases, including an understanding of index types and the appropriate use cases for each.

It would be a plus if you have:
Experience building or maintaining knowledge bases, AI-powered reporting systems, or chatbots with large context windows.
Experience training or fine-tuning LLMs or compact models for domain-specific tasks.
Practical DevOps experience: CI/CD, Kubernetes, Helm, ArgoCD.
Experience developing OCR- and Vision-Language-based systems for processing unstructured data.
Experience in data engineering: understanding of ETL/ELT processes, working with orchestrators (Airflow, Temporal, Prefect), and distributed computing systems (Ray, Spark).
Experience working with Elasticsearch, MongoDB, PostgreSQL, Qdrant/Milvus, Neo4j, and other database systems.
Understanding of cybersecurity processes and modern approaches to data protection.

We offer a fully remote work format on our own product, which uses state-of-the-art technologies and is focused on the public sector. The company has the status of being critically important to the Armed Forces of Ukraine. If needed, we provide military deferment and the necessary office equipment.

––––––––––––––––––––––––––––Українською––––––––––––––––––––––––––––

Шукаємо фахівця, який буде відповідати за розробку та супровід комплексної AI-powered пошукової системи на основі великої інтерактивної бази знань. У системі реалізовано tool calling та agentic behaviour, що працюють із внутрішніми інструментами та різними типами сховищ: векторними базами для семантичного пошуку, документоорієнтованими для повнотекстового пошуку, а також реляційними та графовими базами для пошуку за конкретними ідентифікаторами. Інтерфейс пошуку побудовано у форматі LLM-powered чату, який підтримує запити natural language і повертає аргументовані висновки, рекомендації та посилання на першоджерела.

У зону відповідальності кандидата входитиме проєктування та впровадження повного пайплайну LLM-powered пошуку, включно з orchestration, reasoning, reranking, tool calling, обробкою відповідей інструментів, валідацією результатів та формуванням фінальних відповідей для користувача.

Ми очікуємо, що кандидат:
Має практичний комерційний досвід роботи з vLLM у self-hosted середовищах, включно з оптимізацією моделей на GPU H100/200, розумінням принципів GPU-архітектур та поведінки кешу під продакшн-навантаженням.
Глибоко розуміє концепцію RAG та має досвід успішного впровадження подібних рішень у продакшені.
Працював з Haystack / LlamaIndex / LangChain або аналогічними фреймворками та орієнтується в принципових відмінностях між ними.
Має досвід використання MCP та роботи з LLM, які викликають зовнішні інструменти й сервіси.
Володіє Python на високому рівні: архітектурні принципи, шаблони проєктування, багатопоточність, асинхронність, сучасні практики тестування, а також досвід експлуатації систем під навантаженням (моніторинг, оптимізація пам'яті, телеметрія).
Має досвід роботи з документоорієнтованими, реляційними та векторними базами даних, включно з розумінням типів індексів і відповідних сценаріїв застосування.

Буде плюсом:
Досвід створення або підтримки баз знань, систем генерації звітів на базі AI, розробка чатботів із великим контекстним вікном.
Досвід навчання або fine-tuning LLM чи компактних моделей для специфічних задач.
Практичний досвід у DevOps: CI/CD, Kubernetes, Helm, ArgoCD.
Досвід розробки систем на основі OCR та Vision-Language моделей для обробки неструктурованих даних.
Досвід у data engineering: розуміння ETL/ELT-процесів, робота з оркестраторами (Airflow, Temporal, Prefect) та системами розподіленого обчислення (Ray.io, Spark).
Досвід роботи з Elasticsearch, MongoDB, PostgreSQL, Qdrant/Milvus, Neo4j та іншими СУБД.
Розуміння процесів кібербезпеки та сучасних підходів до захисту даних.

Пропонуємо повністю віддалений формат роботи над власним продуктом, який використовує найсучасніші технології та орієнтований на державний сектор. Компанія має статус критично важливої для Збройних сил України. За потреби надаємо бронювання та необхідну офісну техніку.