ML Engineer (ML/LLM Ops)

합류하게 될 팀에 대해 알려드려요

• 토스뱅크의 ML Engineer (ML/LLM Ops) 는 ML Platform Team에 속해 있어요.
• ML Platform Team은 토스뱅크의 머신러닝과 LLM이 실제 금융 서비스 안에서 안정적으로 활용될 수 있도록, ML/LLM 플랫폼을 직접 만들고 운영하는 팀이에요.
• 우리는 모델을 만드는 것에서 끝나지 않고, 모델이 학습·검증·배포·서빙·모니터링되는 전 과정을 플랫폼화해요. ML Engineer, ML Modeler, Data Scientist, Data Engineer, Product Team과 함께 토스뱅크의 다양한 금융 서비스에 머신러닝과 LLM을 더 빠르고 안전하게 적용할 수 있도록 돕고 있어요.
• MLflow, Airflow, JupyterHub, Kubeflow, Feature Store, Triton Inference Server, vLLM/SGLang/TensorRT-LLM 기반 서빙 환경, LLM Gateway, Vector Database 등 ML/LLM 서비스를 위한 핵심 플랫폼을 다루고 있어요.
• 금융 도메인 특성상 안정성, 확장성, 보안, 개인정보 보호, 감사 가능성이 매우 중요해요. 단순히 기술을 도입하는 것을 넘어, 실제 운영 환경에서 신뢰할 수 있는 ML/LLM 플랫폼을 만드는 경험을 할 수 있어요.

합류하면 함께할 업무예요

• ML 챕터 내 공통 기술을 개발하고, 토스뱅크의 ML/LLM 플랫폼을 함께 고도화해요.
• MLflow, Airflow, JupyterHub, Kubeflow 등 사내 머신러닝 플랫폼을 구축하고 운영해요.
• ScyllaDB 클러스터 기반의 Feature Store를 운영하고, ML 서비스가 안정적으로 데이터를 활용할 수 있는 환경을 만들어요.
• Triton Inference Server, vLLM, SGLang 등 다양한 서빙 기술을 활용해 ML/LLM 모델 서빙 환경을 개발하고 최적화해요.
• LLM Gateway, Workflow, Vector Database 등 LLMOps 플랫폼을 구축하고 운영해요.
• 기존 On-Premise 중심의 머신러닝/LLM 인프라를 AWS, GCP 등 클라우드 환경으로 확장하고 고도화해요.
• EKS, GKE 등 Kubernetes 기반 클라우드 환경에서 ML/LLM 워크로드를 안정적으로 운영할 수 있도록 플랫폼을 설계하고 개선해요.
• On-Premise와 Cloud가 함께 동작하는 Hybrid ML/LLM 인프라를 설계하고 운영해요.
• GPU 기반 학습/서빙 워크로드의 확장성, 가용성, 성능, 비용 효율을 높이기 위해 클러스터 운영, 오토스케일링, 모니터링 체계를 개선해요.
• Data Engineer, ML Modeler, Data Scientist, Product Engineer 등 다양한 동료들과 협업하며 ML/LLM 기술이 실제 금융 서비스에 안정적으로 적용될 수 있도록 만들어요.

이런 분과 함께하고 싶어요

• Kubernetes 위에서 서비스를 개발, 배포하고 운영해본 경험이 있으신 분이 필요해요.
• AWS, GCP 등 클라우드 환경에서 서비스를 설계, 구축, 운영해본 경험이 있으시면 좋아요.
• EKS, GKE 등 Kubernetes 기반 클라우드 환경에서 서비스를 운영하거나 트러블슈팅해본 경험이 있으시면 좋아요.
• On-Premise와 Cloud를 함께 사용하는 Hybrid 환경에 대한 이해 또는 경험이 있으시면 좋아요.
• MLflow, Airflow, JupyterHub, Kubeflow 등 ML 플랫폼을 구축하거나 운영해본 경험이 있으시면 좋아요.
• 대규모 트래픽 또는 ML/LLM 워크로드를 안정적으로 운영하기 위한 확장성, 가용성 설계 경험이 있으시면 좋아요.
• GPU 기반 워크로드를 운영하거나 성능/비용 최적화를 해본 경험이 있으시면 좋아요.
• vLLM, SGLang, Triton Inference Server, TensorRT-LLM 등 모델 서빙 프레임워크를 활용해본 경험이 있으시면 좋아요.
• LLM Gateway, Workflow, Vector Database 등 LLMOps 플랫폼을 구축하고 운영해본 경험이 있으시면 좋아요.
• Apache Cassandra, ScyllaDB 등 분산 데이터베이스를 운영한 경험이 있으시면 좋아요.
• Terraform, Helm, ArgoCD 등 IaC/배포 자동화 도구를 활용해 인프라 운영을 자동화해본 경험이 있으시면 좋아요.
• Prometheus, Grafana, OpenTelemetry 등으로 서비스와 인프라의 상태를 관측하고 개선해본 경험이 있으시면 좋아요.
• 최신 ML/LLM 기술에 관심이 많고, 다양한 상황에서 최적의 솔루션을 찾을 수 있는 문제해결능력과 원활한 커뮤니케이션 역량을 갖춘 분을 찾고 있어요.

이력서는 이렇게 작성하시는 걸 추천해요

• 그동안 해오신 업무 중 임팩트가 컸던 프로젝트를 구체적으로 적어주세요.
• 단순히 사용한 기술 목록만 나열하기보다, 어떤 문제를 발견했고, 어떤 구조로 해결했고, 그 결과 어떤 변화가 있었는지 알려주시면 좋아요.
• 머신러닝 플랫폼, 모델 서빙 플랫폼, Feature Store, LLMOps 플랫폼 등을 구축하거나 운영한 경험이 있다면 자세히 적어주세요.
• Kubernetes, GPU, 분산 데이터베이스, 모델 서빙, LLM Gateway, Vector Database 등 운영 중 마주했던 장애나 성능 문제를 어떻게 해결했는지도 적어주세요.
• 실제 서비스에 적용해 개선한 경험이 있다면 처리량, 지연 시간, 비용, 장애율, 개발 생산성, 배포 리드타임 등 가능한 범위에서 결과를 수치로 표현해 주세요.
• ML/LLM 관련 팀과 협업하며 공통 플랫폼이나 표준을 만들었던 경험이 있다면, 본인의 역할과 의사결정 과정을 함께 적어주세요.
• 외부 공개가 민감한 내용은 제외하셔도 괜찮아요. 다만 문제의 성격, 해결 방식, 본인이 만든 기술적 기여가 드러나면 좋아요.

토스뱅크로의 합류 여정

• 서류접수 > 라이브 코딩 테스트 > 직무 인터뷰 > 문화적합성 인터뷰 > 레퍼런스 체크 > 처우협의 > 최종합격 및 입사

꼭 확인해주세요

• 이력서 및 제출 서류에 허위 사실이 발견되거나 근무 이력 중 징계사항이 확인될 경우, 채용이 취소될 수 있어요.
• 토스뱅크 취업규칙 제8조(채용결격)에 따라 결격사유 해당자는 채용이 취소될 수 있어요.
• 장애인 및 국가보훈대상자는 지원 시 관련법에 따라 우대하고 있어요.

동료의 한마디

• "폭발적인 성장을 원하는 ML Engineer에겐 최고의 회사예요."
  • 자유롭게 일하고, 업무에 몰입할 수 있는 최고의 환경을 제공하는 회사라고 생각해요. 다방면으로 훌륭한 동료들과 함께 큰 성장을 할 수 있는 팀을 찾고 계신 분들이 계시다면, 정말 좋은 선택지 중 하나라고 생각합니다!
  • Data Engineer, ML Modeler, Data Scientist 등과 협업하여 세상에 없는 스마트한 금융 서비스를 직접 만들고 싶다면!