DevOps Engineer at 阿蒂瑪有限公司 – Neihu District | Jobyssey

工作內容 (Job Description)

雲端基礎設施管理 (AWS & AliCloud)：負責跨雲平台的維護與架構優化，包含 AWS EC2/EKS 與阿里雲 ECS/ACK 的資源調配與高可用性設計。
LLM 私有化部署與推論優化：負責將開源大語言模型（如 Llama、DeepSeek、Qwen）部署至 GPU 實例或 K8s 叢集，運用 vLLM**、**Ollama 或 TGI 等推論引擎優化 High-Throughput / Low-Latency。
GPU 資源排程與成本控管 (FinOps)：針對 GPU 資源（如 NVIDIA A10G/A100/H100、Spot / Reserved Instances）進行排程管理與動態擴展（Auto Scaling），極大化 VRAM 與算力利用率並節省成本。
LLM API 網關與權限控管：建立及維護 LLM Gateway（如 LiteLLM、Nginx Proxy），實施 API Key 授權管理、Rate Limit (限流)、Token 計費與日誌追蹤。
CI/CD 與 IaC 自動化：使用 Terraform/Ansible 及 CI/CD Pipeline（GitLab CI / GitHub Actions）自動化部署雲端架構、模型權重下載與模型服務更新。
跨雲網絡與 DevSecOps：規劃 AWS 與阿里雲之間的 VPC / VPN 專線串接，將模型服務鎖在私有網絡內（Private Subnet），確保模型數據與用戶對話資安合規。
監控與告警 (Observability)：監控 GPU 溫濕度/使用率、VRAM 顯存佔用率、LLM 首字延遲 (TTFT)、吞吐量 (TPS) 及系統日誌，建立即時排障機制。

擅長工具 (Tech Stack & Tools)

雲端平台 (Cloud Systems)： AWS (EC2 GPU 實例如 g5/p4, EKS, VPC, S3, CloudWatch)、**Alibaba Cloud** (ECS GPU 實例, ACK, VPC, OSS)
LLM 部署與推論框架 (LLM Engines)： vLLM, Ollama, TGI (Text Generation Inference), LiteLLM (Gateway/Proxy)
容器與編排 (Containers & K8s)： Docker, NVIDIA Container Toolkit (nvidia-docker), Kubernetes (EKS / ACK), Helm
基礎設施即程式碼 (IaC)： Terraform, Ansible
CI/CD 工具： GitLab CI, GitHub Actions, Jenkins
監控與日誌 (Monitoring)： Prometheus, Grafana, DCGM (NVIDIA Data Center GPU Manager), ELK Stack
程式與腳本語言 (Scripting)： Python (PyTorch/CUDA 環境配置經驗), Bash

【必備條件】

【加分條件】

學歷要求 (Education Requirement)

Explore more jobs