大模型推理工程师

推理服务部署与优化：负责大语言模型、多模态模型在生产环境中的推理部署与性能优化，基于 vLLM、SGLang、TensorRT-LLM 等主流推理框架，建设并优化推理服务能力；
推理链路性能调优：负责模型推理全链路优化，包括推理加速、批处理调度、KV Cache 优化等，持续提升吞吐、降低延迟、减少 GPU 资源成本；系统性降低硬件延迟瓶颈，保障高并发下线上服务稳定性；
系统架构与稳定性保障：搭建和优化大模型推理服务架构，实现模型热加载、动态扩缩容、流量隔离、负载均衡等能力，保障线上高并发、高可用、低抖动；负责线上推理问题排查、性能瓶颈分析、稳定性治理；
性能评测与指标体系：建设大模型推理性能评测体系，设计 TTFT、TPOT、吞吐/Goodput、并发、错误率等核心指标；持续优化算力利用率与服务 SLA；
成本核算与资源优化：理解多GPU、多节点、NVLink/NVSwitch、InfiniBand/RoCE 等硬件互联形态，基于真实输入输出长度、并发和缓存命中率设计负载模型；将技术指标换算为每百万 Token 成本和可售产能；
供应商性能验收：独立复现供应商性能结果并定位差异，确保部署方案达到预期性能目标。

基本条件
本科及以上学历，计算机、人工智能、软件工程、电子信息等相关专业；
具有 2-5 年生产级大模型推理、模型服务、AI 基础设施或性能工程经验；优秀应届系统方向博士亦可；
专业技能
推理框架深度实践：亲自部署、优化或深度验收过 LLM Serving；熟悉 vLLM、SGLang、TensorRT-LLM、LMDeploy 等主流推理栈，有实际部署、性能调优或二次开发经验；
性能优化技术：熟悉 PagedAttention、Prefix Cache、Speculative Decoding、量化、PD 分离等推理优化技术；具备多机多卡推理、系统优化经验；
分布式与底层能力：理解多GPU、多节点、NVLink/NVSwitch、InfiniBand/RoCE 及容器环境；熟悉 NCCL 等通信库；了解 TP/PP/EP 等分布式推理方案；
性能分析与评测：能熟练使用 Nsight Systems/Compute、PyTorch Profiler 等性能分析工具；能独立完成压测、性能调优与问题复盘；
成本与商业视角：能根据真实负载设计性能模型，将技术指标换算为每百万 Token 成本和可售产能；
编程能力：熟练掌握 Python、C/C++，具备良好的工程实现能力。
软性素质
具备优秀的跨团队协作能力，能与算法、产品、运维等团队高效配合；
对推理性能工程有高度热情，追求极致优化；
结果导向，具备极强的自驱力与问题解决能力。
加分项
有 vLLM、SGLang、TensorRT-LLM 等框架的二次开发或开源贡献经验；
有 PD 分离、Expert Parallel、KV Cache 优化等实战经验；
有 CUDA/Triton Kernel 开发或 GPU 架构级性能调优经验；
有从 0 到 1 搭建生产级推理服务平台的经验；
有大规模线上推理服务优化经验。