大模型推理框架研发工程师-上海/北京/深圳/杭州

在腾讯，后台开发工程师不仅是“又快又稳”的问题解决专家，更是生态共创者。你将与技术团队一同沉淀优质代码，让它成为我们共有的宝贵资产。在不同的业务场景和技术发展阶段，你的架构思维也将帮助更多协作团队拓展新的思考。我们也珍视你的挑战精神，同时欢迎你一起参与团队愿景、文化和产品方向的探讨。

1.研发及优化大模型推理引擎、PD分离推理调度系统，提升大规模分布式推理系统的整体效率；
2.支持主流GPU和异构AI芯片，优化大模型推理性能，打造极致性能成本优势。

1.熟练掌握C/C++、Python编程语言，具备良好的coding和调试能力；
2.熟悉主流大模型推理框架，如vllm，sglang，tensorrt-llm等，具备语言、多模态模型大规模部署和优化经验；
3.熟悉并行策略，如数据并行、流水线并行等，熟悉NVLINK、GPU RDMA通信者优先；
4.熟悉各类深度学习网络和算子底层实现细节，有实操经验优先；
5.熟悉主流开源模型及其架构特点，具备针对不同模型进行分析优化的能力优先；
6.具备GPU、AI芯片体系结构知识，熟悉芯片特性，具备系统性能分析和调优经验优先。