AI Infra工程师(芯片平台) - 芯片研发
ByteDance · Shanghai; Beijing ·
团队介绍:芯片平台是一个覆盖从逻辑综合到芯片投片、封装设计与仿真、回片测试、量产全流程的统一化芯片设计平台,提供支持多工艺、多项目的自动化设计流程及设计服务。平台整体划分为硅前、硅后、基础资源管理、IP 定制四大业务板块。
通过硅前 - 硅后全流程覆盖、IP 自主定制、基础资源统一管理的架构,芯片平台实现了从 RTL 到量产的端到端设计能力,支持多晶圆厂、多工艺节点,持续通过自动化提效与质量保障,为公司业务提供坚实的支撑。
1、全面统筹AI算力集群、网络存储、异构算力调度、安全运维、成本、性能治理全栈AI底座建设;
2、搭建企业级LLMOps工程化体系,涵盖模型版本管理、模型微调流水线、模型评测、模型灰度发布、推理服务编排、模型生命周期全流程管控。
1、熟练掌握GPU算力集群构建,有集群(千卡)构建和运营经验;
2、掌握各类模型部署,熟悉各类主流推理加速框架(vLLM SGLang等),有实际部署调优经验;
3、熟悉各类API router的调度策略,有调优GPU集群负载均衡,提升集群利用率的经验;
4、了解分布式KV Cache存储技术和offloading的经验,有定位模型性能异常和调优能力;
5、熟悉TCP/IP、IB、RoCE v2高速无损网络架构,有实际组网和Debug经验,能定位和处理网络瓶颈,有自研/二开模型网关的相关经验,熟悉token资源配额管控、计量计费、模型性能评测;
6、3年以上AI Infra/算力平台/LLMOps架构设计经验,有企业大模型基建、AI算力集群落地实战经验者优先。