【基座大模型北斗实习】大模型架构研究

简介：大模型架构优化探索，算法工程协同设计，涉及到训练和推理的各类算法和工程策略探索落地。参与美团基座大模型项目，包含但不限于：
1、大模型高效架构设计探索（高效attention，moe架构等）。
2、预训练 / 后训练算法工程策略。
3、投机推理算法工程策略。
4、模型轻量化策略（剪枝，量化，稀疏，蒸馏，结构搜索等） 。
5、Agentic coding系统优化策略。

1、熟悉一些常用的深度学习框架和大规模训推框架（比如megatron，verl，vllm，sglang等等），在大模型上有训练和推理算法工程优化实际经验的优先；
2、熟悉机器学习和深度学习理论，具备扎实的编程能力，熟悉常见的主流大模型架构；
3、有大模型或机器学习相关顶会论文发表，特别是模型架构优化，训推策略相关的算法或工程论文优先。