大模型评测工程师-Data（北京/上海）

1、负责大模型评测体系建设：负责将业界SOTA大模型（含多模态大模型）部署到内部评测环境，基于多领域评测集完成规模化跑测，验证并校准模型评估指标，保障评测流程的准确性与可复现性；
2、开源评测集适配与集成：调研并引入业界主流开源评测集（覆盖文本、多模态与Agent三类，以多模态与Agent评测为主），将其适配、接入到内部模型评测体系，统一评测指标口径与执行流程，保障评测的覆盖度、针对性与可复现性；
3、Agent能力评测：针对Agent Based Bench开展评测，支持多轮交互、工具调用、Sandbox环境与轨迹记录，分析任务完成情况与失败原因，评估模型的Agent能力边界；
4、评测结果自动化分析：设计算法与工具，实现评测结果的自动化量化分析、异常定位及根因追溯，输出结构化分析报告，为模型选型与迭代提供数据支撑；
5、Agent RL环境与推理优化（可成长方向）：探索面向一般性Agent RL的Environments Scaling Up，构建可扩展的交互式环境（Environments）、无偏奖励信号（Unbiased Reward Signal）与评估（Evaluation）；并参与模型推理性能优化探索（如量化、KV Cache优化、批处理调度等）；以上均为探索方向，提供相应技术支持与成长空间。

1、本科及以上学历，计算机科学、人工智能、数学、统计学等相关专业；
2、扎实掌握机器学习、深度学习核心理论，熟悉大模型底层原理，了解常见大模型(含多模态大模型)的特性与主流评测方法；
3、具备扎实的编程能力，熟悉PyTorch等深度学习框架，能独立完成算法实现与调试；熟悉大模型部署与推理流程；
4、熟悉多模态大模型评测技术，有图文等跨模态评测经验；了解Agent评测(多轮交互、工具调用等)的基本方法；
5、具备良好的逻辑思维、问题解决能力与沟通协作意识，能清晰表达技术思路，高效推进跨团队协作，具备一定的文档撰写能力。

加分项
1、熟悉主流开源评测Benchmark与Agent Based Bench(如BFCL、BrowseComp等),有评测集接入或自动化评测工具开发经验者优先；
2、有大模型推理优化经验，熟悉vLLM、SGLang、TensorRT-LLM等推理框架，或有量化、并行推理、算子优化、Agent RL环境构建相关实践者优先。