大模型系统评测工程师

1. 根据真实业务和研究问题搭建评测场景，还原任务链路、执行条件、输入输出和完成标准。
2. 实现和维护场景所需的环境、数据、工具、MCP 接口、harness、评估器和模型适配，并管理其版本与依赖。
3. 建设评测运行能力，支持任务编排、沙盒隔离、资源调度、超时控制、失败重试和批量运行。
4. 统一记录模型请求、运行参数、执行轨迹、工具调用、日志、指标、reward 和评测产物，支持回放与复现。
5. 建设统一的模型对照和榜单管理能力，保证不同模型、版本和工作流能够在明确的控制条件下比较。
6. 建立评测工程的稳定性和维护机制，支持回归检测、场景变更影响追踪和运行问题定位。

1. 具备扎实的编程基础，熟练使用 Python，掌握 Go、Java 或其他后端语言者优先。
2. 具备平台工程、工作流编排、自动化测试或大规模任务运行经验，能够独立开发和维护生产系统。
3. 熟悉 Linux、容器、网络和分布式系统，理解任务调度、资源隔离、失败恢复和可观测性。
4. 具备较强的问题定位能力，能够结合日志、指标、运行轨迹和错误样本排查评测链路问题。
5. 对大语言模型、Agent、工具调用和模型评测有基本理解，能够将场景定义转化为可执行实现。
6. 具备良好的工程质量意识、文档能力和跨团队协作能力。
加分项

• 参与过大语言模型、Agent 或代码智能体的 benchmark、自动评测或榜单系统建设；
• 有 Harbor、SWE-bench、MCP、沙盒或其他评测编排框架的使用和建设经验；
• 有模型服务适配、工具调用链路、运行轨迹采集或结果回放经验；
• 有评测系统的版本治理、回归检测、稳定性建设或成本优化经验。