阿里国际站-智能基准与评测-Accio
Alibaba Group · Hangzhou ·
- Seniority
- Lead
- Experience
- 5+ years
- Company size
- 1000+
Leads LLM/Agent evaluation work for Alibaba International's Accio: designing in-house benchmark data pipelines (log mining, scenario synthesis, adversarial generation, dedup), building a high-concurrency evaluation platform with code/API/web sandboxes, standardizing public benchmarks like SWE-bench and WebArena, and defining expert annotation rubrics.
1. In-house Benchmark数据流水线构建：设计并搭建符合产品分布的 In-house Benchmark 的端到端数据流水线（从业务 Log 挖掘、场景合成、对抗生成、难度分级到数据去重与防污染清洗），针对复杂规划、长程任务、多模态及领域推理等核心能力，建立 Hard-case / Badcase 持续沉淀机制。
2. 评测平台与基础设施构建：搭建高可用、高并发、模块化的大模型与 Agent 评测平台，支持inhouse benchmark和public benchmark引入，构建支持代码执行、API 模拟、网页环境交互的沙盒隔离与回放机制等
3. 权威 Public Bench 引入与标准化：持续追踪学术界与工业界最新的权威评测基准（如 SWE-bench、GAIA、τ-bench、WebArena、HumanEval、MMLU-Pro 等），完成标准化接入与低成本复现。
4. 外部专家标注：专家标注规范与 Rubric 制定，针对复杂 Agent 任务与主观性场景，制定科学、严谨、细粒度的多维评估准则（Rubric/Guideline），降低标注歧义。
1. 专业与技术背景：计算机科学、软件工程或相关专业本科及以上学历，5 年以上大模型/算法/NLP/数据工程相关研发或评测经验，有 Tech Lead 经验者优先。
2. 工程、数据与分析能力：具备大数据/高质量数据集处理经验，熟悉常见agent benchmark，具备benchmark构建和数据合成经验，能够带领具备工程+算法团队的能力
3. 业务理解与协作管理能力：能快速切入复杂业务场景，善于与业务团队进行技术/业务对齐，具备出色的沟通协作与项目推动能力，能高效连接内部业务团队、模型算法团队、工程平台团队以及外部标注专家，形成统一的质量共识。
4. 加分项：有头部科技公司或知名 AI Lab 大模型评测平台、数据合成、Agent 沙盒等经验。