千问办公-AI应用算法-杭州
Alibaba Group · Hangzhou ·
- Category
- AI engineering
- Experience
- 3+ years
- Company size
- 1000+
Builds and runs the evaluation platform for Alibaba's Qwen Office AI product: designing automated, end-to-end evaluation pipelines and benchmark datasets for models, AgentLoops and Skills, then using offline and online data to drive agent self-improvement and model-scheduling/pricing decisions. Core skills: Python/Java/Go, LLM evaluation benchmarks, agentic AI concepts.
1、负责千问办公评测平台建设，构建覆盖模型、AgentLoop、Skills多维度评测方案，设计落地高效、端到端、可量化的自动化评测Pipeline
2、结合业界最佳实践与 B 端办公真实业务场景，通过专家设计和数据合成等手段，动态构建高质量评测集和评估器
3、基于离线评测和在线观测数据，与产品、技术、运营、财务团队紧密协作，驱动Agent自进化迭代，参与设计高性价比的模型调度、Agent优化和定价策略
4、建立常态化竞品评测体系，对标行业头部产品，为产品方向和技术路线决策提供支撑
1、本科及以上，计算机科学、软件工程、人工智能、统计学等相关专业，3年以上应用算法/评测工作经验
2、扎实的数据工程能力，熟练使用 Python / Java / Go 中至少一门语言
3、熟悉主流 LLM 评测基准与方法（如 HumanEval、SWE-bench、MMLU、GSM8K 等），能结合B端业务场景进行评测方案适配与设计
4、具备AI评测或算法策略经验，熟悉 Context Engineering、ReAct、Function Calling、Tool Use、Planning 等核心概念，有端到端评测报告输出的实战经历
5、良好的数据分析与归因能力，基于评测和在线观测数据输出模型/Agent/skill改进策略，协同工程团队构建 Agent 自进化闭环
6、自驱力强，善于独立思考与跨团队协作，乐于总结分享，对 AI 产品质量有高标准追求