集团安全部-安全大模型评测与增强算法高级专家-北京&杭州
Alibaba Group · Beijing; Hangzhou ·
- Experience
- 1+ years
- Company size
- 1000+
Alibaba's Group Security department in Beijing or Hangzhou seeks a senior algorithm expert to build LLM evaluation systems for security use cases — combining LLM-as-Judge, automated evaluation model training, and human review — plus Agentic evaluation environments for attack/defense tasks, feeding evaluation insights back into training data to strengthen the model.
1、负责建设面向安全场景的大模型评测体系，涵盖通用能力评测与安全业务场景定制评测，构建基于LLM-as-Judge、自动化评测模型训练与人工评估相结合的多维度评测框架，保障评测结果的全面性和可靠性
2、建设基于真实安全攻防场景的Agentic评测环境，构建面向安全长程任务的Agentic评测，提升大模型在安全场景的Agentic能力
3、跟踪业界主流安全大模型评测方法与Benchmark动态，持续优化内部评测体系，对标行业前沿能力水平，发布开源评测集
4、深度参与大模型迭代过程中的知识与评测驱动优化，建设“评测归因分析→知识短板发现→训练数据生产→模型训练增强→评测反馈验证”的高效自进化闭环，以评测数据反哺训练，用领域知识增强训练数据，持续提升模型在安全场景中的能力表现
1、计算机、人工智能、信息安全或相关专业硕士及以上学历，1年以上大模型研发相关工作经验
2、精通大模型基本原理与训练方法，了解常见攻击手法、防御机制、日志分析或漏洞原理，有安全业务经验优先
3、熟悉安全主流Benchmark与评测框架，有Rubrics评测、Arena对战评测等评测方法实践经验者优先
4、具备优秀的结构化思维和数据分析能力，能够从评测数据中提炼模型短板、定位根因、驱动优化方向，善于沟通和跨团队协作
5、动手能力强，具备优秀的工程落地实现能力，熟悉Agentic评测沙箱搭建者优先
6、在大模型、AI或安全顶会（ICLR/NeurIPS/ACL/EMNLP/USENIX Security等）以第一作者身份发表过论文优先
7、加分项：有大模型数据合成或评测经验优先