- 2024-07 ~ 2025-01
- XX(大模型公司,员工1000+)
- 大模型评测实习生
在基础模型评测组,参与中文能力和数学推理两个方向的评测工作
负责数学推理评测集的整理和清洗,收集、改写了约 800 道题目,做了一轮去污染核对(用 n-gram 重叠检查题目有没有可能进过训练集),去掉了疑似泄露的约 5%
用 LLM-as-judge 搭了一套自动评分脚本,按预先定好的 rubric 给模型答案打分;我抽了 200 条自己人工标注做对照,把 judge 和人工的一致率从最初的约 72% 调到了 85%(主要是把 rubric 写细、加了打分示例)
跑了 3 个内部模型版本的横向对比,产出了一张能力维度的对比表,帮团队定位到当时的模型在多步推理上明显偏弱
学着做了错误归因:把答错的题按错误类型(计算错、步骤漏、题意理解错)分了类,发现"计算错"占了近一半