- 个人简历
- 努力超越自己，每天进步一点点
- 姓 名： 逗号简历
- 年 龄： 25
- 性 别： 男
- 籍 贯： 上海
- 现居地： 上海
- 工作年限： 应届毕业生
- 电 话： 133-0000-0127
- 邮 箱： tiankai@email.com
计算机科学与技术硕士应届生，大模型偏好对齐与强化学习方向，发表 CCF-B 类会议论文一篇（学生一作）。大厂对齐实习负责偏好数据构造与质量控制，产出约 8 万对偏好数据并训练奖励模型；主导一轮 DPO 迭代，内部对话质量评测相对基线胜率从约 48% 提到 61%。另一段参与 SFT 数据研究与指令跟随、安全评测集搭建。
- 2022 ~ 2025
- 上海交通大学
- 计算机科学与技术（硕士）
本科：同济大学 软件工程，GPA 3.8/4.0
研究方向：大模型偏好对齐与强化学习，1 篇 CCF-B 类会议论文（学生一作）
主修课程：深度学习、自然语言处理、强化学习、最优化
- 2024-06 ~ 2024-12
- XX（大模型对齐团队，员工万人+）
- 大模型对齐算法实习生
在对齐团队，参与通用对话模型的偏好对齐（RLHF/DPO）迭代
负责偏好数据的构造与质量控制：设计了多模型多温度采样 + 规则过滤 + 人工/模型双重打分的流程，产出约 8 万对偏好数据，把标注不一致率明显压下来
训练并迭代了一个奖励模型（RM），把 RM 在偏好判别上的准确率做到内部可用水平，并用它做了拒绝采样微调
主导了一轮 DPO 迭代，模型在内部对话质量评测上相对基线的胜率从约 48% 提到 61%，同时通过约束把复读和啰嗦的问题压下来
- 2023-07 ~ 2023-11
- YY研究院（AI 研究机构）
- 研究实习生
参与指令微调（SFT）的数据研究，做了指令多样性和难度配比的消融
负责评测集搭建，把指令跟随和安全的评测流程做成了可复用脚本
- CCF-B 会议论文（学生一作）
一个关于偏好数据构造对 DPO 稳定性影响的方法，负责设计、实验和写作
- 开源贡献
给某大模型对齐训练库提交过被合入的 PR（补充了一个 DPO 变体的实现和示例）
- 课程项目与竞赛 3
课程里用 TRL 完整跑过 SFT → RM → PPO 的 RLHF 全流程（7B 模型），并对比了 PPO / DPO / GRPO 的效果与稳定性
偏好对齐：偏好数据构造、奖励模型训练、DPO/RLHF(PPO)、拒绝采样
SFT 与数据：指令数据配比、SFT/LoRA、评测集搭建
对齐效果：对话胜率评测、防复读/防啰嗦、有用性与安全平衡
框架：PyTorch、HuggingFace Transformers / TRL / PEFT，vLLM
强化学习：PPO / DPO / GRPO 原理与实践，KL 与 reward hacking 处理
英语：雅思 7.0，能读写英文论文、看社区源码与 issue