- 个人简历
- 努力超越自己,每天进步一点点
- 姓 名: 逗号简历
- 年 龄: 29
- 性 别: 男
- 籍 贯: 深圳
- 现居地: 深圳
- 工作年限: 1–3年经验
- 电 话: 189-0000-0123
- 邮 箱: caoyue@email.com

3 年大模型预训练经验,专注基座模型的训练稳定性与吞吐。独立负责 34B 稠密模型预训练稳定性,通过数据过滤 + 梯度裁剪 + 学习率重调将 loss spike 从平均每天数次降到基本消除。主导并行策略调优配合 FlashAttention 与激活重计算,将训练 MFU 从约 38% 提升到 52%;负责 万亿级 token 去重与配比升级,参与上下文从 4K 扩到 32K。此前有分布式训练集群调度与 NLP 基础模型训练的落地经验,对大规模训练基础设施有实操理解。
- 2022-04 ~ 至今
- XX科技(大模型基座团队,员工3000+)
- 大模型预训练算法工程师
训练稳定性: 独立负责一个 34B 稠密模型预训练的稳定性,针对反复出现的 loss spike,定位到是少量脏样本 + 学习率偏高叠加,用数据侧过滤 + 梯度裁剪 + 学习率重调的组合把 spike 频率从平均每天数次降到基本不再出现
落地了断点续训和坏 batch 自动跳过机制,把因异常中断导致的算力浪费明显减少,千卡训练的有效利用率提上来了
吞吐与并行优化: 主导了这个模型的并行策略调优(张量并行 + 流水并行 + 序列并行的组合),配合 FlashAttention 和激活重计算的取舍,把训练 MFU 从约 38% 提升到 52%,同样算力下训练周期明显缩短
排查并修复了流水并行下的一个 bubble 偏大问题,调整了 micro-batch 切分
预训练数据: 负责过一版预训练语料的去重和配比升级,处理了 万亿(T)级 token,把重复数据和低质网页比例压下来,配比调整后中文和代码的下游评测都有正向
长上下文: 参与把基座的上下文长度从 4K 扩到 32K,做了 RoPE 外推 + 长文本数据的续训,长文本任务的效果达标且短文本能力基本无损
- 2021-07 ~ 2022-03
- YY科技「YY科技(AI 基础架构公司,员工800+)」
- 分布式训练工程师
参与 NLP 基础模型的分布式训练,负责 64 卡集群的训练任务调度与故障恢复,集群有效利用率从 70% 提升至 85%
优化数据加载管道,通过预取与混合精度训练将单 epoch 训练时间缩短约 25%
协助完成千亿 token 级别预训练语料的去重与清洗流程,处理了 500GB+ 原始文本数据
- 2019 ~ 2022
- 华中科技大学
- 计算机科学与技术(硕士)
- 2015 ~ 2019
- 华中科技大学
- 软件工程(本科)
训练稳定性:loss spike 定位与恢复、梯度裁剪、断点续训、坏 batch 跳过
分布式训练:Megatron-LM、DeepSpeed,张量/流水/序列并行调优,MFU 优化
吞吐优化:FlashAttention、激活重计算、显存与通信优化
预训练数据:万亿级 token 去重与配比、质量过滤
长上下文:RoPE 外推、长文本续训
框架:PyTorch(熟练)、CUDA 基础、Megatron 源码级改动
英语:CET-6,能读英文论文和框架源码