大模型分布式训练研究员

6 months ago

Beijing, China Lenovo Full time

Description and Requirements

岗位职责：1.负责深度学习大模型的分布式训练系统的架构设计与开发，优化模型训练效率和资源利用率；2.研究并实现基于GPU等高性能计算平台的大规模深度学习模型并行训练算法；3.对现有深度学习框架和分布式训练框架（如PyTorch、TensorFlow、DeepSpeed、Colossal-AI，megatron）进行深度定制和扩展，以满足大规模模型训练的需求；4.与算法团队紧密合作，解决在超大规模数据集上模型训练过程中的性能瓶颈问题；5.设计并实现模型训练监控系统，包括但不限于训练进度、资源占用情况、训练效果可视化等；6.持续跟踪最新的分布式训练技术发展趋势，将前沿研究成果应用于实际项目中。任职要求：1.计算机科学或相关专业硕士及以上学历，具有3年以上深度学习领域工作经验，有大型互联网公司或者AI实验室工作经验者优先；2.熟练掌握至少一种深度学习框架和分布式训练框架（如PyTorch、TensorFlow），并具备丰富的模型开发与训练经验；3.精通分布式系统原理，熟悉常见的分布式计算框架（如MPI、DeepSpeed、Colossal-AI、OneFlow），有大规模并行计算和分布式训练系统开发经验；4.具备良好的算法基础，对深度学习模型训练优化有深入理解和实践经验，包括但不限于梯度压缩、通信优化、异步训练等；5.有大模型分布式训练理论和实践经验，熟悉国内外主流基础大模型;6.具备优秀的分析和解决问题的能力，能够独立进行复杂问题定位与解决；7.对于计算机体系结构、操作系统、网络编程等相关知识有一定理解；8.英语读写能力强，能快速阅读英文文献和技术文档，追踪国际最新研究动态和技术趋势。加分项：1.在顶级会议或期刊（如NIPS, ICML, ICLR, JMLR等）发表过关于分布式训练或深度学习相关论文；2.参与过开源分布式训练项目，并有显著贡献。 Additional Locations : * China * China

  • 大模型训练系统优化高级研究员

    7 months ago

    Beijing, China Lenovo Full time

    Description and Requirements 岗位职责： 1. 负责设计高可用大模型训练容错系统，支持千亿大模型预训练 2. 负责大模型训练容错checkpoint优化，提升大模型checkpoint读写与恢复性能 3. 负责大模型弹性训练框架的研发 岗位要求： 1....

  • 微信NLP算法研究员(北京/深圳/上海)

    7 months ago

    Beijing, China Tencent Full time

    微信NLP算法研究员(北京/深圳/上海) 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 WXG 点击了解更多BG信息 技术 两年以上工作经验 更新于年05月17日 岗位职责 1.参与大规模 AI...

  • 大模型算法工程师

    7 months ago

    Beijing, China Tencent Full time

    大模型算法工程师 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 PCG 点击了解更多BG信息 技术 两年以上工作经验 更新于年03月28日 ...

  • 混元深度学习框架高级研发工程师(大模型预训练)

    7 months ago

    Beijing, China Tencent Full time

    混元深度学习框架高级研发工程师(大模型预训练) 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 TEG 点击了解更多BG信息 技术 五年以上工作经验 更新于年05月07日 岗位职责 ...

  • 混元大模型算法工程师

    7 months ago

    Beijing, China Tencent Full time

    混元大模型算法工程师 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 TEG 点击了解更多BG信息 技术 两年以上工作经验 更新于年05月29日 岗位职责 ...

  • 音频与语音算法研究员

    7 months ago

    Beijing, China Tencent Full time

    音频与语音算法研究员 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 TEG 点击了解更多BG信息 技术 两年以上工作经验 更新于年05月28日 岗位职责 ...

  • """AI系统互连仿真研究员:分布式AI训练和推理系统的大规模互连网络架构设计"""

    2 months ago

    Beijing, Beijing, China Lenovo Full time

    岗位职责1、负责分布式AI训练和推理系统的大规模互连网络架构设计;2、负责大规模AI互连网络的仿真场景和性能评价指标设计;3、负责大规模AI互连网络仿真系统的搭建、测试和验证工作;岗位要求1、全日制硕士以上学历,计算机科学与技术,通信工程,软件工程等相关专业;2、...

  • AI系统优化专家

    1 month ago

    Beijing, Beijing, China Lenovo Full time

    .Lenovo正在招聘高级研究员加入我们团队 薪酬: 250,000 - 300,000 CNY / 年 岗位职责:设计和开发高可用大模型训练容错系统,支持千亿大模型预训练进行大模型训练容错checkpoint优化,提升大模型checkpoint读写与恢复性能负责大模型弹性训练框架的研发...

  • QQ#多模态内容理解高级算法研究员#

    7 months ago

    Beijing, China Tencent Full time

    QQ#多模态内容理解高级算法研究员# 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 PCG 点击了解更多BG信息 技术 不限 更新于年06月02日 岗位职责 ...

  • LLM大语言模型实习生

    4 months ago

    Beijing, China Cummins Inc. Full time

    DESCRIPTION This position is not available in GPP database. Talent Acquisition team member will fill in the Posting description after intake meeting. RESPONSIBILITIES This position is not available in GPP database. Talent Acquisition team member will fill in the Posting description after intake meeting. QUALIFICATIONS The Cummins Data Science...

  • 广告大模型算法工程师（深圳/北京）

    7 months ago

    Beijing, China Tencent Full time

    广告大模型算法工程师（深圳/北京） 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 CDG 点击了解更多BG信息 技术 两年以上工作经验 更新于年05月24日 ...

  • SSV生成式人工智能工程师(模型微调和推理负责人)

    7 months ago

    Beijing, China Tencent Full time

    SSV生成式人工智能工程师(模型微调和推理负责人) 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 CDG 点击了解更多BG信息 技术 两年以上工作经验 更新于年05月23日 ...

  • 大数据与人工智能工程师

    7 months ago

    Beijing, China Haier Group Full time

    全部机会 / 智家定制生态圈 / 智家大脑平台 / 算法中心 / 大数据与人工智能工程师 机会编号：JD10184413 大数据与人工智能工程师 薪资面议 北京市 · 本科及以上 · 2年以上 2024-06-06 收藏 我要推荐 职责描述...

  • AI系统互连仿真高级研究员

    7 months ago

    Beijing, China Lenovo Full time

    Description and Requirements 岗位职责： 1、负责分布式AI训练和推理系统的大规模互连网络架构设计； 2、负责大规模AI互连网络的仿真场景、性能评价指标设计； 3、负责大规模AI互连网络仿真系统的搭建、测试和验证工作   岗位要求： ...

  • 机器学习高级后台研发工程师(推理平台方向)

    7 months ago

    Beijing, China Tencent Full time

    机器学习高级后台研发工程师(推理平台方向) 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 TEG 点击了解更多BG信息 技术 三年以上工作经验 更新于年05月24日 岗位职责 ...

  • 多模态资深算法工程师

    7 months ago

    Beijing, China Tencent Full time

    多模态资深算法工程师 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 PCG 点击了解更多BG信息 技术 两年以上工作经验 更新于年05月17日 岗位职责 ...

  • 机器学习后台开发工程师(广告模型平台)

    7 months ago

    Beijing, China Tencent Full time

    机器学习后台开发工程师(广告模型平台) 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 TEG 点击了解更多BG信息 技术 三年以上工作经验 更新于年05月29日 岗位职责 ...

  • QQ-AIGC文生图高级算法研究员

    7 months ago

    Beijing, China Tencent Full time

    QQ-AIGC文生图高级算法研究员 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 PCG 点击了解更多BG信息 技术 三年以上工作经验 更新于年06月02日 岗位职责 ...

  • 广告算法工程师（模型方向）(深圳/北京）

    7 months ago

    Beijing, China Tencent Full time

    广告算法工程师（模型方向）(深圳/北京） 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 CDG 点击了解更多BG信息 技术 三年以上工作经验 更新于年05月24日 ...

  • 读书产品部算法研究员

    7 months ago

    Beijing, China Tencent Full time

    读书产品部算法研究员 北京 分享 分享岗位 方式1:复制岗位链接 方式2:分享岗位海报 手机扫描二维码分享 收藏 WXG 点击了解更多BG信息 技术 两年以上工作经验 更新于年05月21日 岗位职责 ...