机器人多模态交互研究工程师Research Engineer for Multimodal Interaction of Robots

1 month ago

杭州, 中国 北京蜜莱坞网络科技有限公司 全职 ¥360,000 - ¥720,000 合同
该职位来源于猎聘 岗位职责: 作为 机器人多模态交互研究工程师,你将负责构建基于大语言模型(LLM)的机器人多模态交互框架,让机器人能够综合 视觉、语音、动作 进行智能决策,包括但不限于: 1. 大语言模型(LLM)+ 机器人交互:研究 如何让 LLM 调度语音、视觉、动作工具,使机器人实现自然交互。 2. 视觉工
+ LLM 逻辑推理:让 LLM 通过视觉工
获取环境信息、解析人类动作、推理意图,并合理规划机器人响应。 3. 强化学习 + LLM 结合:研究 强化学习(RLHF)在多模态交互中的应用,优化 LLM 在不同场景下的调度策略。 任职要求 1. 计算机科学、人工智能、计算机视觉、自然语言处理、机器人控制等相关专业,硕士及以上学历(或优秀本科生)。 2. 熟练掌握 Pytorch、TensorFlow能够进行大模型微调、推理优化。 加分项: 1. 具备 LLM(GPT、LLaMA)、多模态融合(CLIP、Flamingo)、强化学习(RLHF) 之一者。 2. 具有良好的科研能力或工程落地经验,在机器人、计算机视觉、强化学习等领域发表过高水平论文(ICRA、ICLR、NeurIPS、CVPR、AAAI、IJCAI、IROS、RSS)者。 其他信息 行业要求:全部行业