混元多模态-User Simulator in Multimodal Interaction

【岗位职责】

课题背景： 目前多模态交互LLM主要目标是响应用户query，但是对于模拟用户交互行为相关的研究目前还很少。本课题希望探索交互数据的对偶使用（Dual Use of Interaction Data）：同一批多模态交互数据，既用于训练Bot模型，也用于训练User Simulator，从而构建一个自洽的多模态交互闭环训练环境，最终通过自博弈（Self-Play）强化学习实现Bot能力的持续自我进化。

核心挑战： Bot的行为受任务目标约束，具有相对明确的优化方向；而用户行为天然具有高度随机性与个体差异：

同一意图可通过截然不同的语音表达方式传递（语速、情绪、措辞均可变）

用户的多轮行为策略受历史交互、个人习惯、当前情绪状态共同驱动，难以用确定性模型刻画

用户可能出现非理性行为（如重复提问、突然转移话题、语义模糊表达），这些行为对Bot的鲁棒性至关重要，但在训练数据中往往欠采样

训练一个user simulator model能真实模拟用户面对多模态交互模型时候的行为。

基于训练得到的user simulator，构建多模态交互的训练环境，基于强化学习进行模型训练

【任职要求】

学历与专业： 来自计算机科学、人工智能、电子信息、信号处理等相关专业的博士/硕士同学，具备扎实的机器学习理论基础，有多模态方向研究经验者优先。

技能要求：精通 PyTorch 框架与 Python 编程；深度掌握 Transformer 架构及主流 MLLM（如 LLaVA, Qwen-Audio, Qwen-Omni） 原理；熟悉 PPO、GRPO 等强化学习算法及 DeepSpeed/Megatron 分布式训练工具；有 CoT 推理或 RLHF 实战经验者尤佳。

软性素质： 具备较强的问题分解与独立研究能力；能在模糊问题定义上给出清晰的拆解思路和方法。

【加分项】

此课题同时招聘应届实习生和低年级实习生。

【技术方向】

多模态、视觉、语音