微信安全-智能体安全研究

课题背景：

课题挑战：

• 1、智能体安全性评估智能体具有多轮交互和工具调用等特性，传统单轮评测难以覆盖真实场景。亟需构建统一评测框架与标准化测试任务，帮助发现智能体潜在安全风险，指导安全机制设计。
• 2、面向智能体的无侵入式安全外挂直接修改智能体框架或模型成本高且兼容性差。因此需要设计低耦合、可插拔的安全机制，在不改变系统架构的情况下，对工具调用和环境交互进行实时安全检测与干预，并兼顾系统效率与任务完成率。
• 3、智能体模型的内生安全对齐随着智能体自主规划与工具使用能力增强，仅依赖外部防护难以覆盖复杂决策过程中的潜在风险。因此需要在模型层面引入内生安全对齐，使智能体在规划与行动过程中具备主动识别和规避风险的能力，从源头提升系统安全性。

具体工作：

• 1、参与针对智能体的自动化红队测试，以及智能体安全评估体系的构建；
• 2、设计针对主流智能体的外挂式安全机制；
• 3、探索如何提升智能体和大模型在复杂任务规划、工具使用和环境交互中主动识别潜在风险的能力。

• 1、包含但不限于计算机、信息工程、模式识别、人工智能、自动化、软件工程、电子工程、统计学、应用数学、物理学/量子计算、信息安全、信号与信息处理等专业的博士和优秀硕士
• 2、熟练掌握大语言模型的基础算法以及训练、推理、应用，熟悉TensorFlow，PyTorch等至少一个深度学习框架
• 3、较强的工程实现能力，熟悉 Shell/Python/Go 至少一种编程语言。
• 4、有顶会论文发表是加分项