【26届校招】-大模型算法工程师/青年研究员（智能体方向）-安全可信中心

团队介绍： 上海人工智能实验室安全可信团队以Make Safe AI 为核心技术愿景，致力于大模型、具身、智能体及多智能体系统的安全与可信研究，关注模型推理能力与对齐机制的深入理解与优化。我们推动前沿技术在可信推理、对齐方法、攻击与防御、评测体系等方向的创新落地，成果多次发表于顶级学术会议，包括ACL杰出论文、ICLR Oral等。如果你对大模型安全、可信对齐及未来AI能力的潜在风险怀有热情，欢迎加入我们，共同推动从“让AI 变得安全”向“打造安全的AI 转变”，支持人工智能朝着有益、安全、公平方向健康有序发展。 职位描述 你将收获：直面自主智能带来的安全挑战；参与构建下一代智能体安全防护体系；守护亿级用户数字与物理世界安全 岗位职责： 智能体安全评测技术研究：设计和搭建业界领先的智能体安全评测基准，建立一套科学、可复现的安全评估方法论，涵盖指令安全、工具调用安全、记忆安全、多智能体协同安全等多个维度。 智能体安全攻防技术研究：研究智能体的特有攻击向量，包括但不限于：指令注入/越狱、规划路径劫持、工具调用滥用/劫持、长期记忆污染等；探索多智能体系统中的安全风险，如共谋攻击、信息污染扩散、中心化节点失效等群体智能安全问题。研究特定智能体特有安全漏洞（如具身智能体的传感器欺骗），开发针对上述风险的自动化攻击脚本与安全评测框架，进行红蓝对抗演练。 智能体安全加固与防御体系构建：研究并应用Agent对齐技术与鲁棒性规划算法，确保智能体行为符合安全与伦理规范。开发智能体行为异常检测与溯源模型，实时发现并响应潜在的安全入侵。"

"任职要求： 硬性条件：本科及以上学历，计算机科学/网络安全/人工智能相关专业；AI安全领域经验，精通大模型架构（Transformer/BERT/GPT系列）；具备Agent开发实战经验（LangChain, MetaGPT等）；精通Python，熟悉主流AI框架（PyTorch/TensorFlow/JAX） 攻防能力要求：攻击与评估侧：至少掌握两类Agent实战攻击技术：指令注入/越狱、恶意工具调用、规划逻辑操纵；具备设计和执行Agent安全红蓝对抗、自动化模糊测试或安全基准评测的能力。 防御与加固侧：具备以下至少一个领域的实战经验：工具调用安全监控、模型价值对齐、对抗样本监测。 加分项： 在NeurIPS/ICLR/CCS等顶会发表AI安全相关论文；参与过主流Agent项目（如MetaGPT、camel框架）；有CTF/AI安全竞赛获奖经历；熟悉OWASP Top 10 for LLM等安全标准。 "