27暑期

一、自我介绍二、项目深度拷问一（多模态相关项目）1. 项目中针对图文模态对齐问题，具体采用了哪些技术方案解决？2. 若图纸类视觉内容在文本中无任何对应描述，模型如何依托视觉特征实现精准内容召回？3. 项目向量数据库Milvus中，选用了哪类索引算法，选择该算法的核心依据是什么？4. 针对专业术语出现语义偏移的问题，除了混合检索方案，是否尝试过Embedding模型微调、Adapter适配等优化方式？具体落地思路是怎样的？三、项目深度拷问二（Agent对话/画像项目）1. 当外部测评工具返回的原始数据格式，与大模型输入预期格式不匹配时，如何实现数据格式的自动化映射？2. 向量库检索出的用户长期画像数据，与当前实时会话状态产生冲突时，整套系统的处理逻辑和解决方案是什么？3. 如何避免模型回复过度依赖检索到的外部知识，导致回答生硬、缺乏共情能力，提升对话自然度？四、AI Agent核心技术原理1. 对比思维链（CoT），ReAct范式在模型与外部环境交互过程中，核心解决了哪些痛点问题？2. 详细阐述大模型实现函数调用（Function Call）的完整流程，模型是如何将自然语言语义转化为标准化结构化参数的？3. 实际开发过程中，如何判断一个任务适合采用固定Workflow流程，还是自主决策型Agent来实现？五、Agent记忆与检索优化1. 详细讲解Agent系统中长短期记忆的设计逻辑，在长时对话场景下，如何实现上下文信息的动态压缩与选择性遗忘？2. 在Agent系统架构中，RAG检索获取的外部知识，是如何精准输入给模型，同时避免无关知识对模型输出产生干扰的？3. 解释重排序（Rerank）技术的定义，它在Agent检索链路中，对提升模型最终决策准确性起到哪些关键作用？六、多Agent与人机协作1. 单Agent处理复杂长周期任务时，引入多智能体（Multi Agent）架构的核心优势有哪些？2. Multi Agent系统中的路由（Router）节点，依据哪些规则和逻辑，将任务分发给对应的子Agent？3. 什么是人在回路（Human-in-the-loop）机制？在Agent系统开发中，如何合理设计人工审批断点，保障系统运行可靠性？七、系统评估与性能优化1. 有哪些量化评估方式，可以衡量一套Agent系统的优劣？2. 除模型生成质量外，Agent系统还需要重点关注哪些维度的评估指标？3. 针对Agent多步推理过程中产生的响应延迟问题，可落地的优化方法有哪些？4. 随着大模型上下文窗口持续扩容，传统RAG技术是否会被完全替代？阐述你的核心观点及理由。