保研了，现在在小厂实习，大四下还能找中大厂的日常实习吗？

ragflow v0.23.1 发布：Memory 稳定性全面增强，RAG 图像与表格理解升级，新增 GitHub / GitLab / Asana / IMAP 数据源1. 文档与说明改进• 修复文档中的错误说明• 在环境变量配置中新增默认密码的安全警告• 更新本地部署 LLM 的图示说明• 补充 Docker 构建中可选代理参数• 修正文档拼写错误• 新增 RAG 和 Agent 上下文引擎说明文档• 文档版本统一更新为 v0.23.1• 新增文档分类文件• 移除健康检查相关文档• 文档页面主题适配优化2. Memory 与时间一致性修复• 修复从 ES 初始化 Memory 大小时的问题• 重构时间戳一致性逻辑• 修复时间戳与 datetime 不一致的问题• 使用异步任务保存 Memory• 在删除 Memory 消息前判断索引是否存在• 修复 API Key 删除 Bug3. RAG 与解析能力增强• 修复 MDX 文件解析问题并正式支持• 修复数据集解析错误• 修复批量解析问题• 优化图像和表格上下文提取逻辑• 重构 metadata 提取规则以提升精度• 文档解析配置变更时，自动删除分块图片• 修复数值型 metadata 在 meta_filter 中导致的 TypeError4. Agent 与 Chat 相关修复与增强• 修复聊天页面存在错误信息时，后续消息引用显示异常的问题• 修复会话引用初始化错误，防止对话错位• 新建 Agent 的 begin 节点显示 undefined 的问题已修复• 支持在 Agent 页面和 Chat 页面中，仅选择使用相同 embedding 模型的知识库• 在 begin 节点增加显示模式设置• 修复消息选择删除逻辑问题5. 数据源与连接器• 新增 Asana 数据源接入及配置能力• 新增 IMAP 数据源接入、配置及同步能力• 新增 GitHub 数据源连接器• 新增 GitLab 数据源连接器• 修复 S3 数据源参数错误• 修复 S3 数据源页面样式问题6. 系统与管理后台优化• 管理后台用户列表支持按邮箱排序• 管理状态面板中不再显示未使用组件状态• 管理端分页在数据刷新后自动回到第一页的问题已修复7. 安全性与稳定性提升• 使用 ast.literal_eval 替换不安全的 eval 调用• 修复代码扫描安全告警中权限配置问题8. SDK 与 API 相关修复• 确保 rm_chunk API 中变量正确初始化• 移除 webhook 中输出 jsonschema 的代码• 修复应用知识库配置的 LLM 无法生效的问题9. 前端与 UI 修复• 修复动态翻译 key chunk.docType 显示异常• 修复 IDE 警告• 修复数据重新拉取后分页重置异常10. 架构与工程调整• 重构部分代码逻辑• 文档解析器在处理完成后正确关闭字节流• 更新模型提供方配置• 更新发布流程配置• 修复索引和数据删除流程中的边界问题

1.实习介绍2.介绍transformer架构3.transformer架构为什么要切分为多头？4.讲一下attention的具体计算步骤5.计算attention的softmax之前为什么要除根号d_k6.介绍一下transformer位置编码；还了解别的位置编码吗？7.如果在transformer中，把K去掉，变成Q*Q*V，这样会有什么问题吗？假如不考虑解码器，只考虑编码器内部的attention操作的话，这样会有什么问题？8.transformer是encoder-decoder架构，而GPT是decoder-only架构，为什么会演变成这样一种形式？为什么把encoder给舍弃掉了？9.为什么像GPT这种生成式任务，不同时利用encoder-decoder？10.transformer的FFN层为什么会逐渐演变成MOE层？11.moe层的负载均衡具体是怎么做的？偏置项b是怎么训练的？你怎么保证有一个机制让偏置项得到变换？照理来说，偏置项b应该放到损失函数中，这应该怎么设计？12.做agent有哪些框架？13.做agent的开发范式有哪些？14.lora微调的核心原理是什么？15.大模型幻觉了解吗，怎么缓解大模型幻觉？16.手撕，最长递增子序列

1.CV 和 NLP 的区别与联系2.在Transformer 框架下，CV、NLP、语音是否可能“大一统”3.大模型训练：数据清洗、处理、配比的方法4.大模型训练：如何更容易提升模型性能5.什么是大模型的幻觉，如何缓解6.为什么会有复读问题，业内有哪些解决办法7.工具与 Agent：大模型工具调用的实现方式8.工具与 Agent：Agent 的组成部分及实现方法9.开放题：你在大模型训练中遇到过的困难，如何解决？10.代码题：实现一个Tokenizer

1. Encoder与Decoder中注意力机制存在哪些差异？2. 注意力机制的计算流程是怎样的，为何在计算时要除以根号下Dk，掩码注意力机制又是怎样达成的？3. 阐述GQA、MQA、MLA的原理分别是什么。4. 位置编码的必要性体现在哪里，为何选用sin_cos函数进行位置编码？5. 询问之前实习中Agent的设计思路，以及所提创新方法的实现方式。6. 提及使用DeepSpeed开展SFT训练，请说明DeepSpeed ZeRO Stage 1 - 3的不同之处，以及何种情况下使用FSDP更为合适。7. 询问Agent工具的设计情况，是否采用workflow形式。8. 了解哪些Agent开发框架，像langchain和LlamaIndex，它们的核心应用场景有何区别？9. 针对数据输入输出格式，为保证大模型输出稳定json格式，采取了哪些措施？10. 若Agent推理API需要低延迟响应，会从哪些方面开展系统级优化工作？11. 代码考察：给出LeetCode第34题，在排序数组中查找元素的第一个和最后一个位置