1、知道 GPT 和 BERT 这种模型的基础框架是怎样的吗BERT 和 GPT 都是基于 Transformer 的预训练模型，但结构和任务目标不一样。BERT 一般采用 Transformer Encoder 堆叠起来的双向编码结构，在预训练时主要做 MLM，也就是随机遮盖一部分 token，让模型根据上下文去恢复被遮掉的词，因此它更适合理解类任务，比如分类、匹配、抽取、检索表示学习。GPT 采用 Transformer Decoder 堆叠起来的单向自回归结构，在预训练时做 next token prediction，也就是根据前面的 token 预测下一个 token，因此它更适合生成...

28届2本非科班大概很快要找实习了，应该是偏ai应用开发方向

引流：腾讯 阿里字节 美团

1. 个人介绍2. 实习拷打3. RAG 的优化，项目中 Agent 的流程RAG 的核心链路是：文档处理 -> 建索引 -> 检索召回 -> 重排筛选 -> 上下文拼接 -> 大模型生成。它的优化也主要围绕这几步展开。先说文档处理。原始文档不能直接粗暴切块，要先做清洗，比如去掉无效页眉页脚、目录、乱码、重复段落。然后做合理切分。切分太大，会带入噪声；切分太小，上下文会断。常见做法是按段落、标题层级、语义边界切 chunk，并适当设置 overlap。再说检索阶段。RAG 不一定只用向量检索，通常会把 BM25、向量召回、关键词召回混合起来。向量召回解决语义相似，...