1、知道 GPT 和 BERT 这种模型的基础框架是怎样的吗BERT 和 GPT 都是基于 Transformer 的预训练模型，但结构和任务目标不一样。BERT 一般采用 Transformer Encoder 堆叠起来的双向编码结构，在预训练时主要做 MLM，也就是随机遮盖一部分 token，让模型根据上下文去恢复被遮掉的词，因此它更适合理解类任务，比如分类、匹配、抽取、检索表示学习。GPT 采用 Transformer Decoder 堆叠起来的单向自回归结构，在预训练时做 next token prediction，也就是根据前面的 token 预测下一个 token，因此它更适合生成...

😅😅😅😅

会议室里安静了几秒。 "你的意思是，现在的方案有问题？"架构师看着我，语气平静，但能感觉到空气里的压力。 我深吸一口气，打开了笔记本上的架构图："不是有问题，是我觉得可以更好。现在的方案是把所有请求都走主链路，但如果我们把读写分离，再加一层缓存预热机制，理论上能大幅降低核心服务的压力。" 这是实习第二个月，我第一次在技术评审会上发言。会议室里坐着七八个人，有架构师、技术经理，还有几个工作了好几年的senior。而我，只是个还在试用期的实习生。 "你做过压测吗？"旁边一个senior问。 "做了简单的本地验证，"我点...