题解 | #浙江大学用户题目回答情况#

1、知道 GPT 和 BERT 这种模型的基础框架是怎样的吗BERT 和 GPT 都是基于 Transformer 的预训练模型，但结构和任务目标不一样。BERT 一般采用 Transformer Encoder 堆叠起来的双向编码结构，在预训练时主要做 MLM，也就是随机遮盖一部分 token，让模型根据上下文去恢复被遮掉的词，因此它更适合理解类任务，比如分类、匹配、抽取、检索表示学习。GPT 采用 Transformer Decoder 堆叠起来的单向自回归结构，在预训练时做 next token prediction，也就是根据前面的 token 预测下一个 token，因此它更适合生成...

28届2本非科班大概很快要找实习了，应该是偏ai应用开发方向

秋招0offer，估计简历有问题   

今年的金三银四感觉有点淡，岗位数量没有想象中那么多，很多公司也变得更谨慎了。投出去的简历不少，但面试机会并不算多。就业环境确实比以前紧张一些，不过也不用太焦虑，慢慢准备、持续投递，总会遇到合适的机会。