1、知道 GPT 和 BERT 这种模型的基础框架是怎样的吗BERT 和 GPT 都是基于 Transformer 的预训练模型，但结构和任务目标不一样。BERT 一般采用 Transformer Encoder 堆叠起来的双向编码结构，在预训练时主要做 MLM，也就是随机遮盖一部分 token，让模型根据上下文去恢复被遮掉的词，因此它更适合理解类任务，比如分类、匹配、抽取、检索表示学习。GPT 采用 Transformer Decoder 堆叠起来的单向自回归结构，在预训练时做 next token prediction，也就是根据前面的 token 预测下一个 token，因此它更适合生成...

如图      

不过还是挺开心的hhh

1、自我介绍2、项目拷打3、介绍 DeepSeek 与 Manus，以及他们之间区别4、介绍 LLM Decoder-Only 架构Decoder-Only 架构本质上就是只使用 Transformer 里的 Decoder 结构，通过自回归的方式一个 token 一个 token 地往后生成内容。它的训练目标通常是 next token prediction，也就是根据前面的上下文预测下一个 token。它的关键点在于 Masked Self-Attention。所谓 masked，就是当前位置只能看到前面的 token，看不到后面的 token，这样模型才能按从左到右的方式学习生成。整体结...