1、知道 GPT 和 BERT 这种模型的基础框架是怎样的吗BERT 和 GPT 都是基于 Transformer 的预训练模型，但结构和任务目标不一样。BERT 一般采用 Transformer Encoder 堆叠起来的双向编码结构，在预训练时主要做 MLM，也就是随机遮盖一部分 token，让模型根据上下文去恢复被遮掉的词，因此它更适合理解类任务，比如分类、匹配、抽取、检索表示学习。GPT 采用 Transformer Decoder 堆叠起来的单向自回归结构，在预训练时做 next token prediction，也就是根据前面的 token 预测下一个 token，因此它更适合生成...

完全是个门外汉，项目都是急匆匆赶出来的，求求佬们看看吧😭😭

记得以前有个新闻，大意是说有个女孩子以她的成绩考入北大清华没问题。但她从小参加各种社会活动，深受曾留学法国的母亲“生命的意义在于体验最多而不是最好”影响，决定放弃高考，申请包括哥大在内的大学，并获得成功。新闻下面附上了一张那个女孩子的照片，还很清秀，于是这则新闻就获得大量转载，一片褒扬之声。我没有任何的仇富仇美仇优心理，不过在这条新闻下面我看到的最好的评论还是：我没有皇城根下的家，也没有留过洋的爸妈。我只能咬着牙拼命学习，在千军万马中挤破头，换来一个国内普通的大学，而我还要拼命努力，才能换来一个普通的人生。但这条新闻把千万个我们这种普通家庭却从没放弃努力的孩子，当成了傻瓜。    在上海，复旦...