一个给游戏NPC开发对话的实习岗位，好像还挺有意思。面试官人很好，不过我nlp方面的东西做的很少，还停留在RNN上面TT。他也没问啥，问了我了不了解GPT和BERT这些的底层原理，有没有看过相关论文。（怎么公司现在也要看论文了，离谱啊！）不了解就没问了。没给我啥压力。看这个面试官的精神状态，这公司应该还行，应该不卷。面的很快，几分钟就结束了TT。GPT底层原理：先了解一下prompt：https://www.bilibili.com/video/BV1Ug411N7KD/ https://zhuanlan.zhihu.com/p/399295895 prompt（提示），是为了解决大模型过大，fine train时需要过多资源的问题而产生的。fine train需要根据不同的任务对模型进行训练，每个任务都要另存一份参数，需要硬件资源训练，且占用存储资源。而prompt会根据提示词的不同，预测or生成不同的词或文本。prompt learning：固定深层网络的参数（frozen）,只训练浅层的参数。zero-shot。最后就是chatgpt的样子。QA实现了大一统。bert的思想时预训练+fine tuning，这样在模型不够强，参数不够多的时候是要这么做的。但是参数够多，模型够强，能够学到所有的知识的时候，就只需要通过prompt去激活模型的能力，让它找到已存储的知识。gpt的思想就是让下游任务和预训练任务"长得一样"，这样就不需要fine tuning。gpt在chatgpt出现以前效果不如bert的原因就是参数不够多，模型不够强大，而gpt做的又是zero shot，效果肯定不好。追加：二面问了一些啥忘了，大概就是transformer七七八八的。过了。4k，早10晚9。不过有点远。