【ai产品】1.基础模型概述：大语言模型

最近没更新，因为去干了件大事，我辞职啦！！！离职前，因为工作性质原因，确实各种内耗，严重影响心里健康了，这里离职后，发现不上班是真的爽，短期也没有找工作的打算了，也打算好好理一下我的职业或者说人生规划。这次还是先总结这段时间对ai方面的学习。

课程中，对于大模型的介绍，是按大模型从训练到评测的过程来安排的，包括：数据集、预训练、微调、强化学习、模型评测5个方面。

数据集方面，现在已有众多公开的数据集，如GLM-130B等，要求数据集高质量、大规模、丰富性。同时，需要对数据集进行评测，对于不同的数据类型（文字、图片、音频）有不同的标注方法。

预训练：预训练数据集的构建、效果评测

微调：其实主要是指令微调，因为模型训练本质是预测，并不是问答，微调主要就是通过有监督的训练，是模型能更好的对话。其实可以在prompt中使用few show来告知模型需要怎么样的回答，但是对于数据较多情况，就不适用了。

强化学习：因为模型会产生有害性以及幻觉，因此需要使用强化学习，人工告诉模型结果是好还是坏。

模型测评：现在模型评测已经比较多了，有考察客观题的c-eval，还有集合客观与主观的openCampus。