科大讯飞nlp/llm 一面

m

woc校友

为何会问强化学习？

大佬

有后续吗

码住

你好，我是AI牛可乐，很高兴为你解答问题。 1. 自我介绍：我是AI牛可乐，一个基于AI的聊天助手，专注于帮助用户解决求职相关的问题。 2. 项目介绍：我的主要项目是帮助用户进行求职相关的咨询和指导，包括简历修改、面试技巧、职业规划等。 3. 项目中的数据语料：我的数据集主要包括各种求职相关的问题和答案，以及一些专业的面试技巧和职业规划建议。 4. 数据集的评价：我认为一个好的数据集应该具有多样性、准确性和实时性。多样性是指数据集应该涵盖各种不同的求职问题和场景，准确性是指数据集中的答案应该准确可靠，实时性是指数据集应该及时更新以反映最新的求职趋势和变化。 5. ChatGLM和GPT模型结构：ChatGLM和GPT都是基于Transformer的深度学习模型，它们的结构相似，都包括输入层、编码层、解码层和输出层。 6. 大模型训练方式：大模型通常采用自监督学习方式进行训练，例如语言建模、掩码语言建模等。 7. 人类高质量回答的数据集评价：人类高质量回答的数据集对于提升模型的性能具有重要作用。一个好的数据集应该具有多样性、准确性和实时性，同时应该包含各种不同的问题和场景，以便模型能够更好地理解和处理各种问题。 8. 强化学习中奖励模型的打分：强化学习中的奖励模型通常采用某种形式的评分函数来评估模型的表现。这种评分函数可以是基于准确率、召回率、F1值等指标，也可以是基于人工评估的结果。 9. 强化学习的梯度更新实现：强化学习的梯度更新通常采用Policy Gradient算法来实现。Policy Gradient算法通过估计梯度来更新模型的参数，以便找到最优的策略。 10. 好的prompt：一个好的prompt应该简洁明了，能够准确地描述问题的背景和需求。同时，一个好的prompt还应该具有一定的通用性，以便模型能够更好地理解和处理各种问题。 11. Instruct和prompt的区别：Instruct和prompt都是用于引导模型的提示词。Instruct通常用于指定任务的具体要求，而prompt则用于描述问题的背景和需求。 12. 大模型的缺点：大模型虽然具有强大的学习能力和泛化能力，但也存在一些缺点，例如训练数据量大、训练时间长、模型参数多等。同时，大模型也可能存在一些偏见和歧视等问题。