有人会贝叶斯优化算法 #牛客解忧铺# #贝叶斯# 嘛？有偿咨询！

问的很细很深，狠狠拷打了80分钟，这个组做LLM pretrain的，我主要会rl，nlp缺乏点，一面凉自我介绍项目微调模型训练数据来源？LORA的理解Ptuning和全量微调对比RLHF全流程写出RLHF的优化目标公式目标公式中衰减因子的作用，取大取小有什么影响？RLHF的目标公式可以加入什么其他的项？熵正则项是如何加入的？KL散度理解？RLHF中PPO算比率相对什么来算？其中对数概率的作用？马尔科夫决策过程的定义，有哪些参数变量需要考虑？Reward model 训练的loss是什么？模型为什么会胡言乱语？根源在哪？可以考虑如何解决？模型微调会性能下降为什么还需要这一步？文本数据处理到进入...

#软件开发2024笔面经# 记录一下。第一题题意：给定长度为n(做法：记数组和为sum， 答案为 fac3(sum) - \sum_i (fac3(a_i))， 函数fac3(x) = C(x, 3)。时间复杂度O(n)第二题题意：数字符子串，包含byte和dance的字串总数。做法：遍历一遍即可，维护一下左端起始点pos，初始值为0，当当前位置i开始能够能构成byte或者dance时，pos更新为i + 1。时间复杂度O(n)。第三题题意：给定一个数组，其用n(做法：前缀和。维护一下y_i的前缀和，二分查找，以及所有数的前缀和。时间复杂 O(qlogn + n)第四题题意：给定一个n*m (n 做法：矩阵竖的看，看数据范围为二进制枚举，+动态规划一下，时间复杂度O(4^n * m *n)，直接循环套循环了，所以写的变成了2^n * 2^n，可能时间复杂度可以压到O(2^n * m *n)，可能写递归能压到O(2^n * m)。