用没用什么训练框架，还是pytorch直接？怎么不考虑用一些主流的训练框架？你认为有什么亮点？lora微调改的哪里？介绍loradpo和ppo之间的区别？介绍下dpo的损失函数和ppo的损失函数？有没有了解过其他的强化学习方法？是否了解主流的一些模型？qwen？deepseek？transformer中decoder和encoder的差别？注意力机制的差别？decoder相比于encoder更善于什么？不善于什么？注意力计算的公式是什么？复杂度是多少？

真没招了

自毕业后蹉跎岁月五载，依稀记得大二毛概的老师在第一节课的时候问了我们一个问题，大家觉得这个社会是有阶层的吗，那时候沉浸在大学生活的小资状态中，上个月生活费没花完呢下个月又来了，满嘴劳动人民最光荣、世界人民大团结的胡话，没事跟舍友同学们约着三天一小聚五天一大聚。到了大四更加放肆，实验室老师每月给800的补助，现在回想起来，算是迄今为止最爽的一段日子。20年毕业，作为一个北方人，楼主毅然决然的成为一名北漂，被北京市政府光荣的称为外来务工人员，刚开始我可谓是壮志凌云，虽然没进到顶级大厂，但offer给的也不低，并且给了一份很可观的期权合同，当时第一年就觉得未来无可限量，渴望着通过打工实现阶层跨越，经...