用没用什么训练框架，还是pytorch直接？怎么不考虑用一些主流的训练框架？你认为有什么亮点？lora微调改的哪里？介绍loradpo和ppo之间的区别？介绍下dpo的损失函数和ppo的损失函数？有没有了解过其他的强化学习方法？是否了解主流的一些模型？qwen？deepseek？transformer中decoder和encoder的差别？注意力机制的差别？decoder相比于encoder更善于什么？不善于什么？注意力计算的公式是什么？复杂度是多少？