offer求比较！

import torch import torch.nn as nn import torch.nn.functional as F class GRPO: def __init__(self, policy, ref_policy, lr=1e-5, beta=0.02, eps_clip=0.2): self.policy = policy self.ref_policy = ref_policy self.optimizer = torch.optim.Adam(policy.parameters(), lr=lr) self.beta = beta self.eps_clip = ep...