使用多个大模型并行生成,取最优结果
用小型草稿模型快速生成多个候选token,大模型并行验证并决定接受或拒绝
预先生成完整的候选序列树,用beam search选最优路径
跳过注意力计算,直接用前馈网络生成
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题