直接接受draft model生成的所有token
基于拒绝采样:以min(1, p_target/p_draft)的概率接受,保证最终输出分布等于target model分布
根据draft model的置信度阈值接受
只接受target model和draft model都认为概率最高的token
这道题你会答吗?花几分钟告诉大家答案吧!
扫描二维码,关注牛客网
下载牛客APP,随时随地刷题