获赞
18
粉丝
4
关注
54
看过 TA
174
门头沟学院
2023
自然语言处理
IP属地:上海
暂未填写个人简介
私信
关注
论文题目:Prolonged Reasoning Is Not All You Need: Certainty-Based Adaptive Routing for Efficient LLM/MLLM Reasoning论文地址:https://arxiv.org/pdf/2505.15154论文详解:https://mp.weixin.qq.com/s/_Rhj8TQFgRFka9xj3xwBpQ核心贡献1、提出了一个基于模型置信度动态切换短答案和长形式推理的 CAR 新框架,实现了准确性和计算效率之间的最佳平衡。2、通过广泛的初步研究,验证了困惑度(PPL)可以作为模型置信度的可靠指标,并通过高斯建模建立了其与答案正确性的关系。3、在 LLM 和 MLLM 上进行的广泛实验表明,CAR 在保持推理准确性的同时,显著减少了推理标记的使用,优于短答案和长形式推理方法。4、CAR 超越了以前的推理标记减少方法。例如,使用 Qwen2.5 时,CAR 在整体准确率上提高了 6.9%,同时减少了 21.4% 的标记消耗。使用 Llama3.1 时,它实现了 5.5% 的准确率提升和 39.0% 的标记使用减少。实现方法1、使用包含短答案和长形式推理答案注释的示例进行训练,通过标准指令调整过程优化交叉熵损失。2、在训练数据集的所有示例上进行短答案推理,计算每个短答案的 PPL 值。 3、假设正确和错误短答案的 PPL 分布遵循高斯分布,通过训练数据估计这些分布的参数。4、对于新的输入示例,首先生成短答案并计算其 PPL 值,然后根据 PPL 值在正确和错误分布下的概率进行决策。如果短答案被认为是正确的,则直接输出;否则,模型将执行长形式推理以获得更准确的答案。
0 点赞 评论 收藏
分享
TikTok 内容生态算法团队的智能客服小组招聘,岗位为大模型算法工程师,主营业务为TikTok C端和B端的客服场景,在客服场景进行大模型应用优化。投递链接:https://job.toutiao.com/s/K66IziDwJPM也可以私聊我发简历base 上海、北京皆可,实习生或社招。团队介绍TikTok内容生态算法团队立足于平台海量用户和短视频内容,利用多模态、LLM/MLLM、NLP&CV等技术,负责对各类内容做分析、加工、生成等内容层操作,内容形态包括但不限于短视频、图文、全网热点页面、客服对话等,产出内容理解特征、大模型生成中间页、全网热点发现&理解能力以及智能客服系统。 同时在TikTok供给侧提供面向全平台的创作灵感个性化推荐能力。在这里,有上百个语种,NLP/LLM等技术面临多语种挑战。 在这里,有海量短视频内容,MLLM及多模态技术有更多应用场景。 平台用户量大,各项业务如本地生活、搜索等都处于高速发展期,有大量实际落地和应用场景。1、参与TikTok业务中的NLP/CV基础算法相关研发工作,深度理解业务,解决和跟进一线业务问题;2、与产品运营团队紧密协作,在热点挖掘、本地生活等业务方向持续迭代优化算法效果,达成业务目标;3、结合业务场景挑战,跟踪前沿领域研究成果,推动技术创新在业务场景的深度应用,包括但不限于热点发现/信息抽取与结构化/多模态/大模型/文本生成/检索与相关性等算法领域。职位要求1、具有扎实的机器学习基础和数理功底,NLP/CV/多模态/大模型等相关背景优先,有独立攻关和解决实际问题的能力,有大规模场景实际应用落地经验更佳;2、熟悉主流的文本/视觉预训练模型,至少从事过(热点发现/信息抽取与结构化/多模态/大模型/文本生成/检索与相关性)3、其中任一方向的算法模型开发落地业务;熟练使用主流的机器学习框架和模型训练框架;4、有强烈的技术好奇心、自驱力和进取心,能及时关注和学习业界最佳实践;有较强的业务问题到算法模型的建模能力,合作意识强,善于跨团队沟通并且推动解决实际问题。
投递字节跳动等公司8个岗位
0 点赞 评论 收藏
分享

创作者周榜

更多
关注他的用户也关注了:
牛客网
牛客网在线编程
牛客网题解
牛客企业服务