算法面经1:大模型 金融大哥同花顺

9.1 同花顺 大模型(2+1)🚀
主要是以项目为主,掺杂八股,八股具体如下(忘记顺序是什么样子):
1. Transformer的自注意力机制及相比RNN的优势?
2. 自注意力计算中为何除以 $$\sqrt{d_k} $$?
3. 现在LLM微调的方式有哪些? 再问Adapter和Lora的区别?
4. LLM的架构有哪些?现在使用的是那种?为什么?
5. Prefix LM与Causal LM区别?
6. RLHF流程? 当时不太懂,没深问,现在需要多了解
7. 如何优化大模型训练速度?
8. 跨模态对齐你是如何做的?Q-Former与MLP适配器的优劣。
9. LLM训练中遇到Loss突增如何解决?

#实习# #秋招# #大模型# #nlp# #金融# #算法# #八股#
全部评论
有手撕吗
点赞 回复 分享
发布于 03-16 21:14 湖北
老哥!请问实习是面几轮呀
点赞 回复 分享
发布于 03-16 19:28 上海

相关推荐

06-24 10:39
已编辑
西安交通大学 人工智能
攻略🌈【大模型评估全攻略】!LLM七大核心评估维度保姆级拆解💯👉🏻预训练→SFT→RLHF→数据集→RAG→Agent→Prompt🔥一、预训练评估评估大型语言模型(LLM)的预训练效果需要从多个维度综合考量,涉及基础语言能力、下游任务表现、知识掌握、推理能力等。🔥二、SFT评估评估大型语言模型(LLM)在监督式微调(Supervised Fine-Tuning, SFT)后的效果,需要结合任务目标、领域特性和模型能力设计多维度的评估体系。🔥️三、RLHF评估评估大型语言模型(LLM)在通过RLHF(基于人类反馈的强化学习)后的效果需要从多个维度综合考量,包括生成质量、安全性、对齐性、任务完成度等。🔥四、数据集评估在评估数据集的质量时,可以从以下几个关键方面进行评估:1. 数据多样性2. 数据平衡性3. 数据完整性4. 数据一致性5. 数据与任务的适合性6. 标注准确性🔥五、RAG评估从召回、排序、生成、整体四个维度来评估RAG性能。使用了多种指标,如准确率(Correct)、错误率(Wrong)、失败率(Fail)、BERTScore、ROUGE Score等,以全面评估生成答案的质量。🔥六、Agent评估现如今Agent开发工具/框架不断出现,但如何全面地对Agent进行评估却很困难,本文就从介绍一些主流的Agent/LLM-as-Agent评估工作来看看是否能得到一些启发。🔥七、Prompt评估评估Prompt的好坏需要一个全面和多维度的方法,结合自动评估指标、人工评估和用户反馈等多种手段。选择合适的评估方法和技术,能够有效提升Prompt的质量和生成效果,进而提高模型的整体性能和应用体验。通过不断优化和改进Prompt设计,可以实现更自然、更准确、更有效的自然语言。
点赞 评论 收藏
分享
评论
10
38
分享

创作者周榜

更多
牛客网
牛客网在线编程
牛客网题解
牛客企业服务